TechAcademy（テックアカデミー） Webアプリケーションコース プログラミング Ruby RubyとNokogiriを使ってHTMLを解析する方法を現役エンジニアが解説【初心者向け】
オーダーメイドコース
icon
icon
Ruby

RubyとNokogiriを使ってHTMLを解析する方法を現役エンジニアが解説【初心者向け】

初心者向けにRubyとNokogiriを使ってHTMLを解析する方法について現役エンジニアが解説しています。Nokogiriは、XML, HTML文書を解析(パース)するためのRubyライブラリです。使い方はライブラリを読み込み、URLを指定してセレクタやタグを指定します。

テックアカデミーマガジンは受講者数No.1のプログラミングスクール「テックアカデミー」が運営。初心者向けにプロが解説した記事を公開中。現役エンジニアの方はこちらをご覧ください。 ※ アンケートモニター提供元：GMOリサーチ株式会社　調査期間：2021年8月12日～8月16日　 調査対象：2020年8月以降にプログラミングスクールを受講した18～80歳の男女1,000名　 調査手法：インターネット調査

RubyとNokogiriを使ってHTMLを解析する方法について、TechAcademyのメンター（現役エンジニア）が実際のコードを使用して初心者向けに解説します。

そもそもRubyについてよく分からないという方は、Rubyとは何なのか解説した記事を読むとさらに理解が深まります。

 

なお本記事は、TechAcademyのオンラインブートキャンプRuby講座の内容をもとに紹介しています。

田島悠介

今回は、Rubyに関する内容だね！

大石ゆかり

どういう内容でしょうか？

田島悠介

RubyとNokogiriを使ってHTMLを解析する方法について詳しく説明していくね！

大石ゆかり

お願いします！

 

Nokogiriとは？

Nokogiriとは、XML, HTML文書を解析(パース)するためのRubyライブラリです。

解析(パース)はHTML文書が一定の文法に従って記述された内容に対して、プログラム内で扱いやすいデータに変換することをさします。

文書の構造を解析し、XPathもしくはCSS3のセレクタを用いて、要素を抽出できます。

Webページのスクレイピング(要素の抽出)に多用されるライブラリです。

HTMLを解析するためにNokogiriをインストールしてみよう

gemコマンドを用いてインストールします。

gem install nokogiri

システムによっては、依存ソフトウェアのインストールが必要なケースがあります。

詳細は公式のインストール説明を参照してみましょう。

 

[PR] 未経験からWebエンジニアを目指す方法とは

HTMLを解析してみよう

以下、サンプルコードです。

require 'nokogiri'
require 'open-uri'

doc = Nokogiri::HTML(open('https://nokogiri.org/tutorials/installing_nokogiri.html'))

doc.css('nav ul.menu li a', 'article h2').each do |link|
  puts link.content
end

 

実行結果

$ ruby sample.rb 
Install with included libraries (RECOMMENDED)
Install with system libraries
Install with custom / non-standard libraries

 

解説

1,2行目で必要なライブラリを読み込んでいます。

4行目でURLを指定し、HTMLの構造解析を行いました。

6-8行目で、CSSセレクタでHTMLタグを指定し、ループで順に出力しています。

CSSセレクタの一つ目ではメニュー中のリンク要素、2つ目では本文中の見出し要素を指定しました。

 

執筆してくれたメンター

橋本紘希

システムインテグレータ企業勤務のシステムエンジニア。

開発実績: Javaプログラムを用いた業務用Webアプリケーションや、基幹システム用バッチアプリケーションなどの設計構築試験。

 

大石ゆかり

内容分かりやすくて良かったです！

田島悠介

ゆかりちゃんも分からないことがあったら質問してね！

大石ゆかり

分かりました。ありがとうございます！

 

TechAcademyでは、初心者でもRuby on Railsを使ったプログラミングを習得できるオンラインブートキャンプを開催しています。

また、現役エンジニアから学べる無料体験も実施しているのでぜひ参加してみてください。

記事を検索

関連するキーワード

関連する記事

Rubyのuniqメソッドとuniq!メソッドの使い方を現役エンジニアが解説【初心者向け】

Rubyのuniqメソッドとuniq!メソッドの使い方について解説します。   そもそもRubyについてよく分からないという方は、Rubyとは...
Ruby

RubyでYAMLを扱う方法を現役エンジニアが解説【初心者向け】

RubyでYAMLを扱う方法について解説します。   そもそもRubyについてよく分からないという方は、Rubyとは何なのか解説した記事を読む...
Ruby

Rubyの不等号の演算子の使い方を現役エンジニアが解説【初心者向け】

Rubyの不等号の演算子の使い方について解説します。   そもそもRubyについてよく分からないという方は、Rubyとは何なのか解説した記事を...
Ruby

Rubyのto_aメソッドの使い方をを現役エンジニアが解説【初心者向け】

Rubyのto_aメソッドの使い方について解説します。   そもそもRubyについてよく分からないという方は、Rubyとは何なのか解説した記事...
Ruby

Ruby on Railsでdefを使う方法を現役エンジニアが解説【初心者向け】

Ruby on Railsでdefを使う方法について、TechAcademyのメンター（現役エンジニア）が実際のコードを使用して初心者向けに解説します。 ...
Ruby

繰り返し処理！Rubyでeachを使う方法【初心者向け】

Rubyのメソッドを使う方法について、テックアカデミーのメンター（現役エンジニア）が実際のコードを使用して初心者向けに解説します。 eachメソッドはf...
Ruby

あわせてよく読まれている記事

Rubyでライブラリnokogiriを利用して スクレイピングを実行する方法

Rubyでライブラリnokogiriを利用して スクレイピングを実行する方法について解説します。   そもそもRubyについてよく分からないという方は、Rubyとは何なのか解説した記事を読むとさらに理解が深まります。 なお本記事は、TechAcademyのオンラインブートキャンプRuby講座の内容をもとに紹介しています。   田島悠介 今回は、Rubyに関する内容だね！ 大石ゆかり どういう内容でしょうか？ 田島悠介 ライブラリnokogiriを利用して スクレイピングを実行する方法について詳しく説明していくね！ 大石ゆかり お願いします！   ライブラリnokogiriとは webスクレイピングでよく使われるRubyのライブラリーで、nokogiriというライブラリーがあります。他にMechanaizeというライブラリーもあります。 ここにいうスクレイピングとはweb情報を取得したり、加工したりして使用することです。 今回はこのnokogiriというライブラリーを使用してスクレイピングする方法を紹介していきます。   ライブラリnokogiriのインストール方法 Rubyのスクリプトの場合、gem install nokogiriでインストールします。Railsプロジェクトでインストールする場合はGemファイルに、gem ‘nokogiri’ と追記して、bundle install しましょう。   [PR] 未経験からWebエンジニアを目指す方法とはライブラリnokogiriを利用してスクレイピングを実行する方法 nokogiriがインストールできたら早速nokogiriを使ってスクレイピングしてみましょう。ファイル以下のように書いて実行してみましょう。   require 'nokogiri' require 'open-uri' url = 'https://techacademy.jp/' charset = nil html = open(url) do |f| charset = f.charset f.read end doc = Nokogiri::HTML.parse(html, nil, charset) puts doc #=> <!DOCTYPE html> <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=utf-8"> ............................................................................... ............................................................................... .............................................................................. ............................................................................... <meta property="og:title" content="パーソナルメンターがつくオンラインブートキャンプ | TechAcademy [テックアカデミー]"> <meta property="og:description" content="プログラミング学習で、もう挫折しない。 パーソナルメンターがつくオンラインブートキャンプ。"> <meta property="og:url" content="https://techacademy.jp/"> <meta name="twitter:title" content="パーソナルメンターがつくオンラインブートキャンプ | TechAcademy [テックアカデミー]"> <meta name="twitter:description" content="プログラミング学習で、もう挫折しない。 パーソナルメンターがつくオンラインブートキャンプ。"> ............................................................................... ............................................................................... .............................................................................. ...............................................................................   以上のようにwebサイトから情報を取得していますね。   筆者プロフィール 町田　耕 学生時代は会計学専攻。塾講師勤務を経て、企業のCFOとして会社経営に携わる。 会社経営から一線を退いた後、インフラエンジニアの妻の勧めでプログラミングを 独学で始め、プログラミングセミナーなど転々としながら、開発案件に携わるようになる。 現在、フリーランスとして活動しながらテックアカデミーのメンターも勤めている。   大石ゆかり 内容分かりやすくて良かったです！ 田島悠介 ゆかりちゃんも分からないことがあったら質問してね！ 大石ゆかり 分かりました。ありがとうございます！   TechAcademyでは、初心者でもRuby on Railsを使ったプログラミングを習得できるオンラインブートキャンプRuby講座を開催しています。 挫折しない学習方法を知れる説明動画や、現役エンジニアとのビデオ通話とチャットサポート、学習用カリキュラムを体験できる無料体験も実施しているので、ぜひ参加してみてください。
Ruby

今さら聞けない！Rubyとは【初心者向け】｜現役エンジニアが解説

最近よく耳にする「Ruby」とは一体どのような言語なのでしょうか？ 今回はその「Ruby」の正体を解説していきたいと思います。Web系の企業でもRubyを使っているところは多いので、これからRubyを勉強してみたいという人はぜひ参考にしてみてください。 終わりには、学習方法もいくつか紹介しているので、自分の好きなやり方で勉強してみましょう。   なお本記事は、TechAcademyのオンラインブートキャンプRuby講座の内容をもとに紹介しています。   なお、今回の記事の内容は動画でもご覧いただけます。 テキストよりも動画の方が理解しやすいという場合はぜひご覧ください。     田島悠介 ここではプログラミング言語のひとつ、Rubyについて解説していくよ。 大石ゆかり 田島メンター！！Rubyはどんな用途で使われる言語なんですか〜？ 田島悠介 一番よく使われているのはWebアプリケーションかな。動的なサイトを作るのにとても役立つんだ。有名なクックパッドなどもRubyを使用して作られているよ。 大石ゆかり なるほど。是非覚えてみたいです！   目次 Rubyとは Rubyでできること オブジェクト指向とは Rubyの動向 Rubyが日本で人気な理由 Rubyで開発が向いているサービス Rubyのインストール Rubyの書き方 Rubyの基本構文 Rubyの学習方法 Rubyの学習時のポイント   Rubyとは Rubyとは、まつもとゆきひろ氏により開発されたオブジェクト指向スクリプト言語です。 CやJavaといったコンパイラ言語は、プログラムを実行するためにはコンパイルという手続き（人間が書いたソースコードを機械命令に変換）を介して初めて実行ができます。 しかし、スクリプト言語はこう言った手続きが一切不要で、そのまま実行することができるため、コンパイラ言語に比べてプログラミングを手軽に行うことができます。   また、オブジェクト指向言語なので、すべてのデータがオブジェクトとして表現されています。 つまり継承などといったオブジェクト指向ならではの機能を使うことができます。 継承をすることで書くコードの量が少なくて済み、読みやすく作業効率も上がるでしょう。   Rubyの名前の由来ですが、宝石の「ルビー」から来ています。 Perl(パール)という名前のプログラミング言語がありますが、宝石の真珠(パール)と読み方が同じという点で宝石の名前を取ったようです。 なぜRuby(ルビー)なのかというと、当時のまつもと氏の会社の同僚が7月生まれで、7月の誕生石がルビーだったからです。 Ruby/Rails開発のためのおすすめエディタ/IDEも紹介しているので、合わせてご覧ください。   [PR] 未経験からWebエンジニアを目指す方法とはRubyでできること Rubyを使うメリットとして一番大きいのは、Ruby on RailsというWebアプリケーションフレームワークを使うことができるということです。 Ruby on Railsを使うと、WebサイトやWebベースの業務システムを効率良く開発できると言われています。 Rubyを使っている企業は多くあり、そのほとんどがRuby on Railsを使っているのでエンジニアとして活躍することも可能でしょう。   オブジェクト指向とは 従来のプログラミング言語では困難になってきた、大規模なソフトウェアの開発をより効率よく開発を行うために考え出された 概念です。 一般的に、以下の特徴を持っています。 カプセル化 継承 ポリモーフィズム（多態性） カプセル化 カプセル化とは指定の方法以外で外部からデータにアクセスできないようにすることです。 想定外のアクセスにより、本来書き換えてはならないデータを誤って書き換えることがなくなります。 たとえば、ゲームのセーブデータなどは簡単に書き換えられてしまう訳にはいきません。 そういったデータを書き換えられないようにするためにもカプセル化という機能は重要です。   継承 継承とは、既にある機能を受け継ぎ、効率よくソフトウェア開発を行うための機能です。 例えば、既にあるプログラムを一部改修を加え、新しく作り直したいことがあります。 そうした際に、一から作り直すのはかなり面倒です。 そこで、継承を利用することで既存の機能をそのまま再利用しつつ、新たな機能を定義することができるのです。   ポリモーフィズム（多態性） ポリモーフィズム（多態性）とは、同じ名前の機能（プログラム）を作成でき、それらが独立して存在できることです。 例えば、スマートフォンでは動画や音楽が再生できます。 この動画や音楽を再生するプログラムをPlayという名前でそれぞれ作ったとします。 この時、ポリモーフィズムの概念がないプログラミング言語(C言語など)では、同じプログラムが二重に定義されていますとエラーが出てきます。 ですが、RubyやC++などでは音楽ファイルなら音楽を再生し、動画ファイルであれば動画を再生することができます。 このように同じ名前のプログラムを複数定義でき、それぞれのデータに合わせて使うことができることをポリモーフィズム（多態性）と言います。   Rubyの動向 Rubyは現在も積極的に開発が進められています。 2020/5/23現在の最新の安定版は2.7.1です。また古いバージョンである2.4は公式サポートが終了しました。 最新の2.7系では多くの機能強化やパフォーマンスの改善が行われました。 詳しくは2.7.0のリリースノートを参考にしてください。 Ruby 2.7.0 リリース   フレームワークであるRuby on Railsも継続して開発が行われています。 2020/5/23現在の最新バージョンは6.0.3.1です。 こちらも最新の6.0系では、新しいフレームワークの導入やマルチデータベース対応など、多くの機能追加が行われています。 詳しくは6.0のリリースノートを参考にしてください Rails 6.0 (英語)   なお、毎年恒例のイベントであるRubyKaigi（ルビー会議）ですが、2020年のRubyKaigi2020はコロナウィルス感染症の影響で延期となっています。 ただし中止ではなく延期というのは嬉しいですね。 詳しくはリリース記事を参考にしてください。 新型コロナウィルス感染症（COVID-19）に関するRubyKaigi2020の対応について   Rubyが日本で人気な理由 国内のWebサービスとしては、クックパッドや食べログなどがRubyを利用していることは有名です。 では、なぜRubyが使われているのでしょうか？   一つは、Rubyの開発効率の高さです。 Rubyは「Enjoy for Programing!」を掲げており、プログラマーにとってコーディングしやすいプログラミング言語となっています。 直感的に、実装したい機能をコーディングできるためストレスフリーで開発を行うことができます。   そして、フレームワーク（Ruby on Rails）の存在です。 「Ruby on Rails」とはRubyのWebアプリケーションフレームワークであり、数回のコマンド入力を行うだけで、Webサイトが自動生成できるRuby on Railsは大幅な開発工程の短縮を実現しました。 このRuby on Railsの登場により、開発コスト削減を図る企業などでの利用が増加しました。 また、スタートアップ企業などがWebサービスを立ち上げるために、Ruby on Rails を利用していることも多いです。   また、Rubyは日本で開発されたプログラミング言語であることも利用されている理由の一つです。 C++やJavaといったプログラミング言語の最新情報は英語で書かれていることが多く、それら最新技術を利用するには、一定の英語スキルが必要になります。 また、有用な参考書なども英語で書かれていることが多く、それらの翻訳されたものは、誤訳されたものもあります。 しかし、Rubyは開発者が日本人ということもあり、日本語で書かれた有用な参考書が数多く手に入ります。 そのため、最新情報をいち早く活用することもできるのです。   Rubyでの開発が向いているサービス Rubyは前述の通りRailsと組み合わせてRuby on Railsとして開発を行うことが一般的です。 Ruby on Railsは以下のようなサービスの開発に向いています。   スタートアップ企業のWebサービス Ruby on Railsは開発効率が高いため、少人数での短期開発に向いています。 スタートアップ企業のWebサービスは短期間での継続的なローンチが求められます。 Ruby on Railsはいわゆるアジャイルと呼ばれる開発手法にも適しており、少人数でサービスの基本機能を立ち上げ、ユーザーのフィードバックを得ながら継続的にサービスを改善していくことに適しています。   WebAPI経由でのサービス展開 WebAPIとはプログラムから利用するインターネット上のサービスです。 例えばGoogle MapやTwitterなど、多くのサービスがWebAPIを提供しています。 WebAPIのメリットは既存のサービスを組み合わせて新たなサービスを生み出せることです。 例えば気象データを提供するWebAPIをECサイトのサービスと組み合わせることで、他にはない特徴的なサービスを提供できるかもしれません。 Ruby on RailsにはAPIモードという構成があり、アプリケーションを構築する際にAPIモードを選択することでWebAPIを効率よく開発することができます。   データベースと組み合わせた基幹系システム 意外かもしれませんが、Ruby on Railsは大量のデータ処理や、複雑な計算を行う企業の会計などの基幹系システムのサービス開発にも向いています。 Ruby on RailsはMVCと呼ばれる安定的なサーバアーキテクチャをベースとしています。 またデータベースとの連携についてもモデルクラスによるアクセスやコネクションプールなどに標準的に対応しています。 レガシーシステムを更新する際の選択肢として考えても良いでしょう。   Rubyのインストール Rubyでプログラムを書こうと思ったらまず、Rubyをインストールする必要があります。 手順としては、 Ruby のダウンロードページ からダウンロード(執筆時最新版Ruby2.7.1)。Windowsであれば、RubyInstallerというツールでのインストールも可能です。 ダウンロードしたファイルを実行し、インストール。 インストールが完了したら、ターミナルやコマンドプロンプトから「ruby -v」と入力し、バージョンを確認。 ruby 2.7.1などと表示されれば完了です。   田島悠介 RubyはWindowsとMacの両方で使用することができるよ。 大石ゆかり やっぱりそれぞれによって開発環境の構築の方法がだいぶ違うんですか？ 田島悠介 そうだね。また、インストールに必要なソフトがあったりと少し複雑なので、なるべく最新の情報を見てひとつずつ順番にやってみるのがいいと思うよ。公式のインストールガイドも参照しよう。   Rubyの書き方 Rubyのファイルは「.rb」という拡張子をつけることで保存されます。 実際にターミナル上にHello,world!を出力するプログラムを例に書き方を紹介したいと思います。 print("Hello,world!n") この一文だけで目的のプログラムを作ることができます。 他の言語では文末にセミコロンを打ちますが、Rubyではそれが必要ありません。 他のプログラミング言語を少しでも学習したことがある方は、Rubyがいかにシンプルであるかが分かるかと思います。 実際にRubyを使ってみたいという方は、開発環境の構築方法も合わせてご覧ください。   Rubyの基本構文 Rubyでよく使う基本構文についていくつかまとめて紹介していきます。 基礎的な内容になるので、Rubyとは何かよく分からないという方でも覚えておくと今後役に立つでしょう。 if文 if文は「◯◯の場合〜〜する、△△の場合〜〜する」といった条件分岐の処理を行うことができます。 「ログインできたらアカウント画面に、できなかったらエラー表示に」といった普段Webサイトを見ていると当たり前のように行なわれている処理が条件分岐なのです。 if ◯◯ then # ◯◯がtrueだった時の処理 else # ◯◯がfalseだった時の処理 end   for文 for文は、繰り返し処理をする際に使います。1+2+3+4+…のように手動で足していくのは面倒ですが、「1ずつ増えた数字を繰り返し足して、100まで繰り返す」といった宣言を行うことができるようになります。 for i
Ruby

【事例付き】自然言語処理とは！仕組みやライブラリを解説

2016年末頃、Google翻訳の翻訳精度が飛躍的に向上し、大きな話題となりました。それまでは、英語を日本語に翻訳すると不自然な文章になってしまうことも多かったのですが、現在では、より自然な日本語の翻訳結果を得られるようになっています。それには人工知能（AI）の研究成果が深くかかわっています。 SNSや自然言語の情報をデータ分析する上で、自然言語処理の理解は欠かせません。 自然言語処理とはどのような技術か、実際にどのようなサービスに使われているのか、ぜひ知っておきましょう。   なお本記事は、TechAcademyのAIオンライン講座の内容をもとに作成しています。   目次 自然言語処理とは 自然言語処理の仕組み、原理とは 自然言語処理の事例 自然言語処理ができるライブラリまとめ   田島悠介 今回は自然言語処理について解説するよ。 大石ゆかり 田島メンター！自然言語処理って、なんだか難しそうですね。理解できるでしょうか〜？ 田島悠介 丁寧に説明するから大丈夫だよ。詳しく見ていこう。 大石ゆかり 分かりました！ 自然言語処理とは 自然言語処理とは、私たちが日常的に使っている言葉（以降「自然言語」と表記します）をコンピューターに処理させる一連の技術のことです。人工知能（AI）と言語学の一分野です。 自然言語は、人間がお互いにコミュニケーションを行うために自然発生しました。そのため、プログラミング言語と違い、曖昧さを含みます。また文化的な背景、時代や地域によって様々に変化するため、ルール化が難しい、コンピューターにとって扱いづらいという特性があります。 自然言語処理は、とても古くから研究されており、その研究分野は多岐に渡ります。また現在でも毎年のように各分野で新しい技術が生まれています。 大規模データ時代に求められる自然言語処理   [PR] 未経験からWebエンジニアを目指す方法とは自然言語処理の仕組み、原理とは 自然言語処理は、「形態素解析→構文解析→意味解析→文脈解析」の順で行われます。 また、自然言語処理の前段として、処理対象となる文章群（コーパスといいます）と、単語を識別するための辞書が必要となります。現在では、インターネットを経由して、日々大量の言葉がやりとりされ、多くの新しい単語が生まれています。 処理対象となる文章を収集することが、とても容易になったとも言えます。また、それらの文章から自動的に辞書を作る試みも行われています。   形態素解析 自然言語を、辞書や文法ルールをもとに、「意味を持つこれ以上分割できない最小の単位（以降、総称として「単語」と表記します）」に分割する作業です。 例えば「高い富士山と海が美しい。私はそれを彼女に伝えた」という文章があったとします。前半部分「高い富士山と海が美しい」を形態素解析すると、以下のようになります。 自然言語処理では多くの場合、単語を1つの単位として表し、以降の「構文解析→意味解析→文脈解析」の処理により意味を導き出して行きます。そのため、形態素解析は、自然言語処理で必要不可欠な最初の手順となります。 英語を含む多くの言語では、基本的に単語と単語の間はスペースで区切られているため（わかち書き）、単語への分割は非常に容易です。しかし日本語や中国語、タイ語などでは、通常単語と単語の間にスペースを挿入しないため、文を単語に分割する処理はより複雑となります。   構文解析 形態素解析で得られた単語の関係性を解析する作業です。 係り受け解析とも呼ばれます。構文解析の結果は「構文木」というもので表すことが出来ます。例えば「高い富士山と海が美しい」を構文解析した構文木は以下のようになります。 しかし、もう一つの例として、以下のように「高い」が「富士山と海」に係る例も考えられます。 日本語に慣れていると、前者が正解だということがすぐ分かりますが、それは構文解析とともに意味解析も行っているためです。構文解析段階では、どちらも正解となります。   意味解析 構文解析で文章の係り受けの構造が把握できました。しかしこの状態では、 高いのは富士山だけか、海も高いのか 美しいのは「高い富士山と海」なのか、海だけ美しいのか といった点がはっきりしておらず、正しいものを選択しなければなりません。これは、「意味」を利用して正しい構文木を選択することを意味します。それが意味解析です。 意味解析では、辞書をもとに、単語と単語の関連性を調べながら、正しい構文木を選択します。 「富士山」と「高い」は関連性が高い 「海」と「高い」は関連性が低い よって、高いのは富士山だけ しかし、意味解析は、コンピューターにとっては非常に難しい作業です。コンピューターは「意味」という概念は分かりません。ルール化して伝える（プログラムする）必要がありますが、前記した「単語と単語の関連性」だけが「意味」のルールではないためです。 例えば「高い富士山」と表現すれば、「山としての富士山」を想像しますが、場合によっては「富士山」という商品があり、その価格が高いということを意味しているのかもしれません。 また、前出の文章「高い富士山と海が美しい。私はそれを彼女に伝えた」において、「それを彼女に伝えた」の「それ」とは何を指すのでしょうか？　その答えを得るには、文脈を通して判断する必要があります。   文脈解析 文脈解析は、複数の文を通して、形態素解析と意味解析を行います。文脈解析は、単に解析の対象が長くなっただけではなく、文の関係性も解析しなければならない、とても複雑な作業です。 例えば「高い富士山と海が美しい。私はそれを彼女に伝えた」において「それ」は直前の文章を指します。しかし文章の並びをかえるだけで、とたんに「それ」が指すものは分からなくなってしまいます。 「私はそれを彼女に伝えた。高い富士山と海が美しい」 ここまでの、形態素解析→構文解析→意味解析→文脈解析の過程を経て、やっとコンピューターが自然言語処理を完了した状態となります。それでは、冒頭にお伝えした、Google翻訳の翻訳精度の向上と人工知能（AI）とは、どのような関係があるのでしょうか。   人工知能（AI）との関係 形態素解析と構文解析は、コンピューターにとって比較的行いやすい作業です。しかし意味解析や文脈解析は、より高次元な判断が必要となります。これまで、コンピューターによる翻訳結果が不自然な文章になりがちだったのは、正しい意味解析や文脈解析を行うのが、非常に難しかったからです。 意味解析や文脈解析を行うには、大量のデータでコンピューターに学習させることが必要です。 大量のデータでコンピューターに学習させることを「機械学習」と言います。「機械学習」は人工知能（AI）で総称される技術の１つです。 従来は、紙の辞書を編纂するように、人間がひとつづつ、単語意味や関連性を記述してコンピューターに学習させていました。もととなる文章も、新聞や書籍などから転記していたため、非常に手間と時間がかかりました。 しかし2000年代に入り、高速・高性能なコンピューターが容易に入手できるようになりました。また、インターネットの発展により、従来より格段に多くのデータを収集できるようになりました。 大量の学習データを高速にコンピューターに学習させることができる環境が整ったことで、これまでの何倍ものスピードで、意味解析や文脈解析の学習が行えるようになりました。それにより、コンピューターが人間により近い「意味」の概念を習得できるようになり、自然言語処理の精度が飛躍的に向上することになりました。   自然言語処理の事例 それでは、自然言語処理が使われている例をいくつか見てみましょう。 日本語入力（かな漢字文字変換） キーボードで入力した「かな文字」を「漢字混じり文字」に変換する際、自然言語処理が使われています。ワープロの時代から研究されている分野で、最近は長い文章も精度良く変換できるようになっています。 ATOK Google 日本語入力 MicrosoftIME   機械翻訳 冒頭にお伝えした、Google翻訳をはじめ、ここ数年で急速に精度が上がってきている分野です。また合成音声と組み合わせたサービスも一般的になってきています。 Google翻訳 音声翻訳アプリ NICT（独立行政法人 情報通信研究機構）が開発した多言語翻訳エンジンが使われています。   対話システム 音声または文字で入力した文章を、コンピューターが理解して応答を返すシステムです。スマートスピーカーやSiriなどのアシストサービス、LINEのボット（自動応答システム）などがあります。また、対話システムを容易に構築できるAPIも提供されています。 Amazon Echo LINE Clova WAVE Google Home Siri Cortana りんな Microsoftが作成したLINEの自動応答システム Watson Conversation 対話システムAPI   自然言語処理ができるライブラリまとめ 最後に、自然言語処理ができるライブラリについて見ていきましょう。 MeCab 日本語の自然言語処理器（形態素解析器）システムとして最も有名です。 MeCab   JUMAN こちらも形態素解析器です。WikipediaやWebサイトから収集した辞書により、MeCabと比較して、最近の言葉でも正確に処理を行うことが可能です。 JUMAN   Cabocha 構文解析器です。MeCabと組み合わせて使用します。機械学習(SVM)を利用しています。 Cabocha   KNP 構文解析器です。Webから自動構築した大規模格フレームにより、より精度の高い解析が行えます。 KNP   田島悠介 自然言語処理について、理解は深まったかな？ 大石ゆかり 身近に感じていましたが、とても奥が深い技術なんですね。勉強になりましたー！ 田島悠介 気軽に利用できるAPIもあるから、使ってみるといいよ。深層学習や機械学習、画像認識技術については、また別のところで説明するね。 大石ゆかり 分かりました。ありがとうございました！   今回は、自然言語処理について解説しました。 これから自然言語処理を勉強したい、機械学習を使って何か作ってみたいという方は最初に理解しておきたい内容でしょう。   また、オンラインのプログラミングスクールTechAcademyでは、AIオンライン講座を開催しています。 AI（人工知能）の構築に必要な機械学習・ディープラーニングについて実践的に学習することができます。 現役エンジニアがパーソナルメンターとして受講生に1人ずつつき、マンツーマンのメンタリングで学習をサポートし、習得することが可能です。 この記事を監修してくれた方 太田和樹（おおたかずき） ITベンチャー企業のPM兼エンジニア 普段は主に、Web系アプリケーション開発のプロジェクトマネージャーとプログラミング講師を行っている。守備範囲はフロントエンド、モバイル、サーバサイド、データサイエンティストと幅広い。その幅広い知見を生かして、複数の領域を組み合わせた新しい提案をするのが得意。 開発実績：画像認識技術を活用した駐車場混雑状況把握（実証実験）、音声認識を活用したヘルプデスク支援システム、Pepperを遠隔操作するアプリの開発、大規模基幹系システムの開発・導入マネジメント 地方在住。仕事のほとんどをリモートオフィスで行う。通勤で消耗する代わりに趣味のDIYや家庭菜園、家族との時間を楽しんでいる。
機械学習

HTMLファイルの解析方法を現役デザイナーが解説【初心者向け】

HTMLファイルの解析方法について、TechAcademyのメンター（現役エンジニア）が実際のコードを使用して初心者向けに解説します。 そもそも、HTMLの記述方法がわからない場合は、 HTMLの書き方について解説した記事を読むとさらに理解が深まります。   なお本記事は、TechAcademyのオンラインブートキャンプ、Webデザイン講座のHTMLカリキュラムをもとに執筆しています。   田島悠介 今回は、HTMLに関する内容だね！ 大石ゆかり どういう内容でしょうか？ 田島悠介 HTMLファイルの解析方法について詳しく説明していくね！ 大石ゆかり お願いします！   HTML解析（HTMLファイルの解析）とは 各ブラウザのデベロッパーツールと呼ばれる検証機能を利用し、そのブラウザで表示されているのhtmlファイルとcssファイルのコードを閲覧し、解析していくことができます。クロームやIEなどそれぞれのブラウザでデベロッパーツールを利用することで見ることができ、それらのコーディングをブラウザ上で書き換えることができます。 どのようなコンテンツ構成になっているかを記述されているコードを見て確認することができ、またパソコン画面やスマホ画面などの任意のサイズの画面でどのように表示されているかを確認することも可能となっています。 また、Webスクレイピングと呼ばれるWebからデータを収集、特定データの抽出することで解析することも可能となります。スクレイピングはタイトルなど任意の部分だけを抽出したりすることが可能となり、それらのデータを元に修正や別のコンテンツを作成することへ利用ができるようになります。   HTML解析の方法 デベロッパーツールでの解析はショートカットがあり、WindowsではF12、MacではControl + Option + Iでブラウザ上に表示できるようになります。表示されたElementsを見るとHTMLで書かれたコードが表示されており、任意の加筆修正をすることでhtml表示のテストをすることもできます。 同時にCSSも表示されているので既存のページで使われているコードを見て解析することができ、大きさや色、その他の属性などのテストも可能となります。 これらはブラウザ表示を更新するだけで元のブラウザページに戻るため解析方法としてはとても利用しやすいものになります。Webスクレイピングの方法としてはRubyやPython、Javaなどのプログラミング言語を使用して抜き出していきます。これらのプラグラミング言語にはライブラリと呼ばれる膨大なプラグラムの書かれた拡張機能を利用することができます。 これらのライブラリをインストールし、プログラミングのコードを記述することで任意の抽出などが可能となります。   [PR] 未経験からWebエンジニアを目指す方法とはHTML解析に役立つツールの紹介  スクレイピングの方法として各ライブラリを利用する方法がありますが、それぞれの言語で利用するライブラリは別のものなので整理していきます。 Rubyはnokogiri、PythonはBeautifulSoup4、Javaではjsoupなどそれぞれありますが、特徴がそれぞれ違うライブラリが各言語に存在するため代表的なものから利用し、スクレイピングに触れていくことが良いでしょう。   実際に解析してみよう ブラウザのデベロッパーツールを利用してTECHACADEMYのホームページのhtmlファイルのコードを確認します。コーディングの中のtitleの要素を探し出し、この後にスクレイピングされた結果と同じであるか確認をしていきます。 スクレイピングはRubyを利用し、ライブラリはnokogiriを利用しています。nokogiriをインストールした後にtest.rbというファイルを作成し、以下のように記述します。 (test.rb) require 'open-uri' require 'nokogiri' url = 'https://techacademy.jp/' charset = nil html = open(url) do |f|   charset = f.charset   f.read end doc = Nokogiri::HTML.parse(html, nil, charset) puts doc.title   ターミナルで、 ruby test.rb として実行した際にターミナルに下記の抽出結果が表示され、先ほどのデベロッパーツールで確認したhtmlのtitleと同じであれば成功です。   監修してくれたメンター 木村勇土 TechAcademyの現役メンター。 現在は行政書士事務所を運営しており、お客様にはプログラマーやフリーランサーも多い。WordPressを中心とした自社のWebサイトの修正などを行なっている。   大石ゆかり 内容分かりやすくて良かったです！ 田島悠介 ゆかりちゃんも分からないことがあったら質問してね！ 大石ゆかり 分かりました。ありがとうございます！ TechAcademyでは初心者でも、オリジナルWebサイトを公開できる、オンラインブートキャンプを開催しています。 また、現役エンジニアから学べる無料体験も実施しているので、ぜひ参加してみてください。
HTML

サイト運営に必須！無料で使えるアクセス解析ツール10選

Webサイトを運営していく中で欠かせないのがアクセス解析。 どれだけ良いサイトを作っても人が来ないと意味がありません。どうやったらもっと人が来るか、どのページが一番見られているかなど分析することで改善に繋がります。 今回はサイトのアクセス解析ができるツールをまとめて紹介しています。知らないツールがあればぜひ試してみてください。   なお本記事は、TechAcademyのWebマーケティングオンラインブートキャンプのカリキュラムをもとに執筆しています。   Googleアナリティクス Webのアクセス解析ツールと言えばこれでしょう、逆にこれ以外を思い浮かべる方が難しいです。題名の通りGoogleがサービスも元です。 広告の投資収益率の測定や、Flash、動画、ソーシャル ネットワーク（facebook/twitterなど）のサイトやアプリケーションのトラッキング、売り上げやコンバージョン数に加え、ユーザーの行動や訪問経路の解析までなんでもカバーします。 さらにインターフェイスも見やすいのでまさに無敵です。とりあえず悩んだらこれを選んで間違いはないでしょう。 Googleアナリティクス   忍者アクセス解析 こちらもかなり有名で使われている方も多いと思います。何より設置が簡単ですね。特に無料ブログである忍者ブログとの親和性も高いのでそのコンボはオススメです。 無料版は広告が出てしまうのですが、有料版にすると広告を非表示にできます。ログは4ヶ月間保存できます。アクセス解析初心者から業務までまで幅広く使えるのが人気の理由でしょう。 忍者アクセス解析   [PR] 未経験からWebエンジニアを目指す方法とはYahoo!アクセス解析 これもまた超有名検索サイトYahooのアクセス解析です。Googleのほど有名ではありませんが、原則無料で使え、ユーザー属性分析、リアルタイム分析、組織分析、広告・コンバージョン分析など機能的には引けを取りません。 直感的に使えるグラフィカルなインターフェースもみやすく初心者でも楽しいです。各種基本的数値のリアルタイム解析やリアルタイム足あとなど、リアルタイム分析に重点を置いている点、訪問組織分析やユーザー追跡など、個別の分析が可能な点は他とは一線を画すため重宝されている。 最初に紹介したGoogleアナリティクスと併用して使っている方も多くいて、それがベストな選択肢なのかもしれません。 Yahoo!アクセス解析   Ptengine 登録アカウント数55,000アカウント以上になり最近注目が集まってきているアクセス解析ツールです。グッドデザイン賞も取得したことからセンスのよさが伺えます。なのでユーザーのサイト内での行動をサーモグラフィーで可視化するヒートマップ機能などのグラフィカルな特徴が印象的で使っていてとても楽しいツールといえるでしょう。 リアルタイム解析もうれしいです。カスタムイベントトラッキング機能というのもあり、それは計測したいリンクを管理画 面上で選択すると、そのリンクに対するクリックが計測される機能 です。 WordPressと親和性も高く、専用プラグインがあり、すぐに導入できる点もありがたいですね。 Ptengine   アクセス解析研究所 アクセス解析研究所は、水準が非常に高く独特の機能で人気を集めるアクセス解析ツールです。他社にはない新機能が利用てきるのが特徴で、GPSで誰かの居場所を解析したり、相互リンクの損得バランスのサイトごと分析と面白いことができそうですね。 広告が表示されないので、デザイン的にも美しいです。もちろん無料です。 アクセス解析研究所   FC2アクセス解析 – 無料アクセス解析レンタル/SEO対策 ご存知FC2のアクセス解析ツールです。検索キーワードチェック、リンク元解析、携帯対応、120ページ解析、など他さまざまな機能が搭載されてます。もちろん無料ブログサービスのFC2ブログを利用している人は連携がとてもいいのでぜひ使うべきでしょう。 リアルタイム解析でもあるのもうれしいですね。ごちゃごちゃしてないシンプルなインターフェイスで、すっきり見やすい、管理画面が特徴的です。 FC2アクセス解析 – 無料アクセス解析レンタル/SEO対策   USER LOCAL（ユーザーローカル） USER LOCALは最近良く話題になる無料アクセス解析ツールです。Yahoo!アクセス解析と似ていますが、Yahoo!アクセス解析よりは面倒臭くなく、その点で導入しやすく、より初心者向けといえるでしょう。性別や年齢などのユーザー属性情報を自動で取得できるのも非常に便利です。 USER LOCAL（ユーザーローカル）   ace analyzer　（エースアナライザー） まだ最近できたばかりの比較的新しい解析ツールで、機能も充実していて注目が集まってきています。 アクセス解析用のタグをWEBサイトに設置することが簡単ですし、月・日・時間・曜日別が最初から閲覧できるのは楽で、使いやすいです。 ace analyzer　（エースアナライザー）   アクセス解析 [AccessAnalyzer.com] アクセスログ、アクセス統計、アクセス元統計、システム統計、訪問者統計が解析できます。 アナログな昔ながらのインターフェイスで、数値のみを重視してチェックしたい方におすすめです。 アクセス解析 [AccessAnalyzer.com]   i2i.jp（アイツーアイドットジェイピー） 3G携帯サイト対応なので、3G携帯用ブログページも解析可能で高性能生ログ検索や訪問者のルートが追える足あと追跡機能が搭載されています。 i2i.jp（アイツーアイドットジェイピー）   以上、サイトのアクセス解析ができるツールを集めてみました。 多くの企業がGoogle Analyticsを利用しているかと思いますが、他にも解析ツールはたくさんあります。ツールによって使える機能はそれぞれ違うので、自分たちの運営しているサービスに合わせて選びましょう。 まだこういったツールを導入していないという人は、今回紹介したツールは基本無料で使えるので、ぜひ試してみてください。 [お知らせ]TechAcademyでは初心者でもWebマーケターになれるWebマーケティングオンラインブートキャンプを開催しています。SEOも含めてメンターのサポートによって短期間で習得可能です。
Webマーケティング

gemを使った開発！Ruby on Railsでクローラーを使う方法【初心者向け】

RubyのフレームワークのRuby on Railsでクローラーを使う方法について解説しています。 分析ツールなどいろんな情報をひとつのサイトにまとめたいという時に便利です。クローラーでは、手動ではできないことをできるので、その面白さを感じるはずです。   なお本記事は、TechAcademyのWebアプリケーションオンラインブートキャンプの内容をもとに紹介しています。   大石ゆかり 田島メンター！！クローラーというのは何ですか〜？ 田島悠介 Webサイトから情報を習得するプログラムのことを言うんだ。 大石ゆかり 例えばどんなときに使うんですか？ 田島悠介 たくさんの量のデータを収集したり、それを分析したりするのにもクローラーは利用することができるよ。まずは必要なライブラリを紹介しよう。   クローラーとは Rubyを勉強しているとクローラープログラムという言葉を見かけることがあります。 このクローラーというのは、Webサイトを巡回して情報を取得するプログラムのことを言います。 クローラを使用すれば、Yahooの最新ニュース情報を取得したり、facebookのタイムライン情報を取得するなど便利な機能を作成することができます。人がブラウザを操作して情報を収集するより、手間を省いて効率的に情報を取得することができますね。 ただクローラはWebページに負荷をかける行為なので使用する際は注意して使用するようにしましょう。 また、サイトによっては、APIを代用して情報を取得できるように用意していることも多いので、何かの情報を取得したいとおもった場合、まずはAPIが無いか調べるようにしましょう。   使用する主なライブラリ 前提条件として、Railsアプリケーションが作られていることとします。Railsアプリケーションの作り方は、Ruby on Railsなどを参考にしてください。 それでは、クローラーを実装する前にクローラーで使用するライブラリの紹介をします。 open-uri open-uriは指定したurlにアクセスするためのライブラリです。 このライブラリがないとまずWebページにたどり着くことができないため、必須のライブラリとなっています。 nokogiri nokogiriはスクレイピング、クローラーで頻繁に使用されるライブラリです。 取得したHTMLの任意の部分だけ抜き取ったり、string型に変換したりできます。   これらのライブラリを使用するには、Railsアプリケーションフォルダの直下にある「Gemfile」ファイルに以下を追記し、コンソールから「bundle install」を実行します。 gem 'nokogiri' ※open-uri は Ruby on Rails 標準ライブラリのため、Gemfileへの追記は不要です。   大石ゆかり このふたつのライブラリが必要になるわけですね。 田島悠介 これらをrequireで読み込んで、クローラーのプログラムを作成するよ。実際に書いてみよう。 大石ゆかり はい！   [PR] 未経験からWebエンジニアを目指す方法とは情報を取得する方法 今回はRuby on Railsを用いて、Yahooのトップ情報を取得するクローラープログラムを作成していきたいと思います。 初めに、コントローラーを作成します。コンソールで以下のコマンドを入力します。 rails generate controller yahoos   次にそれぞれのファイルを下記のように記述していってください。 app/controllers/yahoos_controller.rb class YahoosController < ApplicationController require "open-uri" require "nokogiri" def index uri = "http://www.yahoo.co.jp/" @doc = Nokogiri::HTML(open(uri),nil,"utf-8") end end app/views/yahoos/index.html.erb <%= @doc %>   config/routes.rb Rails.application.routes.draw do get 'yahoos/index' end   yahoos/indexページ内を開くと以下のようにyahooのトップページのHTML情報が表示されます。ブラウザで見るのと違い、生のHTML情報なので、HTMLソースが表示されていますね。   それでは詳しく見ていきましょう。 Yahooのトップページから情報を取得してきているのは、app/controllers/yahoos_controller.rbファイルのindex関数内にある以下の記述です。 以下では、指定したURIの情報を取得し、viewで表示するために@doc変数に格納しています。 uri = "http://www.yahoo.co.jp/" @doc = Nokogiri::HTML(open(uri),nil,"utf-8")   app/views/yahoos/index.html.erbでは、@doc変数の内容を表示しています。 <%= @doc %>     それでは、index.html.erbを修正し、@docから必要な要素を抽出してみましょう。 @doc変数には、HTML情報が文字列としてではなく、構造化されたHTML文章として取得されています。そのためnokogiriでは、CSSセレクタを使って要素を指定することができます。 それでは、Yahooトップページから、リンク要素の一覧を取得してみましょう。 「@doc.css(“a”)」と書くことで、@doc変数に格納されたリンク要素（aタグ）の一覧を取得できます。 <% @doc.css("a").each do |link| #
Ruby

あなたの目的に合わせて学べるコース

副業したい方

Web制作の力を身につけ
副業までサポート

はじめての副業コース

転職したい方

未経験から
Webエンジニアに

Webエンジニア転職保証コース

スキルアップしたい方

AIも統計解析もできる
Pythonを学ぶ

Pythonコース

※ 経済産業省の行うリスキリングを通じたキャリアアップ支援事業の補助金対象コースです。条件を満たすことで支払った受講料の最大70％がキャッシュバックされます。詳しくは こちら のページをご確認ください。

TechAcademyから
現役エンジニアの方へ
お知らせ

オーダーメイドコース
TechAcademy（テックアカデミー） Webアプリケーションコース プログラミング Ruby RubyとNokogiriを使ってHTMLを解析する方法を現役エンジニアが解説【初心者向け】