RubyでMechanizeを利用してWebスクレイピングする方法を現役エンジニアが解説【初心者向け】
初心者向けにRubyでMechanizeを利用してWebスクレイピングする方法について解説しています。スクレイピングとはWeb上から情報を取得することをいいます。ここではスクレイピングを行うライブラリMechanizeのインストール方法と基本の使い方、実行結果を見ていきましょう。
テックアカデミーマガジンは受講者数No.1のプログラミングスクール「テックアカデミー」が運営。初心者向けにプロが解説した記事を公開中。現役エンジニアの方はこちらをご覧ください。 ※ アンケートモニター提供元:GMOリサーチ株式会社 調査期間:2021年8月12日~8月16日 調査対象:2020年8月以降にプログラミングスクールを受講した18~80歳の男女1,000名 調査手法:インターネット調査
RubyでMechanizeを利用してWebスクレイピングする方法について解説します。
そもそもRubyについてよく分からないという方は、Rubyとは何なのか解説した記事を読むとさらに理解が深まります。
なお本記事は、TechAcademyのオンラインブートキャンプRuby講座の内容をもとに紹介しています。
今回は、Rubyに関する内容だね!
どういう内容でしょうか?
Mechanizeを利用してWebスクレイピングする方法について詳しく説明していくね!
お願いします!
Mechanizeとは
MechanaizeとはスクレイピングするためのRubyのライブラリーです。他にnokogiriというスクレイピングするライブラリーもあります。
ここにいうスクレイピングとはweb情報を取得したり、加工したりして使用することです。今回はこのMechanaizeというライブラリーを使用してスクレイピングする方法を紹介していきます。
Mechanizeのインストール
まず、Mechanizeのライブラリーを使うために、gem install mechanize でインストールをしましょう。
Gemファイルに書いてインストールする場合はGemファイルに、source “https://rubygems.org” gem “mechanize” を記載して、bundle install を実行することによってインストールできます。
Mechanizeを利用してWebスクレイピングする方法
では、Mechanize を使用して実際にスクレイピングしてみましょう。ファイルに以下のように書いてみてください。
require 'mechanize' agent = Mechanize.new page = agent.get('https://techacademy.jp/') p page.links
ライブラリーとして使いますので、require ‘machanize’ を書きましょう。このファイルを実行してみます。linksはページ全体のリンクのリストが全部取得できます。
#=> ................................ [#<Mechanize::Page::Link "TechAcademy" "/"> , #<Mechanize::Page::Link "コース" "#"> , #<Mechanize::Page::Link "プログラミング" "/programming"> , #<Mechanize::Page::Link "Webアプリケーションコース" "/rails-bootcamp"> , #<Mechanize::Page::Link "PHP/Laravelコース" "/php-bootcamp"> , #<Mechanize::Page::Link "Javaコース" "/java-bootcamp"> , #<Mechanize::Page::Link "フロントエンドコース" "/frontend-bootcamp"> ..................................
以上のようにページ全体のリンクの情報が取得できていますね。
今回はページ内のリンク情報を取得する方法で紹介しましたが、他にもいろいろな情報を取得することもできますので、調べてみると良いでしょう。
筆者プロフィール
町田 耕
学生時代は会計学専攻。塾講師勤務を経て、企業のCFOとして会社経営に携わる。 会社経営から一線を退いた後、インフラエンジニアの妻の勧めでプログラミングを 独学で始め、プログラミングセミナーなど転々としながら、開発案件に携わるようになる。 現在、フリーランスとして活動しながらテックアカデミーのメンターも勤めている。 |
内容分かりやすくて良かったです!
ゆかりちゃんも分からないことがあったら質問してね!
分かりました。ありがとうございます!
TechAcademyでは、初心者でもRuby on Railsを使ったプログラミングを習得できるオンラインブートキャンプRuby講座を開催しています。
挫折しない学習方法を知れる説明動画や、現役エンジニアとのビデオ通話とチャットサポート、学習用カリキュラムを体験できる無料体験も実施しているので、ぜひ参加してみてください。