PythonでのPhantomJSによるWebスクレイピングの方法【初心者向け】

初心者向けにPythonでのPhantomJSによるWebスクレイピングの方法について解説しています。Webスクレイピングとは特定のWebページの全体、または一部の情報をプログラミング処理で取得することです。seleniumを用いてphantomJSを動かしてみます。

テックアカデミーマガジンは受講者数No.1のプログラミングスクール「テックアカデミー」が運営。初心者向けにプロが解説した記事を公開中。現役エンジニアの方はこちらをご覧ください。 ※ アンケートモニター提供元:GMOリサーチ株式会社 調査期間:2021年8月12日~8月16日  調査対象:2020年8月以降にプログラミングスクールを受講した18~80歳の男女1,000名  調査手法:インターネット調査

PythonでのPhantomJSによるWebスクレイピングの方法について解説します。

そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。

 

なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。

 

田島悠介

今回は、Pythonに関する内容だね!

大石ゆかり

どういう内容でしょうか?

田島悠介

PythonでのPhantomJSによるWebスクレイピングの方法について詳しく説明していくね!

大石ゆかり

お願いします!

 

Webスクレイピングとは

Webスクレイピングとは、Webサイトから情報を抽出する処理のことです。

研究や商業目的で、Web上で公開されている情報(ニュースや統計データなど)を収集するために用いられる技術です。

 

PhantomJSとは

PhantomJSとはヘッドレスブラウザ(※)の1つです。(※)GUIを介さずに動作するブラウザのこと。
ChromeやFirefoxなどの通常のWebブラウザも「ヘッドレスモード」を備えています。

ヘッドレスブラウザは通常のWebブラウザと比較して起動が高速という利点があります。
そのため、本記事で紹介するようなスクレイピングや、Webアプリケーションのテストなどに頻繁に使用されています。
 

[PR] Pythonで挫折しない学習方法を動画で公開中

PhantomJSのインストール方法

Webブラウザ操作自動化の仕組み、Seleniumを用いてPhantomJSを動かします。

pipコマンドでSeleniumをインストールします。

 

pip install selenium

 

PhantomJSの公式サイトからPhantomJSをダウンロードします。

この記事ではWindows版を使用し、カレントディレクトリにphantomjs.exeを配置しました。
以下のコードを実行できれば、インストールに成功しています。

 

import selenium.webdriver
driver = selenium.webdriver.PhantomJS()

 

なお、PhantomJSは開発を中断しているため、以下のような警告メッセージが表示されます。

警告メッセージの通り、今後はPhantomJSの代わりに、ChromeやFirefoxのヘッドレスモードを用いるのが良いでしょう。
 

UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead
  warnings.warn('Selenium support for PhantomJS has been deprecated, please use headless '

 
 

PhantomJSによるWebスクレイピングの方法

以下のようなコードでWebドライバを初期化し、Webページにアクセスします。

 

import selenium.webdriver

driver = selenium.webdriver.PhantomJS()
driver.get(<アクセス先URL>)

 

以降、Webドライバのインスタンス(この例ではdriver変数)を通じて、Webページの内容を参照したり操作したりします。
 

コラム

実は私も!?独学で損する人の特徴

「スクールは高いから独学で成功する」という気持ちの方は多いと思います。
もちろんその方が金額は低く抑えられるでしょう。
ただ 独学には向き不向きがあり、実はスクールが向いている人も大勢います。

そんな方のために参考として、 テックアカデミー卒業生がスクールを選んだ理由 をご紹介します。

  • ・困って挫折しそうなときに、質問や相談できる相手がいる環境で学んでいきたいなと思った
  • ・わかった気になっているだけだったので、自分を追い込む環境に置いた方がいいと感じた
  • ・スクールのカリキュラムで市場に求められるスキルを学ぶべきと思った

少しでも当てはまる部分があれば、 スクールが向いているかもしれません。
お試しのつもりで、まずは一度 無料相談 に参加してみませんか?

現役エンジニア・デザイナーに何でも気軽に相談できる30分すべて無料で できます。
無理な勧誘は一切ない ので、お気軽にご参加ください。

今なら相談した方限定の割引・参加特典付き! 無料相談はこちら

実際に書いてみよう

TechAcademyのサイトでimg(画像)タグをスクレイピングし、URLを抽出してみます。

サンプルコード

import selenium.webdriver

driver = selenium.webdriver.PhantomJS()
driver.get('https://techacademy.jp/')
elems = driver.find_elements_by_tag_name('img')
for e in elems:
    print(e.get_attribute('src'))

 

実行結果

以下のようにURLが表示されました。

 

Webスクレイピングで取得した画像1

 
Webスクレイピングで取得した画像2

 

解説

はじめにSeleniumモジュールをインポートしました。
3行目でPhantomJSのWebドライバを初期化しました。
4行目でTechAcademyのサイトにアクセスしました。
5行目でimgタグを検索しました。
6,7行目で検索結果をループしながら、imgタグ内のsrc属性(URL)を表示しました。

 

監修してくれたメンター

橋本紘希

システムインテグレータ企業勤務のシステムエンジニア。

開発実績: Javaプログラムを用いた業務用Webアプリケーションや、基幹システム用バッチアプリケーションなどの設計構築試験。

 

大石ゆかり

内容分かりやすくて良かったです!

田島悠介

ゆかりちゃんも分からないことがあったら質問してね!

大石ゆかり

分かりました。ありがとうございます!

 

TechAcademyでは、初心者でもPythonを使った人工知能(AI)や機械学習の基礎を習得できるオンラインブートキャンプPython講座を開催しています。

挫折しない学習方法を知れる説明動画や、現役エンジニアとのビデオ通話とチャットサポート、学習用カリキュラムを体験できる無料体験も実施しているので、ぜひ参加してみてください。

初心者・未経験でもできる。まずはテックアカデミーに相談しよう

プログラミングを独学していて、このように感じた経験はないでしょうか?

  • ・調べてもほしい情報が見つからない
  • ・独学のスキルが実際の業務で通用するのか不安
  • ・目標への学習プランがわからず、迷子になりそう

テックアカデミーでは、このような 学習に不安を抱えている方へ、現役エンジニア講師とマンツーマンで相談できる機会を無料で提供 しています。
30分間、オンラインでどんなことでも質問し放題です。

「受けてよかった」と感じていただけるよう 厳しい試験を通過した講師 があなたの相談に真摯に向き合います。

「ただ気になることを相談したい」
「漠然としているがプロの話を聞いてみたい」

こんな気持ちでも大丈夫です。

無理な勧誘は一切ありません ので、まずはお気軽にご参加ください。
※体験用のカリキュラムも無料で配布いたします。(1週間限定)

今なら参加者限定の割引特典付き! 無料相談を予約する