PythonでのPhantomJSによるWebスクレイピングの方法【初心者向け】
初心者向けにPythonでのPhantomJSによるWebスクレイピングの方法について解説しています。Webスクレイピングとは特定のWebページの全体、または一部の情報をプログラミング処理で取得することです。seleniumを用いてphantomJSを動かしてみます。
テックアカデミーマガジンは受講者数No.1のプログラミングスクール「テックアカデミー」が運営。初心者向けにプロが解説した記事を公開中。現役エンジニアの方はこちらをご覧ください。 ※ アンケートモニター提供元：GMOリサーチ株式会社 調査期間：2021年8月12日～8月16日 調査対象：2020年8月以降にプログラミングスクールを受講した18～80歳の男女1,000名 調査手法：インターネット調査
PythonでのPhantomJSによるWebスクレイピングの方法について解説します。
そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。
なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。
今回は、Pythonに関する内容だね！
どういう内容でしょうか？
PythonでのPhantomJSによるWebスクレイピングの方法について詳しく説明していくね！
お願いします！
Webスクレイピングとは
Webスクレイピングとは、Webサイトから情報を抽出する処理のことです。
研究や商業目的で、Web上で公開されている情報(ニュースや統計データなど)を収集するために用いられる技術です。
PhantomJSとは
PhantomJSとはヘッドレスブラウザ(※)の1つです。(※)GUIを介さずに動作するブラウザのこと。
ChromeやFirefoxなどの通常のWebブラウザも「ヘッドレスモード」を備えています。
ヘッドレスブラウザは通常のWebブラウザと比較して起動が高速という利点があります。
そのため、本記事で紹介するようなスクレイピングや、Webアプリケーションのテストなどに頻繁に使用されています。
PhantomJSのインストール方法
Webブラウザ操作自動化の仕組み、Seleniumを用いてPhantomJSを動かします。
pipコマンドでSeleniumをインストールします。
pip install selenium
PhantomJSの公式サイトからPhantomJSをダウンロードします。
この記事ではWindows版を使用し、カレントディレクトリにphantomjs.exeを配置しました。
以下のコードを実行できれば、インストールに成功しています。
import selenium.webdriver driver = selenium.webdriver.PhantomJS()
なお、PhantomJSは開発を中断しているため、以下のような警告メッセージが表示されます。
警告メッセージの通り、今後はPhantomJSの代わりに、ChromeやFirefoxのヘッドレスモードを用いるのが良いでしょう。
UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead
warnings.warn('Selenium support for PhantomJS has been deprecated, please use headless '
PhantomJSによるWebスクレイピングの方法
以下のようなコードでWebドライバを初期化し、Webページにアクセスします。
import selenium.webdriver driver = selenium.webdriver.PhantomJS() driver.get(<アクセス先URL>)
以降、Webドライバのインスタンス(この例ではdriver変数)を通じて、Webページの内容を参照したり操作したりします。
コスパとタイパ、両方結果的に良くなる良くなる学び方とは？
「スクールは高いし時間も縛られて効率が悪い」と考える方は多いと思います。
もちろん、時間も費用もかかることは間違いありません。
ただ
結果的に無駄な学びにお金も時間もかける方がリスクが高いという考えもあります。
コスパ・タイパ最適化の参考として、
テックアカデミー卒業生がスクールを選んだ理由
をご紹介します。
- ・困ったときに、質問や相談できる相手がいるため挫折しなかった
- ・プロとして必要なスキルのみを深く学べたので無駄がなかった
- ・副業案件の提供と納品までのサポートがあったので目的を達成できた
安価・短期間で広く浅く学んでも意味がありません。
本当に自分の目的が達成できるか、それが重要です。
自分にどのスキルや学び方が合っているか、どんな学習方法かなど、お気軽に
無料相談
に参加してみませんか？
カウンセラー・現役のプロへ、何でも気軽に無料相談可能。
30分か60分お好きな時間が選べて、かつ3回まで
すべて無料で
ご利用できます。
無理な勧誘は一切ない
ので、お気軽にご参加ください。
実際に書いてみよう
TechAcademyのサイトでimg(画像)タグをスクレイピングし、URLを抽出してみます。
サンプルコード
import selenium.webdriver
driver = selenium.webdriver.PhantomJS()
driver.get('https://techacademy.jp/')
elems = driver.find_elements_by_tag_name('img')
for e in elems:
print(e.get_attribute('src'))
実行結果
以下のようにURLが表示されました。
解説
はじめにSeleniumモジュールをインポートしました。
3行目でPhantomJSのWebドライバを初期化しました。
4行目でTechAcademyのサイトにアクセスしました。
5行目でimgタグを検索しました。
6,7行目で検索結果をループしながら、imgタグ内のsrc属性(URL)を表示しました。
監修してくれたメンター
| 橋本紘希
システムインテグレータ企業勤務のシステムエンジニア。 開発実績: Javaプログラムを用いた業務用Webアプリケーションや、基幹システム用バッチアプリケーションなどの設計構築試験。 |
内容分かりやすくて良かったです！
ゆかりちゃんも分からないことがあったら質問してね！
分かりました。ありがとうございます！
TechAcademyでは、初心者でもPythonを使った人工知能（AI）や機械学習の基礎を習得できるオンラインブートキャンプPython講座を開催しています。
挫折しない学習方法を知れる説明動画や、現役エンジニアとのビデオ通話とチャットサポート、学習用カリキュラムを体験できる無料体験も実施しているので、ぜひ参加してみてください。
プログラミングを独学で学習していて、このように感じた経験はないでしょうか？
- ・調べてもほしい情報が見つからない
- ・独学のスキルが実際の業務で通用するのか不安
- ・目標への学習プランがわからず、迷子になりそう
テックアカデミーでは、このような
学習に不安を抱えている方へ、マンツーマンで相談できる機会を無料で提供
しています。
30分間、オンラインでどんなことでも質問し放題です。
「受けてよかった」と感じていただけるよう
カウンセラーやエンジニア・デザイナー
があなたの相談に真摯に向き合います。
「自分に合っているか診断してほしい」
「漠然としているが話を聞いてみたい」
こんなささいな悩みでも大丈夫です。
無理な勧誘は一切ありません
ので、まずはお気軽にご参加ください。
※体験用のカリキュラムも無料で配布いたします。（1週間限定）
