TechAcademy（テックアカデミー） プログラミング Python PythonでのPhantomJSによるWebスクレイピングの方法【初心者向け】
icon
icon
Python

PythonでのPhantomJSによるWebスクレイピングの方法【初心者向け】

初心者向けにPythonでのPhantomJSによるWebスクレイピングの方法について解説しています。Webスクレイピングとは特定のWebページの全体、または一部の情報をプログラミング処理で取得することです。seleniumを用いてphantomJSを動かしてみます。

テックアカデミーマガジンは受講者数No.1のプログラミングスクール「テックアカデミー」が運営。初心者向けにプロが解説した記事を公開中。現役エンジニアの方はこちらをご覧ください。 ※ アンケートモニター提供元：GMOリサーチ株式会社　調査期間：2021年8月12日～8月16日　 調査対象：2020年8月以降にプログラミングスクールを受講した18～80歳の男女1,000名　 調査手法：インターネット調査

PythonでのPhantomJSによるWebスクレイピングの方法について解説します。

そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。

 

なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。

 

田島悠介

今回は、Pythonに関する内容だね！

大石ゆかり

どういう内容でしょうか？

田島悠介

PythonでのPhantomJSによるWebスクレイピングの方法について詳しく説明していくね！

大石ゆかり

お願いします！

 

Webスクレイピングとは

Webスクレイピングとは、Webサイトから情報を抽出する処理のことです。

研究や商業目的で、Web上で公開されている情報(ニュースや統計データなど)を収集するために用いられる技術です。

 

PhantomJSとは

PhantomJSとはヘッドレスブラウザ(※)の1つです。(※)GUIを介さずに動作するブラウザのこと。
ChromeやFirefoxなどの通常のWebブラウザも「ヘッドレスモード」を備えています。

ヘッドレスブラウザは通常のWebブラウザと比較して起動が高速という利点があります。
そのため、本記事で紹介するようなスクレイピングや、Webアプリケーションのテストなどに頻繁に使用されています。
 

[PR] Pythonで挫折しない学習方法を動画で公開中

PhantomJSのインストール方法

Webブラウザ操作自動化の仕組み、Seleniumを用いてPhantomJSを動かします。

pipコマンドでSeleniumをインストールします。

 

pip install selenium

 

PhantomJSの公式サイトからPhantomJSをダウンロードします。

この記事ではWindows版を使用し、カレントディレクトリにphantomjs.exeを配置しました。
以下のコードを実行できれば、インストールに成功しています。

 

import selenium.webdriver
driver = selenium.webdriver.PhantomJS()

 

なお、PhantomJSは開発を中断しているため、以下のような警告メッセージが表示されます。

警告メッセージの通り、今後はPhantomJSの代わりに、ChromeやFirefoxのヘッドレスモードを用いるのが良いでしょう。
 

UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead
  warnings.warn('Selenium support for PhantomJS has been deprecated, please use headless '

 
 

PhantomJSによるWebスクレイピングの方法

以下のようなコードでWebドライバを初期化し、Webページにアクセスします。

 

import selenium.webdriver

driver = selenium.webdriver.PhantomJS()
driver.get(<アクセス先URL>)

 

以降、Webドライバのインスタンス(この例ではdriver変数)を通じて、Webページの内容を参照したり操作したりします。
 

実際に書いてみよう

TechAcademyのサイトでimg(画像)タグをスクレイピングし、URLを抽出してみます。

サンプルコード

import selenium.webdriver

driver = selenium.webdriver.PhantomJS()
driver.get('https://techacademy.jp/')
elems = driver.find_elements_by_tag_name('img')
for e in elems:
    print(e.get_attribute('src'))

 

実行結果

以下のようにURLが表示されました。

 

Webスクレイピングで取得した画像1

 
Webスクレイピングで取得した画像2

 

解説

はじめにSeleniumモジュールをインポートしました。
3行目でPhantomJSのWebドライバを初期化しました。
4行目でTechAcademyのサイトにアクセスしました。
5行目でimgタグを検索しました。
6,7行目で検索結果をループしながら、imgタグ内のsrc属性(URL)を表示しました。

 

監修してくれたメンター

橋本紘希

システムインテグレータ企業勤務のシステムエンジニア。

開発実績: Javaプログラムを用いた業務用Webアプリケーションや、基幹システム用バッチアプリケーションなどの設計構築試験。

 

大石ゆかり

内容分かりやすくて良かったです！

田島悠介

ゆかりちゃんも分からないことがあったら質問してね！

大石ゆかり

分かりました。ありがとうございます！

 

TechAcademyでは、初心者でもPythonを使った人工知能（AI）や機械学習の基礎を習得できるオンラインブートキャンプPython講座を開催しています。

挫折しない学習方法を知れる説明動画や、現役エンジニアとのビデオ通話とチャットサポート、学習用カリキュラムを体験できる無料体験も実施しているので、ぜひ参加してみてください。

記事を検索

関連するキーワード

関連する記事

PythonでQuandlを利用する方法を現役エンジニアが解説【初心者向け】

PythonでQuandlを利用する方法について、TechAcademyのメンター（現役エンジニア）が実際のコードを使用して初心者向けに解説します。 そも...
Python

Pythonにおけるnetaddrモジュールの利用方法を現役エンジニアが解説【初心者向け】

Pythonにおけるnetaddrモジュールの利用方法について、TechAcademyのメンター（現役エンジニア）が実際のコードを使用して、初心者向けに解説しま...
Python

Pythonでモジュールを作成する方法を現役エンジニアが解説【初心者向け】

Pythonでモジュールを作成する方法について解説します。 そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事...
Python

Python2からPython3に切り替える方法を現役エンジニアが解説【初心者向け】

Python2からPython3に切り替える方法について解説します。 そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説し...
Python

Pythonで行列の内積を計算する方法を現役エンジニアが解説【初心者向け】

Pythonで行列の内積を計算する方法について、TechAcademyのメンター（現役エンジニア）が実際のコードを使用して、初心者向けに解説します。 &n...
Python

Pythonでデータを暗号化する方法を現役エンジニアが解説【初心者向け】

Pythonでデータを暗号化する方法について、TechAcademyのメンター（現役エンジニア）が実際のコードを使用して、初心者向けに解説します。 Pyt...
Python

あわせてよく読まれている記事

SeleniumとBeautifulsoupを利用してPythonでスクレイピングする方法を現役エンジニアが解説【初心者向け】

SeleniumとBeautifulsoupを利用してPythonでスクレイピングする方法について、テックアカデミーのメンター（現役エンジニア）が実際のコードを使用して初心者向けに解説します。 SeleniumとBeautifulsoupを利用することで、Webページの内容のいち部分を指定して保存できます。 実務でも、自社サービスの表示データの一部をスクレイピングするので、ぜひ学習してみてください。 目次WebスクレイピングとはPhantomJSとはPhantomJSのインストール方法PhantomJSによるWebスクレイピングの方法実際に書いてみよう監修してくれたメンター そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。   田島悠介 今回は、Pythonに関する内容だね！ 大石ゆかり どういう内容でしょうか？ 田島悠介 SeleniumとBeautifulsoupを利用してPythonでスクレイピングする方法について詳しく説明していくね！ 大石ゆかり お願いします！   Seleniumとは Seleniumとは、Webブラウザの操作を自動化させるためのライブラリです。 2004年にThoughtWorks社のJason Hugginsによって、ThoughtWorksの内部ツールとして開発されました。 ブラウザ操作の自動化を行うためのスクリプトであるSeleneseでテストを実行することから始まりました。 その後、Seleneseを使う代わりに汎用的なプログラム言語でもテストを行えるクライアントAPIも提供されています。 現在提供されているのは、次の言語用クライアントAPIです。 Java C＃ Ruby JavaScript R Python Kotlin   Beautifulsoup4とは 近年は機械学習などのデータを作成する時に、Webサイトからのデータを収集するための作業をプログラムを使って、半自動化することで大量のデータの取得を効率化させることが多くなりました。 そこで使われる手法がスクレイピングです。 Pythonではいくつかのスクレイピングライブラリがありますが、その1つがBeautifulsoup4です。 Beautifulsoup4とは、HTMLやXMLの中から必要なデータを抽出するためのPythonライブラリです。 HTMLの中身を解析してツリー構造にして目的のコンテンツを取得できることです。 つまり、Seleniumからブラウザを操作して出力された目的のページのHTMLをBeautifulsoup4で取得して、中身の構造を解析してプログラムから目的のデータを抽出するという流れがPythonでスクレイピングをやる時によく使われる手法です。 ちなみあらかじめ目的のページのURLがわかっている場合は、Seleniumの代わりにurllibを使ってHTMLを取得する方法もあります。   [PR] Pythonで挫折しない学習方法を動画で公開中Selenium IDEインストール方法 1.SeleniumIDEのダウンロード ChromeウェブストアのSelenium ページにアクセスしてChromeに追加をクリックします。 もし、Chromeウェブストアページが見つからなかったら、「chromeウェブストア　Selenium 」で検索してみてください。 2.SeleniumIDEのインストール Selenium 拡張機能を追加すると、Selenium IDEのインストールが完了します。 今回はMicrosoft Edgeを利用していますが、Microsoft EdgeはChromeと互換性のある、Chromiumエンジンを利用しているため、Chrome拡張機能の利用が可能です。   Selenium WebDriverのインストール方法 Selenium WebDriverをPythonで利用するためには、Python環境を用意する必要があります。 効率的に開発！AnacondaでPythonの環境構築する方法 の記事を参考に、AnacondaでPythonの環境構築をしてみてください。   1.Anaconda Promptの実行 スタートメニューからAnaconda Promptを選択して、管理者として実行してください。 2.コマンドプロンプトからSeleniumをインストール コマンドプロンプトが起動するので、conda install -c conda-forge seleniumというコマンドをコピーアンドペーストで実行してみてください。 conda install -c conda-forge selenium 3.seleniumインストール処理 インストール処理が開始されるので、yを入力してください。 4.Seleniumインストールが完了 また、まずはここから！Pythonのインストール方法【初心者向け】も参考にしてみてください。   Beautifulsoup4のインストール Beautifulsoup4はAnacondaのcondaコマンドでインストールしてみましょう。 conda install -c anaconda beautifulsoup4   colab.research.google.comのドライバーインストール もし、https://colab.research.google.com/で利用する場合は、次のドライバーを準備する必要があります。 AnacondaやPythonファイルを実行する場合はこの操作は不要です。 !pip3 install selenium !apt-get update !apt install chromium-chromedriver !cp /usr/lib/chromium-browser/chromedriver /usr/bin   実際にスクレイピングしてみよう それでは実際にスクレイピングをやってみます。 今回はcolabを利用して、技術情報サイトのテックアカデミーマガジンから、Pythonに関連した記事を取得する流れを自動化してみます。 サンプルプログラム import time from selenium import webdriver from bs4 import BeautifulSoup # 処理開始 url = "該当URL" options = webdriver.ChromeOptions() options.add_argument('--headless') options.add_argument('--no-sandbox') options.add_argument('--disable-dev-shm-usage') driver = webdriver.Chrome('chromedriver',options=options) # ページにアクセス driver.get(url) search[0].send_keys('Python') search[0].submit() time.sleep(5) # 検索先のページのHTMLを取得 html = driver.page_source.encode('utf-8') soup = BeautifulSoup(html, 'lxml') results
Python

Pythonにおけるseleniumモジュールでのwait()の利用方法を現役エンジニアが解説【初心者向け】

Pythonにおけるseleniumモジュールでのwait()の利用方法について、テックアカデミーのメンター（現役エンジニア）が実際のコードを使用して初心者向けに解説します。 Pythonのseleniumモジュールでwait()を利用することで、自動化処理を一定時間停止した後、処理を再開できます。 実務でも、Pythonのseleniumモジュールでwait()を利用することで、対象Webページの表示状態に即した処理を行うので、ぜひ学習してみてください。 目次WebスクレイピングとはPhantomJSとはPhantomJSのインストール方法PhantomJSによるWebスクレイピングの方法実際に書いてみよう監修してくれたメンター そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。   田島悠介 今回は、Pythonに関する内容だね！ 大石ゆかり どういう内容でしょうか？ 田島悠介 Pythonにおけるseleniumモジュールでのwait()の利用方法について詳しく説明していくね！ 大石ゆかり お願いします！   seleniumモジュールとは？ 今回は、seleniumモジュールの待機処理について学習していきます。 Selenium(セレニウム)とは、Webアプリケーションのテスト自動化を実現するブラウザ駆動型テストツール群です。 ブラウザ操作からテストスクリプトを作成でき、Webベース管理タスクの自動化も行えます。 Webブラウザの自動操作ライブラリとしてさまざまな機能を備えています。 ブラウザ上でのキーボード入力やクリックなどの操作のほとんどが自動化できるため、筆者も業務自動化ツールの開発で重宝しています。 PythonでSeleniumを利用してWebサイトのログインを自動化する記事も合わせてご覧ください。   wait()の使い方 seleniumの待機処理には大きく分けて2つの方法があります。 時間指定の待機 Webページ上のコンテンツを基準にした待機例 それではそれぞれの使い方について学習していきます。   時間指定待機の使い方 サンプルコード driver.implicitly_wait(20) 解説 driver.implicitly_wait(20)では、20秒という時間待機設定をしています。 一度設定することで、find_element などの処理時に要素が見つかるまで指定時間繰り返し探索するようになります。 数字を書き換えることで、待機する時間の設定が可能です。   Webページ上のコンテンツを基準にした待機の使い方 サンプルコード WebDriverWait(driver, 30).until(EC.presence_of_element_located((By.ID, "ID名")) 解説 Explicit Waitsは複雑な条件を指定して、条件が満たされるまで待機するという設定ができます。 サンプルコードは、IDが”ID名”の要素が読み込まれるまで最大30秒待機という処理です。 また、By.はID以外も次のような要素を指定できます。 [By.で指定できる要素一覧] ID XPATH LINK_TEXT PARTIAL_LINK_TEXT NAME TAG_NAME CLASS_NAME CSS_SELECTOR   [PR] Pythonで挫折しない学習方法を動画で公開中wait()を利用して待機処理を記述してみよう ここではサンプルコードを例に、待機処理を実行します。 selenium環境が用意できていない方は、Selenium WebDriverでPythonのテストを行う方法【初心者向け】の記事もあわせてご覧ください。 今回のコードはそのまま動作させると、違法スクレイピングにつながる可能性があるため、そのままでは動作しないように一部のコードを意図的に削除しています。 サンプルコード # 必要なライブラリのインポート import time from selenium import webdriver # Chromeブラウザを起動する driver = webdriver.Chrome() # テックアカデミーマガジンのサイトを開く driver.get("該当URL") # 検索ワードを入力する場所が表示されるまで最大30秒待機する # # 検索ワードを入力する場所を探して「python」と入力する # # 検索を実行する（検索ボタンを押すのと同じ動作） search_box.submit() # 検索結果からタイトルが「Python」のリンクをクリックする。 driver.implicitly_wait(10) driver.find_element_by_link_text("Python").click() # 5秒待つ time.sleep(5) # Chromeブラウザを閉じる driver.quit() 解説 import timeでは、timeモジュールをインポートしています。 from selenium import webdriverでは、seleniumモジュールのwebdriverライブラリをインポートしています。 driver = webdriver.Chrome()では、Chromeブラウザを起動しています。 driver.get(“https://techacademy.jp/magazine/”)では、テックアカデミーマガジンのサイトを開いています。 search_box.submit()では、検索を実行しています。 driver.implicitly_wait(10)では、検索結果が表示されるのを10秒待ちます。 driver.find_element_by_link_text(“Python”).click()では、検索結果からタイトルが「Python」のリンクをクリックしています。 time.sleep(5)では、5秒待ちます。 driver.quit()では、ブラウザを閉じています。   大石ゆかり 内容が分かりやすくて良かったです！ 田島悠介 ゆかりちゃんも分からないことがあったら質問してね！ 大石ゆかり 分かりました。ありがとうございます！   Pythonを学習中の方へ これで解説は終了です、お疲れさまでした。 つまずかず「効率的に」学びたい 副業や転職後の「現場で使える」知識やスキルを身につけたい プログラミングを学習していて、このように思ったことはありませんか？ テックアカデミーのPythonコースでは、第一線で活躍する「プロのエンジニア」が教えているので、効率的に実践的なスキルを完全オンラインでしっかり習得できます。 合格率10%の選考を通過した、選ばれたエンジニアの手厚いサポートを受けながら、人工知能（AI）や機械学習の基礎を学べます。 まずは一度、無料体験で学習の悩みや今後のキャリアについて話してみて、「現役エンジニアから教わること」を実感してみてください。 時間がない方、深く知ってから体験してみたい方は、今スグ見られる説明動画から先に視聴することをおすすめします！
Python

Selenium WebDriverでPythonのテストを行う方法【初心者向け】

Selenium WebDriverを使ってPythonのテストを行う方法について解説します。 そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。   なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。   田島悠介 今回は、Pythonに関する内容だね！ 大石ゆかり どういう内容でしょうか？ 田島悠介 Selenium WebDriverの使い方について詳しく説明していくね！ 大石ゆかり お願いします！   Selenium WebDriverとは Selenium WebDriver とは、Webブラウザをプログラムから自動的に操作するためのツールです。 人がブラウザを開いて、入力したり、ボタンを押したりといった作業をプログラムに行わせることができます。主な利用用途は2つあります。 スクレイピング Webサイトの情報をツールやプログラムを使って収集することです。例えば、検索サイトにアクセスし、検索した結果や画像を自分のパソコンに保存するようなことができます。   テスト WebサイトやWebサービスが正しく動作するか、人が入力する代わりにプログラムから操作して確認することができます。プログラムから操作するので、何度も同じ動作をさせることができます。   Selenium WebDriverの使い方 Selenium WebDriver は2つのライブラリ（ツール）で構成されています。 Python にインストールする「Selenium」というライブラリと、Webブラウザにインストールする「WebDriver」というライブラリです。 例えば、パソコンが Mac で、ブラウザが Chrome の場合、ターミナルから以下のコマンドでインストールします。なお、事前に Python のインストールが必要です。 pip install selenium brew install chromedriver その他の環境の場合など、詳しくは公式サイトを参考にして下さい。 https://www.seleniumhq.org/projects/webdriver/ https://sites.google.com/a/chromium.org/chromedriver/downloads   [PR] Pythonで挫折しない学習方法を動画で公開中実際に書いてみよう 実際に Selenium WebDriver を使って Python のプログラムを書いてみましょう。今回のサンプルプログラムでは、ブラウザを開いて検索を実行する操作を自動化しています。 ソースコードはChromeDriverの公式サイトを参考にしています。 https://sites.google.com/a/chromium.org/chromedriver/getting-started ソースコード # 必要なライブラリのインポート import time from selenium import webdriver # Chromeブラウザを起動する driver = webdriver.Chrome() # Googleのサイトを開く driver.get("https://www.google.co.jp/") # 検索ワードを入力する場所を探して「Selenium」と入力する search_box = driver.find_element_by_name('q') search_box.send_keys('Selenium') # 検索を実行する（検索ボタンを押すのと同じ動作） search_box.submit() # 検索結果からタイトルが「Selenium - Web Browser Automation」のリンクをクリックする。 driver.find_element_by_link_text("Selenium - Web Browser Automation").click() # 5秒待つ time.sleep(5) # Chromeブラウザを閉じる driver.quit() 実行すると、Chromeブラウザが起動し、自動的に操作されていることを確認できます。 この記事を監修してくれた方 太田和樹（おおたかずき） ITベンチャー企業のPM兼エンジニア 普段は主に、Web系アプリケーション開発のプロジェクトマネージャーとプログラミング講師を行っている。守備範囲はフロントエンド、モバイル、サーバサイド、データサイエンティストと幅広い。その幅広い知見を生かして、複数の領域を組み合わせた新しい提案をするのが得意。 開発実績：画像認識技術を活用した駐車場混雑状況把握（実証実験）、音声認識を活用したヘルプデスク支援システム、Pepperを遠隔操作するアプリの開発、大規模基幹系システムの開発・導入マネジメント 地方在住。仕事のほとんどをリモートオフィスで行う。通勤で消耗する代わりに趣味のDIYや家庭菜園、家族との時間を楽しんでいる。   大石ゆかり 内容分かりやすくて良かったです！ 田島悠介 ゆかりちゃんも分からないことがあったら質問してね！ 大石ゆかり 分かりました。ありがとうございます！   TechAcademyでは、初心者でもPythonを使った人工知能（AI）や機械学習の基礎を習得できるオンラインブートキャンプPython講座を開催しています。 挫折しない学習方法を知れる説明動画や、現役エンジニアとのビデオ通話とチャットサポート、学習用カリキュラムを体験できる無料体験も実施しているので、ぜひ参加してみてください。
Python

PythonでSeleniumを利用してWebサイトのログインを自動化する方法を現役エンジニアが解説【初心者向け】

PythonでSeleniumを利用してWebサイトのログインを自動化する方法について、TechAcademyのメンター（現役エンジニア）が実際のコードを使用して、初心者向けに解説します。   Pythonについてそもそもよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まるでしょう。   なお本記事は、TechAcademyのオンラインブートキャンプ、Python講座の内容をもとに紹介しています。   田島悠介 今回は、Pythonに関する内容だね！ 大石ゆかり どういう内容でしょうか？ 田島悠介 PythonでSeleniumを利用してWebサイトのログインを自動化する方法について詳しく説明していくね！ 大石ゆかり お願いします！   Seleniumとは Selenium(セレニウム)とは、ブラウザを自動で操作することが可能なオートメーションツールです。 Seleniumを使用することでブラウザ上での様々な操作をプログラムで自動化することが可能です。 Seleniumのログイン処理の実装方法 Google chrome上での自動ログイン処理の実装方法について、みていきましょう。 まず、Chromeのインストールからスタートし、完了後にSeleniumのインストールを行います。 Seleniumはpipを使用してインストールできます。 ターミナル上では、下記コマンドを入力してインストールを行いましょう。 pip install selenium   次に、ログイン処理に使用するseleniumコマンドを紹介します。 ログインまでの一連の流れとして下記のような手順を行いましょう。 対象ページにアクセスする ログインページを開く ID・PASSを入力する ログインボタンをクリックする URLを開くコマンド .get(URL) テキストボックスに入力するコマンド .send_keys(“キーワード”) クリックするコマンド .click()   [PR] Pythonで挫折しない学習方法を動画で公開中実際に書いてみよう 下記サンプルコードを参考にPythonでseleniumを利用して、Webサイトのログインを自動化する方法について解説します。 サンプルコード # coding:utf-8 from selenium import webdriver from selenium.webdriver.common.keys import Keys import time # ブラウザを開く。 driver = webdriver.Chrome(executable_path='ウェブドライバを設置したフルパス') # Googleの検索TOP画面を開く。 driver.get("https://www.yahoo.co.jp/") # 3秒待機 time.sleep(3) # ログインボタンをクリックする login_btn = driver.find_element_by_xpath('//*[@id="Login"]/div/p[1]/a') login_btn.click() # 1秒待機 time.sleep(1) # ログインIDを入力 login_id = driver.find_element_by_name("login") login_id.send_keys("ログインIDを入力") # 次へボタンをクリック next_btn = driver.find_element_by_name("btnNext") next_btn.click() # 1秒待機 time.sleep(1) # パスワードを入力 password = driver.find_element_by_name("passwd") password.send_keys("パスワードを入力") #ログインボタンをクリック login_btn = driver.find_element_by_name("btnSubmit") login_btn.click() #10秒待機 time.sleep(10) # ブラウザを終了する。 driver.close()   実行結果 コードを実行すると、ブラウザが自動で起動してYahooのトップページを開くことが可能です。 まず、ログイン画面へアクセスしID入力後、次へボタンをクリックしましょう。 次にパスワードを入力し、ログインボタンをクリックします。 ログイン処理後のYahooトップページが表示されました。   解説 コード8行目でseleniumを使用し、Yahooトップページへアクセスしています。 コード12-13行目は、トップページ上のログインボタンをクリックする設定です。 この時、ログインボタンの要素はXpath形式で’//*[@id=”Login”]/div/p[1]/a’を指定している状態です。   要素の取得方法は、 コード17-18は、send_keysを使用しログインIDを入力します。 コード20-21は、click()コマンドを使用し次へボタンをクリックする設定です。 コード25-26は、send_keysを使用しパスワードを入力しています。 コード28-29は、click()コマンドを使用してログインボタンをクリックしています。 実行すると、実行結果の一連の動作が自動で処理されることが確認できるでしょう。 要素の取得方法 1.要素を取得したいページを開いた状態で右クリック→検証を選択 2.ブラウザ右側に検証ツールのコンソールが出現するため、コンソール左上のセレクトボタンをクリックしてオン(青色)状態にする 3.取得したい要素をクリックして対象ソース部分をハイライトする 4,ハイライトしたソース上で右クリック→Copy→Copy Xpathを選択 これで要素がクリップボードに取得できるため、あとはプログラム上に貼り付けましょう。 まとめ 今回は、Pythonでseleniumを利用して、Webサイトのログインを自動化する方法について紹介しました。 この技術は、現在様々な分野で主力となってきているライブラリです。 ブラウザ上での様々な自動処理が可能になるため、応用範囲が広くなるでしょう。   執筆してくれたメンター 菅繕久（すがよしひこ） 現在はフリーランスのエンジニアをしていてプログラミング歴は8年目になります。 普段は Python、FileMaker等を使って様々な業務で活用できるIoTプロダクトRPAツールを作成しています。 開発実績としては、業務自動化ツール(在庫管理・発注・ファイル操作 etc)、電子カルテシステム、ロボット用プログラムなどがあります。 TechAcademyではPythonコースを担当しております。   大石ゆかり PythonでSeleniumを利用してWebサイトのログインを自動化する方法がよく分かったので良かったです！ 田島悠介 ゆかりちゃん、これからも分からないことがあったら質問してね！ 大石ゆかり 分かりました。ありがとうございます！   TechAcademyでは、初心者でも、Pythonを使った人工知能（AI）や機械学習の基礎を習得できる、オンラインブートキャンプを開催しています。 また、現役エンジニアから学べる無料体験も実施しているので、ぜひ参加してみてください。
Python

Selenium WebDriverでRubyのテストを行う方法【初心者向け】

RubyでSelenium WebDriverを使う方法について解説します。   そもそもRubyについてよく分からないという方は、Rubyとは何なのか解説した記事を読むとさらに理解が深まります。 なお本記事は、TechAcademyのオンラインブートキャンプRuby講座の内容をもとに紹介しています。   田島悠介 今回は、Rubyに関する内容だね！ 大石ゆかり どういう内容でしょうか？ 田島悠介 Selenium WebDriverの使い方について詳しく説明していくね！ 大石ゆかり お願いします！   Selenium WebDriverとは Selenium WebDriverとは、プログラミングを介して、ブラウザを操作するライブラリです。 例えば、毎日特定のWEBページをスクレイピングしたい、特定の操作を行いたいなど、手動ではなく、プログラムが自動で実行できるようにすることが出来ます。   Selenium WebDriverの使い方 Selenium WebDriverを使う際は、GEMをインストールする必要があります。 以下のコマンドを実行する事で、インストールが完了します。 gem install selenium-webdriver selenium-webdriverを使用するに際して、ブラウザのバイナリ(本体)、ドライバが必要となります。 ドライバは以下のURLより取得できます。 https://sites.google.com/a/chromium.org/chromedriver/downloads Gemとバイナリ、ドライバ、サーバのインストールが完了したら以下のように実行できるようになります。 require 'selenium-webdriver' driver = Selenium::WebDriver.for :chrome driver.get "http://google.com"   [PR] Pythonで挫折しない学習方法を動画で公開中実際に書いてみよう Googleへアクセスし、検索窓に文字列を入力し検索を実行、その後、スクリーンショットを取得する、という内容を行います。 ソースコード require 'selenium-webdriver' session = Selenium::WebDriver.for :chrome session.manage.timeouts.implicit_wait = 600 session.navigate.to "https://google.com/" # ターミナルへページタイトルを出力 puts session.title # googleの入力フォームを指定 query = session.find_element(:id, 'lst-ib') # フォームへの入力内容 query.send_keys('techacademy') # 入力内容を実行 query.submit # スクリーンショットを取得 session.save_screenshot('page.png') # ブラウザを終了 session.quit WEBアプリケーションの作成時にテストが必要となりますが、 実際に入力してテスト、というのを手動で行うと、時間がかかってしまうので、このように自動化できると効率化ができそうです。   監修してくれたメンター 中廣 誠 職種: WEBエンジニア 過去の開発実績・業務内容: 一部上場企業にて、WEBアプリケーションの受託開発、自社WEBサービス開発、自社ゲーム開発に従事 現在はフリーで活動し、ECサイト開発/運営、課題を解決するためのシステムコンサルタントなどを実施 趣味など フリーでの活動を期に沖縄へ移住したので、海でのスキンダイビング、釣りなどを趣味にしています。   大石ゆかり 内容分かりやすくて良かったです！ 田島悠介 ゆかりちゃんも分からないことがあったら質問してね！ 大石ゆかり 分かりました。ありがとうございます！   TechAcademyでは、初心者でもRuby on Railsを使ったプログラミングを習得できるオンラインブートキャンプRuby講座を開催しています。 挫折しない学習方法を知れる説明動画や、現役エンジニアとのビデオ通話とチャットサポート、学習用カリキュラムを体験できる無料体験も実施しているので、ぜひ参加してみてください。
Ruby

Pythonのseleniumにおけるブラウザ（chrome）自動操作について現役エンジニアが解説【初心者向け】

Pythonのseleniumにおけるブラウザ（chrome）自動操作について、TechAcademyのメンター（現役エンジニア）が実際のコードを使用して初心者向けに解説します。 そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。   なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。   田島悠介 今回は、Pythonに関する内容だね！ 大石ゆかり どういう内容でしょうか？ 田島悠介 seleniumにおけるブラウザ（chrome）自動操作について詳しく説明していくね！ 大石ゆかり お願いします！ 目次 seleniumとは seleniumの使い方 seleniumを利用してchromeの自動操作をプログラムしてみよう まとめ   seleniumとは Selenium（セレニウム）とは、WEBブラウザの操作を自動化するフレームワークです。当初は、WEBアプリケーションでのUIテストを自動化する目的で作られました。現在は、当初の目的のWEBアプリケーションのテストのみならずスクレイピングというWEB上から情報を取得するなどの様々な用途で使用されています。 用意するのは、「ブラウザ」と「Selenium」と「WebDriver」の3つを用意します。「ブラウザ」は、今回は「Chrome」を使用します。「WebDriver」とは、SeleniumがChromeを操作するために必要なソフトです。 今回は、Chromeを対象として扱うので、「Chrome WebDriver」というソフトを使います。   [PR] Pythonで挫折しない学習方法を動画で公開中seleniumの使い方 今回は、PythonでSeleniumの使い方を解説します。まずは、使っていく上で、以下の注意点を押さえておきましょう。 サーバに負荷を掛ける処理は行わない 対象のサイトでの利用規約で禁止されていないか確認   Pythonで手軽に使う方法としては、Pythonをインストールしたときに付いている、パッケージ管理ツール「pip」からインストールする方法です。「コマンドプロンプト（Windows）」または「ターミナル(Mac/Linux)」を開き、下記のコマンドを入力します。 $ pip install selenium $ pip install chromedriver-binary-auto これで、準備は完了です。次は実際にプログラムで自動操作を行います。   seleniumを利用してchromeの自動操作をプログラムしてみよう それでは、プログラミングしていきましょう。以下のようなコードを書いてみましょう。 import time from selenium import webdriver driver = webdriver.Chrome() driver.get('https://www.google.com/') time.sleep(5) search_box = driver.find_element_by_name("q") search_box.send_keys('りんご') search_box.submit() time.sleep(5) driver.quit() 実行すると Googleの検索画面が開いた後、「りんご」が検索欄に挿入され、検索結果画面が表示されると思います。   まとめ 今回は、PythonでSeleniumを使った自動操作について解説しました。ぜひ、使ったことない方や興味のある方がいれば、この機会に使ってみてはいかがでしょうか。   監修してくれたメンター 土井友裕（どいともひろ） 社内エンジニアとして、活動をしています。 扱えるプログラミング言語は、Python、Ruby、Dart(Flutter)、C# 、Java…他 など幅広く経験しております。開発実績としては、大手医療機器メーカーのWEBシステムの開発に従事しておりました。   大石ゆかり 内容分かりやすくて良かったです！ 田島悠介 ゆかりちゃんも分からないことがあったら質問してね！ 大石ゆかり 分かりました。ありがとうございます！   TechAcademyでは、初心者でもPythonを使った人工知能（AI）や機械学習の基礎を習得できるオンラインブートキャンプPython講座を開催しています。 挫折しない学習方法を知れる説明動画や、現役エンジニアとのビデオ通話とチャットサポート、学習用カリキュラムを体験できる無料体験も実施しているので、ぜひ参加してみてください。
Python

あなたの目的に合わせて学べるコース

副業したい方

Web制作の力を身につけ
副業までサポート

はじめての副業コース

転職したい方

未経験から16週間で
エンジニアに

エンジニア転職保証コース

スキルアップしたい方

AIも統計解析もできる
Pythonを学ぶ

Pythonコース

※ 経済産業省の第四次産業革命スキル習得認定講座で、厚生労働省指定の専門実践教育訓練給付制度の対象です。条件を満たすことで支払った受講料の最大70％（最大306,460円）が給付金として支給されます。詳しくは エンジニア転職保証コース のページ内の注意事項をご確認ください。

TechAcademyから
現役エンジニアの方へ
お知らせ

テックアカデミーGAIナレッジベース
TechAcademy（テックアカデミー） プログラミング Python PythonでのPhantomJSによるWebスクレイピングの方法【初心者向け】