SeleniumとBeautifulsoupを利用してPythonでスクレイピングする方法を現役エンジニアが解説【初心者向け】

SeleniumとBeautifulsoupを利用してPythonでスクレイピングする方法について、テックアカデミーのメンター（現役エンジニア）が実際のコードを使用して初心者向けに解説します。

SeleniumとBeautifulsoupを利用することで、Webページの内容のいち部分を指定して保存できます。

実務でも、自社サービスの表示データの一部をスクレイピングするので、ぜひ学習してみてください。

目次

• Seleniumとは
• Beautifulsoup4とは
• Selenium IDEインストール方法
• Selenium WebDriverのインストール方法
• Beautifulsoup4のインストール
• colab.research.google.comのドライバーインストール
• 実際にスクレイピングしてみよう
• まとめ
• Pythonを学習中の方へ

そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。

今回は、Pythonに関する内容だね！

どういう内容でしょうか？

SeleniumとBeautifulsoupを利用してPythonでスクレイピングする方法について詳しく説明していくね！

お願いします！

Seleniumとは

Seleniumとは、Webブラウザの操作を自動化させるためのライブラリです。

2004年にThoughtWorks社のJason Hugginsによって、ThoughtWorksの内部ツールとして開発されました。

ブラウザ操作の自動化を行うためのスクリプトであるSeleneseでテストを実行することから始まりました。

その後、Seleneseを使う代わりに汎用的なプログラム言語でもテストを行えるクライアントAPIも提供されています。

現在提供されているのは、次の言語用クライアントAPIです。

• Java
• C＃
• Ruby
• JavaScript
• R
• Python
• Kotlin

Beautifulsoup4とは

近年は機械学習などのデータを作成する時に、Webサイトからのデータを収集するための作業をプログラムを使って、半自動化することで大量のデータの取得を効率化させることが多くなりました。

そこで使われる手法がスクレイピングです。

Pythonではいくつかのスクレイピングライブラリがありますが、その1つがBeautifulsoup4です。

Beautifulsoup4とは、HTMLやXMLの中から必要なデータを抽出するためのPythonライブラリです。

HTMLの中身を解析してツリー構造にして目的のコンテンツを取得できることです。

つまり、Seleniumからブラウザを操作して出力された目的のページのHTMLをBeautifulsoup4で取得して、中身の構造を解析してプログラムから目的のデータを抽出するという流れがPythonでスクレイピングをやる時によく使われる手法です。

ちなみあらかじめ目的のページのURLがわかっている場合は、Seleniumの代わりにurllibを使ってHTMLを取得する方法もあります。

[PR] Pythonで挫折しない学習方法を動画で公開中

Selenium IDEインストール方法

1.SeleniumIDEのダウンロード

ChromeウェブストアのSelenium ページにアクセスしてChromeに追加をクリックします。

もし、Chromeウェブストアページが見つからなかったら、「chromeウェブストア　Selenium 」で検索してみてください。

2.SeleniumIDEのインストール

Selenium 拡張機能を追加すると、Selenium IDEのインストールが完了します。

今回はMicrosoft Edgeを利用していますが、Microsoft EdgeはChromeと互換性のある、Chromiumエンジンを利用しているため、Chrome拡張機能の利用が可能です。

コラム

コスパとタイパ、両方結果的に良くなる良くなる学び方とは？

「スクールは高いし時間も縛られて効率が悪い」と考える方は多いと思います。
もちろん、時間も費用もかかることは間違いありません。
ただ 結果的に無駄な学びにお金も時間もかける方がリスクが高いという考えもあります。

コスパ・タイパ最適化の参考として、 テックアカデミー卒業生がスクールを選んだ理由 をご紹介します。

• ・困ったときに、質問や相談できる相手がいるため挫折しなかった
• ・プロとして必要なスキルのみを深く学べたので無駄がなかった
• ・副業案件の提供と納品までのサポートがあったので目的を達成できた

安価・短期間で広く浅く学んでも意味がありません。 本当に自分の目的が達成できるか、それが重要です。
自分にどのスキルや学び方が合っているか、どんな学習方法かなど、お気軽に 無料相談 に参加してみませんか？

カウンセラー・現役のプロへ、何でも気軽に無料相談可能。 30分か60分お好きな時間が選べて、かつ3回まで すべて無料で ご利用できます。
無理な勧誘は一切ない ので、お気軽にご参加ください。

今なら相談した方限定の割引・参加特典付き！ 無料相談はこちら

Selenium WebDriverのインストール方法

Selenium WebDriverをPythonで利用するためには、Python環境を用意する必要があります。

効率的に開発！AnacondaでPythonの環境構築する方法 の記事を参考に、AnacondaでPythonの環境構築をしてみてください。

1.Anaconda Promptの実行

スタートメニューからAnaconda Promptを選択して、管理者として実行してください。

2.コマンドプロンプトからSeleniumをインストール

コマンドプロンプトが起動するので、conda install -c conda-forge seleniumというコマンドをコピーアンドペーストで実行してみてください。

conda install -c conda-forge selenium

3.seleniumインストール処理

インストール処理が開始されるので、yを入力してください。

4.Seleniumインストールが完了

また、まずはここから！Pythonのインストール方法【初心者向け】も参考にしてみてください。

Beautifulsoup4のインストール

Beautifulsoup4はAnacondaのcondaコマンドでインストールしてみましょう。

conda install -c anaconda beautifulsoup4

colab.research.google.comのドライバーインストール

もし、https://colab.research.google.com/で利用する場合は、次のドライバーを準備する必要があります。

AnacondaやPythonファイルを実行する場合はこの操作は不要です。

!pip3 install selenium
!apt-get update
!apt install chromium-chromedriver
!cp /usr/lib/chromium-browser/chromedriver /usr/bin

実際にスクレイピングしてみよう

それでは実際にスクレイピングをやってみます。

今回はcolabを利用して、技術情報サイトのテックアカデミーマガジンから、Pythonに関連した記事を取得する流れを自動化してみます。

サンプルプログラム

import time
from selenium import webdriver
from bs4 import BeautifulSoup
# 処理開始
url = "該当URL"
options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
driver = webdriver.Chrome('chromedriver',options=options)
# ページにアクセス
driver.get(url)
search[0].send_keys('Python')
search[0].submit()
time.sleep(5)
# 検索先のページのHTMLを取得
html = driver.page_source.encode('utf-8')
soup = BeautifulSoup(html, 'lxml')
results = soup.find_all("h3", class_="entry-title")
# 結果を出力
for result in results:
    href = result.findAll("a")[0].get("href")
    print(url + href)
driver.close()
driver.quit()

実行結果

実行すると、以下のように検索結果に出力された記事のリンクを表示させます。

解説

今回のコードはそのまま動作させると、違法スクレイピングにつながる可能性があるため、そのままでは動作しないように一部のコードを意図的に削除しています。

url = “該当URL”で指定したURLをスクレイピングしています。

search[0].send_keys(‘Python’)で指定した、Pythonというキーワードを指定して検索しています。

print(url + href)で取得したURLを表示しています。

まとめ

今回はSeleniumとBeautifulsoupを組み合わせて、スクレイピングを行う方法を紹介しました。

ブラウザから目的の操作を行いデータを取得する際にとても便利な方法ですので、データ収集が効率よくなると思います。

ただし、スクレイピングで著作権が関わるコンテンツを取得したり、悪質なクローリングを行うと、違法行為として裁判沙汰になることがあります。

なお、テックアカデミーマガジンではスクレイピングを許可しておりません。

また、Twitterなどはガイドラインでスクレイピングを全面的に禁止しているので、マナーを守って正しくスクレイピングを行いましょう。

内容が分かりやすくて良かったです！

ゆかりちゃんも分からないことがあったら質問してね！

分かりました。ありがとうございます！

Pythonを学習中の方へ

これで解説は終了です、お疲れさまでした。

• つまずかず「効率的に」学びたい
• 副業や転職後の「現場で使える」知識やスキルを身につけたい

プログラミングを学習していて、このように思ったことはありませんか？

テックアカデミーのPythonコースでは、第一線で活躍する「プロのエンジニア」が教えているので、効率的に実践的なスキルを完全オンラインでしっかり習得できます。

合格率10%の選考を通過した、選ばれたエンジニアの手厚いサポートを受けながら、人工知能（AI）や機械学習の基礎を学べます。

まずは一度、無料体験で学習の悩みや今後のキャリアについて話してみて、「現役エンジニアから教わること」を実感してみてください。

時間がない方、深く知ってから体験してみたい方は、今スグ見られる説明動画から先に視聴することをおすすめします！

プログラミングを独学で学習していて、このように感じた経験はないでしょうか？

• ・調べてもほしい情報が見つからない
• ・独学のスキルが実際の業務で通用するのか不安
• ・目標への学習プランがわからず、迷子になりそう

テックアカデミーでは、このような 学習に不安を抱えている方へ、マンツーマンで相談できる機会を無料で提供 しています。
30分間、オンラインでどんなことでも質問し放題です。

「受けてよかった」と感じていただけるよう カウンセラーやエンジニア・デザイナー があなたの相談に真摯に向き合います。

「自分に合っているか診断してほしい」
「漠然としているが話を聞いてみたい」
こんなささいな悩みでも大丈夫です。

無理な勧誘は一切ありません ので、まずはお気軽にご参加ください。
※体験用のカリキュラムも無料で配布いたします。（1週間限定）

今なら参加者限定の割引特典付き！ 無料相談を予約する