PythonによるWebスクレイピングの方法を現役エンジニアが解説【初心者向け】
PythonによるWebスクレイピングの方法ついて解説します。WebスクレイピングはWebページのデータを取得できます。取得したデータの特定部分を抜き取ったり、自動でサイトにログインすることも可能です。
テックアカデミーマガジンは受講者数No.1のプログラミングスクール「テックアカデミー」が運営。初心者向けにプロが解説した記事を公開中。現役エンジニアの方はこちらをご覧ください。 ※ アンケートモニター提供元:GMOリサーチ株式会社 調査期間:2021年8月12日~8月16日 調査対象:2020年8月以降にプログラミングスクールを受講した18~80歳の男女1,000名 調査手法:インターネット調査
PythonによるWebスクレイピングの方法ついて解説します。
そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。
なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。
今回は、PythonでWebスクレイピングする方法についての内容だね!
Webスクレイピングとは何でしょうか?
Webスクレイピングでできること、その方法を解説していくね!
お願いします!
Webスクレイピングとは
Webスクレイピングとは、Webページの情報をプログラムを使って取得できる技術です。他のプログラミング言語でもWebスクレイピングはできますが、今回はPythonを使ってWebスクレイピングする方法を紹介します。
Webスクレイピングで何ができる?
では具体的にWebスクレイピングでは何ができるのでしょうか?
たとえば、以下のようなことができます。
- あるサイトの特定部分のテキストを定期的に取得
- ネットオークションの価格を自動で取得
- 自動でサイトにログインして、ほしい情報を取得
Webスクレイピングは、業務の自動化などで活躍します。
Webスクレイピングのためのライブラリ・フレームワーク
PythonでWebスクレイピングをするための代表絵的なライブラリやフレームワークをいくつか紹介します。
urllib.request
Pythonの標準ライブラリです。URLを指定し、Webサイトの情報を取得できます。
Requests
urllib.requestに同じく、Webサイトの情報を取得できます。Requestsは人間のためのHTTPとしても親しまれていて、扱いやすいのが特徴です。
beautifulsoup4
beautifulsoup4は、サードパーティ製のhtmlパーサライブラリです。取得したWebサイトから特定のテキスト情報などを抜き出せます。
Webスクレイピングといえばbeautifulsoup4、と覚えてもよいほど有名です。
Selenium
自動でブラウザを操作する為のライブラリです。スクレイピングにも活用することできます。
HTMLの要素にアクセスして情報を取得できるのはもちろん、クリック操作などの制御も可能です。
Scrapy
Pythonにおけるスクレイピングのためフレームワークといえば、Scrapyです。
Scrapyは、スクレイピング(Webサイトからデータを取得する)だけではなく、クローリング(プログラムがインターネット上のリンクを辿ってWebサイトを巡回し、Webページ上の情報を複製・保存すること)もできます。少し難易度が高くなりますが、余裕のある方は使ってみてください。
実際に書いてみよう
いくつかライブラリ・フレームワークを紹介しましたが、今回は「beautifulsoup4」を使い、実際にWebスクレイピングをします。
NewsPicksのトップページに表示されている記事のタイトルを自動で取得し、出力するプログラムを書いていきます。
サンプルコード(mymod.py)
import requests from bs4 import BeautifulSoup result = requests.get('https://newspicks.com/') data_1 = BeautifulSoup(r.text, 'html.parser') data_2 = data.find_all("div", class_="title _ellipsis") for item in data_2: print(item.getText())
実行結果
ボーイング、737減産へ 2割、墜落事故の影響拡大
アップル米有料音楽で逆転 スポティファイ上回る
【必見】シェアエコのいまを押さえる3つのポイント
米大統領、金融緩和を要求 FRBに圧力強める
【独自調べ】「令和」改元は、経済にどんな影響を与えるか?
【猪瀬直樹】作家の道標は、三島由紀夫とカポーティ
ボーイング、737減産へ 2割、墜落事故の影響拡大
アップル米有料音楽で逆転 スポティファイ上回る
【必見】シェアエコのいまを押さえる3つのポイント
米大統領、金融緩和を要求 FRBに圧力強める
東大生が教える「文章が苦手」が一瞬で治るコツ
Amazon印のワイヤレスイヤホンが開発中? AirPodsのライバル候補か
「四角いクルマ」は、なぜ日本で大人気なのか
解説
- requests.get()でNewsPicksトップページのHTMLを取得
- find_allでclassを指定し、タイトルを取得
- 配列に格納された値をfor文とprint文で出力
普段みているようなサイトでも簡単にスクレイピングできるんですね!
余裕ができたらログインなども試してみてね!
分かりました!ありがとうございます!
TechAcademyでは、初心者でもPythonを使った人工知能(AI)や機械学習の基礎を習得できるオンラインブートキャンプPython講座を開催しています。
挫折しない学習方法を知れる説明動画や、現役エンジニアとのビデオ通話とチャットサポート、学習用カリキュラムを体験できる無料体験も実施しているので、ぜひ参加してみてください。