PythonでWeb上のHTMLを取得する方法を現役エンジニアが解説【初心者向け】
初心者向けにPythonでWeb上のHTMLを取得する方法について現役エンジニアが解説しています。Web上のHTMLを取得して解析することをスクレイピングと呼びます。PythonではRequestsとBeautiful Soupというライブラリの組み合わせがよく利用されています。
テックアカデミーマガジンは受講者数No.1のプログラミングスクール「テックアカデミー」が運営。初心者向けにプロが解説した記事を公開中。現役エンジニアの方はこちらをご覧ください。 ※ アンケートモニター提供元：GMOリサーチ株式会社 調査期間：2021年8月12日～8月16日 調査対象：2020年8月以降にプログラミングスクールを受講した18～80歳の男女1,000名 調査手法：インターネット調査
PythonでWeb上のHTMLを取得する方法について解説します。
そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。
なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。
今回は、Pythonに関する内容だね！
どういう内容でしょうか？
PythonでWeb上のHTMLを取得する方法について詳しく説明していくね！
お願いします！
Web上のHTMLを取得する方法
Web上のHTMLを取得して解析することをスクレイピングと呼びます。Pythonでスクレイピングを行うにはRequestsとBeautiful Soupというライブラリの組み合わせがよく利用されています。
まずは利用する前にインストールを行っておきましょう。パソコンがMacならターミナル、Windowsならコマンドプロンプトから以下のコマンドでインストールします。
pip install requests pip install beautifulsoup4
Web上のHTMLを取得するのがRequestsです。Pythonには標準でurllibというライブラリが存在しますが、Requestsはそれよりもシンプルに、人が見て分かりやすくプログラムを記述できます。
Requestsの利用方法は以下の通りです。
requests.request(method, url, オプション)
オプションの指定方法など、詳しくは公式ドキュメントなどを参考にしてください。
取得したHTMLを解析する方法
取得したHTMLを解析するのがBeautiful Soupです。
HTMLを解析するソフトウェアをパーサーと呼びます。
Beautiful Soupの利用方法は以下のとおりです。
soup = BeautifulSoup(テキスト, 'html.parser')
HTMLを解析した結果がオブジェクトsoupに格納されます。詳しくは公式ドキュメントなどを参考にしてください。
実際に書いてみよう
今回のサンプルプログラムでは、Beautiful Soupの公式サイトから、見出しのタイトルを取得してみます。
import requests
from bs4 import BeautifulSoup
# WebサイトのURLを指定
url = "https://www.crummy.com/software/BeautifulSoup/bs4/doc/"
# Requestsを利用してWebページを取得する
r = requests.get(url)
# BeautifulSoupを利用してWebページを解析する
soup = BeautifulSoup(r.text, 'html.parser')
# soup.find_allを利用して、見出しのタイトルを取得する
elems = soup.find_all("a", class_="reference internal")
for e in elems:
print(e.getText())
実行結果は以下のようになります。
実際のスクレイピングでは、ここからさらにHTMLの要素や属性を確認しながら抽出条件を絞り込んでいきます。
Porting code to BS4 what the diagnose() function says Differences between parsers Parsing XML Navigating the tree Searching the tree ...（略）
監修してくれたメンター
| 太田和樹（おおたかずき）
ITベンチャー企業のPM兼エンジニア 普段は主に、Web系アプリケーション開発のプロジェクトマネージャーとプログラミング講師を行っている。守備範囲はフロントエンド、モバイル、サーバサイド、データサイエンティストと幅広い。その幅広い知見を生かして、複数の領域を組み合わせた新しい提案をするのが得意。 開発実績：画像認識技術を活用した駐車場混雑状況把握（実証実験）、音声認識を活用したヘルプデスク支援システム、Pepperを遠隔操作するアプリの開発、大規模基幹系システムの開発・導入マネジメント。 地方在住。仕事のほとんどをリモートオフィスで行う。通勤で消耗する代わりに趣味のDIYや家庭菜園、家族との時間を楽しんでいる。 |
内容分かりやすくて良かったです！
ゆかりちゃんも分からないことがあったら質問してね！
分かりました。ありがとうございます！
TechAcademyでは、初心者でもPythonを使った人工知能（AI）や機械学習の基礎を習得できるオンラインブートキャンプPython講座を開催しています。
挫折しない学習方法を知れる説明動画や、現役エンジニアとのビデオ通話とチャットサポート、学習用カリキュラムを体験できる無料体験も実施しているので、ぜひ参加してみてください。
プログラミングを独学で学習していて、このように感じた経験はないでしょうか？
- ・調べてもほしい情報が見つからない
- ・独学のスキルが実際の業務で通用するのか不安
- ・目標への学習プランがわからず、迷子になりそう
テックアカデミーでは、このような
学習に不安を抱えている方へ、マンツーマンで相談できる機会を無料で提供
しています。
30分間、オンラインでどんなことでも質問し放題です。
「受けてよかった」と感じていただけるよう
カウンセラーやエンジニア・デザイナー
があなたの相談に真摯に向き合います。
「自分に合っているか診断してほしい」
「漠然としているが話を聞いてみたい」
こんなささいな悩みでも大丈夫です。
無理な勧誘は一切ありません
ので、まずはお気軽にご参加ください。
※体験用のカリキュラムも無料で配布いたします。（1週間限定）
