PythonのScrapy入門を現役エンジニアが解説【初心者向け】
初心者向けにPythonのScrapy入門について現役エンジニアが解説しています。ScrapyはPython製のWebクロールフレームワークです。クローリングはWebサイトを巡回して情報を集めることです。HTMLの解析も出来ますので、インストールして使ってみましょう。
テックアカデミーマガジンは受講者数No.1のプログラミングスクール「テックアカデミー」が運営。初心者向けにプロが解説した記事を公開中。現役エンジニアの方はこちらをご覧ください。 ※ アンケートモニター提供元:GMOリサーチ株式会社 調査期間:2021年8月12日~8月16日 調査対象:2020年8月以降にプログラミングスクールを受講した18~80歳の男女1,000名 調査手法:インターネット調査
Pythonで画像ファイルをPDF化する方法について解説します。
そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。
なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。
今回は、Pythonに関する内容だね!
どういう内容でしょうか?
PythonのScrapy入門について詳しく説明していくね!
お願いします!
クローリング(クロール)とは
ITでクロール(crawl)、クローリング(crawling)とは、インターネット上の複数のWebサイトを巡回し、情報を収集することです。元の英単語としては「はい回る、巡回する」といった意味です。
クローラとは
クローラ(crawler)とは、上記のクロールを実装したソフトウェアのことです。手動または自動でクローラを実行し、Webサイトの情報を収集活用します。
例えば検索エンジンはクローラを定期的に実行しており、キーワードや相互リンクなどを分析した後にデータベースに保存し、検索に備えています。
WebクロールフレームワークのScrapyとは
ScrapyはPython製のクロールフレームワークです。オープンソースのソフトウェアで、簡易、高速でありながら、拡張性の高いことを特徴としています。
HTMLの解析には、BeautifulSoupやlxmlといった外部ライブラリを用いることもできます。
Scrapyの特徴、使い方
インストール
以下のようにpipコマンドでインストールします。
pip install scrapy
Pythonインタプリタで以下のように実行します。特にエラーがなければ、インストールには成功しています。
import scrapy
サンプルコード
以下内容のmyspider.pyファイルを作成しました。
import scrapy class BlogSpider(scrapy.Spider): name = 'blogspider' start_urls = ['https://blog.scrapinghub.com'] def parse(self, response): for title in response.css('.post-header>h2'): yield {'title': title.css('a ::text').get()} for next_page in response.css('a.next-posts-link'): yield response.follow(next_page, self.parse)
実行方法
scrapy runspider myspider.py
実行結果
2019-09-27 06:24:42 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None) 2019-09-27 06:24:42 [scrapy.core.scraper] DEBUG: Scraped from {'title': 'News Data Extraction at Scale with AI powered AutoExtract'} 2019-09-27 06:24:42 [scrapy.core.scraper] DEBUG: Scraped from {'title': 'Gain a Competitive Edge with Product Data'} (...後略...)
解説
1行目でscrapyモジュールをインポートしました。BlogSpiderクラスを定義し、Spiderクラスを継承しました。同クラス内ではparseメソッドをオーバーライドしました。
h2タグを目安にタイトルを抽出しました。また、aタグを目安に他ページへのリンクを取得し、再帰的にparseを呼び出しました。実行結果の通り、Webサイトからタイトルを抽出できました。
監修してくれたメンター
橋本紘希
システムインテグレータ企業勤務のシステムエンジニア。 開発実績: Javaプログラムを用いた業務用Webアプリケーションや、基幹システム用バッチアプリケーションなどの設計構築試験。 |
内容分かりやすくて良かったです!
ゆかりちゃんも分からないことがあったら質問してね!
分かりました。ありがとうございます!
TechAcademyでは、初心者でもPythonを使った人工知能(AI)や機械学習の基礎を習得できるオンラインブートキャンプPython講座を開催しています。
挫折しない学習方法を知れる説明動画や、現役エンジニアとのビデオ通話とチャットサポート、学習用カリキュラムを体験できる無料体験も実施しているので、ぜひ参加してみてください。