Pythonでクローリングにより画像収集する方法【初心者向け】

Pythonでクローリングにより画像収集する方法について解説します。

そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。

なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。

今回は、Pythonに関する内容だね！

どういう内容でしょうか？

クローリングにより画像収集する方法について詳しく説明していくね！

お願いします！

クローリングとは

クローリングとは、プログラムを使ってインターネット上の情報を収集・保存することです。クローラーというプログラム（ロボットとよく表現します）を使い、ページ間のリンクや検索情報などを基に、効率よく情報を収集します。

特定の条件に該当するテキストや画像をプログラムを使って自動的に収集できるため、Googleなどの検索エンジンをはじめとして多くの場面で利用されています。

クローリングを行うためには、情報を収集するサイト側に負荷をかけないよう注意する必要があります。特定のサイトに大量アクセスした結果、サイトをダウンさせてしまうと罪に問われかねません。クローリングする間隔をあけるなど、十分注意するようにしましょう。

Pythonでクローリングにより画像収集する方法

Python でクローリングにより画像収集を行うには様々な方法がありますが、この記事ではスクレイピングフレームワークである Scrapy を使用した方法を紹介します。

まずは、Scrapy をインストールしましょう。パソコンが Macならターミナル、Windowsならコマンドプロンプト（以下、ターミナルと略します）から以下のコマンドでインストールします。なお、事前に Python のインストールが必要です。

pip install scrapy

Scrapy はとても高機能なスクレイピングフレームワークです。Webサイトのスクレイピングだけでなく、Beautiful Soup といった他のライブラリにデータを渡してページの内容を解析したり、多くのことが可能です。詳細は公式サイトを参考にしてください。

https://scrapy.org/

また、Beautiful Soup については以下の記事も参考にしてください。

Pythonでスクレイピングを行う方法

[PR] 未経験からWebエンジニアを目指す方法とは

実際に書いてみよう

最初に scrapy のプロジェクトを作成します。ターミナルから以下のように入力してください。

scrapy startproject mycrawler
cd crawler

次に mycrawler/settings.py ファイルの30行目のコメントを外します。これは、クローリング先のサーバーの負荷を減らすためです。

DOWNLOAD_DELAY = 3

同じくmycrawler/settings.py ファイルに以下を追記します。imagesが画像ファイルの保存先になります。ITEM_PIPELINESを指定することで、以下で記述する myspider.py で収集した画像ファイルのURLが ImagesPipeline という Scrapy の機能に渡され、画像が保存されます。

ITEM_PIPELINES = {'scrapy.contrib.pipeline.images.ImagesPipeline': 1}
IMAGES_STORE = './images'

mycrawler/items.py ファイルを以下のように修正します。image_urlsに画像ファイル名が格納されます。

import scrapy
from scrapy.item import Item, Field

class MycrawlerItem(scrapy.Item):
    image_urls = Field()

mycrawler/spiders フォルダに myspider.py を作成し、以下のように記述します。今回はヤフーニュースから画像を取得しています。

import scrapy
from scrapy.spiders import CrawlSpider, Rule
from mycrawler.items import MycrawlerItem

class MyspiderSpider(scrapy.Spider):
    name = 'myspider'
    allowed_domains = ['news.yahoo.co.jp']
    start_urls = ['https://news.yahoo.co.jp/']

    def parse(self, response):
        item = MycrawlerItem()
        item["image_urls"] = []
        for image_url in response.xpath("//img/@src").extract():
            if "http" not in image_url:
                item["image_urls"].append(response.url.rsplit("/", 1)[0] + "/" + image_url)
            else:
                item["image_urls"].append(image_url)

        return item

実行してみましょう。

scrapy crawl myspider

実行して少し待つと、imagesフォルダに画像が格納されます。

画像が収集できることを確認したら、情報を収集するサイトに負荷をかけないよう、プログラムを終了させましょう。

内容分かりやすくて良かったです！

ゆかりちゃんも分からないことがあったら質問してね！

分かりました。ありがとうございます！

TechAcademyでは、初心者でもPythonを使った人工知能（AI）や機械学習の基礎を習得できるオンラインブートキャンプPython講座を開催しています。

挫折しない学習方法を知れる説明動画や、現役エンジニアとのビデオ通話とチャットサポート、学習用カリキュラムを体験できる無料体験も実施しているので、ぜひ参加してみてください。