Pythonでクローリングにより画像収集する方法【初心者向け】

Pythonでクローリングにより画像収集する方法について解説します。

そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。

なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。

今回は、Pythonに関する内容だね！

どういう内容でしょうか？

クローリングにより画像収集する方法について詳しく説明していくね！

お願いします！

クローリングとは

クローリングとは、プログラムを使ってインターネット上の情報を収集・保存することです。クローラーというプログラム（ロボットとよく表現します）を使い、ページ間のリンクや検索情報などを基に、効率よく情報を収集します。

特定の条件に該当するテキストや画像をプログラムを使って自動的に収集できるため、Googleなどの検索エンジンをはじめとして多くの場面で利用されています。

クローリングを行うためには、情報を収集するサイト側に負荷をかけないよう注意する必要があります。特定のサイトに大量アクセスした結果、サイトをダウンさせてしまうと罪に問われかねません。クローリングする間隔をあけるなど、十分注意するようにしましょう。

Pythonでクローリングにより画像収集する方法

Python でクローリングにより画像収集を行うには様々な方法がありますが、この記事ではスクレイピングフレームワークである Scrapy を使用した方法を紹介します。

まずは、Scrapy をインストールしましょう。パソコンが Macならターミナル、Windowsならコマンドプロンプト（以下、ターミナルと略します）から以下のコマンドでインストールします。なお、事前に Python のインストールが必要です。

pip install scrapy

Scrapy はとても高機能なスクレイピングフレームワークです。Webサイトのスクレイピングだけでなく、Beautiful Soup といった他のライブラリにデータを渡してページの内容を解析したり、多くのことが可能です。詳細は公式サイトを参考にしてください。

https://scrapy.org/

また、Beautiful Soup については以下の記事も参考にしてください。

Pythonでスクレイピングを行う方法

[PR] Pythonで挫折しない学習方法を動画で公開中

実際に書いてみよう

最初に scrapy のプロジェクトを作成します。ターミナルから以下のように入力してください。

scrapy startproject mycrawler
cd crawler

次に mycrawler/settings.py ファイルの30行目のコメントを外します。これは、クローリング先のサーバーの負荷を減らすためです。

DOWNLOAD_DELAY = 3

同じくmycrawler/settings.py ファイルに以下を追記します。imagesが画像ファイルの保存先になります。ITEM_PIPELINESを指定することで、以下で記述する myspider.py で収集した画像ファイルのURLが ImagesPipeline という Scrapy の機能に渡され、画像が保存されます。

ITEM_PIPELINES = {'scrapy.contrib.pipeline.images.ImagesPipeline': 1}
IMAGES_STORE = './images'

mycrawler/items.py ファイルを以下のように修正します。image_urlsに画像ファイル名が格納されます。

import scrapy
from scrapy.item import Item, Field

class MycrawlerItem(scrapy.Item):
    image_urls = Field()

mycrawler/spiders フォルダに myspider.py を作成し、以下のように記述します。今回はヤフーニュースから画像を取得しています。

import scrapy
from scrapy.spiders import CrawlSpider, Rule
from mycrawler.items import MycrawlerItem

class MyspiderSpider(scrapy.Spider):
    name = 'myspider'
    allowed_domains = ['news.yahoo.co.jp']
    start_urls = ['https://news.yahoo.co.jp/']

    def parse(self, response):
        item = MycrawlerItem()
        item["image_urls"] = []
        for image_url in response.xpath("//img/@src").extract():
            if "http" not in image_url:
                item["image_urls"].append(response.url.rsplit("/", 1)[0] + "/" + image_url)
            else:
                item["image_urls"].append(image_url)

        return item

実行してみましょう。

scrapy crawl myspider

実行して少し待つと、imagesフォルダに画像が格納されます。

画像が収集できることを確認したら、情報を収集するサイトに負荷をかけないよう、プログラムを終了させましょう。

内容分かりやすくて良かったです！

ゆかりちゃんも分からないことがあったら質問してね！

分かりました。ありがとうございます！

TechAcademyでは、初心者でもPythonを使った人工知能（AI）や機械学習の基礎を習得できるオンラインブートキャンプPython講座を開催しています。

挫折しない学習方法を知れる説明動画や、現役エンジニアとのビデオ通話とチャットサポート、学習用カリキュラムを体験できる無料体験も実施しているので、ぜひ参加してみてください。

プログラミングを独学で学習していて、このように感じた経験はないでしょうか？

• ・調べてもほしい情報が見つからない
• ・独学のスキルが実際の業務で通用するのか不安
• ・目標への学習プランがわからず、迷子になりそう

テックアカデミーでは、このような 学習に不安を抱えている方へ、マンツーマンで相談できる機会を無料で提供 しています。
30分間、オンラインでどんなことでも質問し放題です。

「受けてよかった」と感じていただけるよう カウンセラーやエンジニア・デザイナー があなたの相談に真摯に向き合います。

「自分に合っているか診断してほしい」
「漠然としているが話を聞いてみたい」
こんなささいな悩みでも大丈夫です。

無理な勧誘は一切ありません ので、まずはお気軽にご参加ください。
※体験用のカリキュラムも無料で配布いたします。（1週間限定）

今なら参加者限定の割引特典付き！ 無料相談を予約する