Python

Pythonによるurlopen関数の利用方法を現役エンジニアが解説【初心者向け】

初心者向けにPythonによるurlopen関数の利用方法について現役エンジニアが解説しています。urlopen関数はPythonでURLを扱うurllibモジュールの関数で、指定したファイルの内容を取得するものです。レスポンスオブジェクトからHTTPレスポンスを読み込みます。

テックアカデミーマガジンは受講者数No.1のプログラミングスクール「テックアカデミー」が運営。初心者向けにプロが解説した記事を公開中。現役エンジニアの方はこちらをご覧ください。 ※ アンケートモニター提供元：GMOリサーチ株式会社　調査期間：2021年8月12日～8月16日　調査対象：2020年8月以降にプログラミングスクールを受講した18～80歳の男女1,000名　調査手法：インターネット調査

Pythonによるurlopen関数の利用方法について、TechAcademyのメンター（現役エンジニア）が実際のコードを使用して初心者向けに解説します。

Pythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まるでしょう。

なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。

今回は、Pythonに関する内容だね！

どういう内容でしょうか？

Pythonによるurlopen関数の利用方法について詳しく説明していくね！

お願いします！

urlopen関数とは？

urlopen関数とはPythonのurllibモジュールで使われるURLを取得するためのメソッドです。

urllibはURLを使用するためのモジュールであり、その中にurlopen関数が含まれています。

urllibの使い方

まずは、urllib.requestモジュールをインポートしましょう。

次に、urlopenメソッドの引数で、アクセスしたいURLを指定します。

urlopenメソッドはレスポンスをオブジェクトとして返します。

上記オブジェクトに対してreadメソッドを呼び出すと、HTTPレスポンスを読み取ることが可能です。

[PR] 未経験からWebエンジニアを目指す方法とは

urlopen関数を利用してスクレイピングしてみよう

ソースコード

import urllib.request

with urllib.request.urlopen('https://techacademy.jp/') as u:
  print(u.info())
  print(u.read())

実行結果

Date: Sat, 28 Dec 2019 22:44:23 GMT
Content-Type: text/html; charset=utf-8
Content-Length: 84564
Connection: close
X-Frame-Options: SAMEORIGIN
X-XSS-Protection: 1; mode=block
X-Content-Type-Options: nosniff
ETag: W/"8565f768f3d192247155e483e83fcef8"
Cache-Control: max-age=0, private, must-revalidate
X-Request-Id: df0aa851-96c3-41bf-9537-89c31d41182a
X-Runtime: 0.065610

b' (...以下略...)

解説

urlopenメソッドでTechAcademyのサイトにアクセスしています。

with-as構文を使った場合、事後のcloseは不要です。

infoメソッドでHTTPレスポンスヘッダの情報を表示しました。

readメソッドでHTTPレスポンスの内容を表示しています。

執筆してくれたメンター

橋本紘希（はしもとひろき）

システムインテグレータ企業勤務のシステムエンジニア。

開発実績: Javaプログラムを用いた業務用Webアプリケーションや基幹システム用バッチアプリケーションなどの設計構築試験。

Pythonによるurlopen関数の利用方法がよくわかったので良かったです！

ゆかりちゃん、これからも分からないことがあったら質問してね！

分かりました。ありがとうございます！

TechAcademyでは、初心者でも、Pythonを使った人工知能（AI）や機械学習の基礎を習得できるオンラインブートキャンプを開催しています。

また、現役エンジニアから学べる無料体験も実施しているので参加してみてください。

Pythonをsudoで実行する方法を現役エンジニアが解説【初心者向け】

Pythonをsudoで実行する方法について解説します。そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読む...

Python

Pythonの関数や条件分岐で何もしない場合の書き方を現役エンジニアが解説【初心者向け】

Pythonの関数や条件分岐で何もしない場合の書き方について、テックアカデミーのメンター（現役エンジニア）が実際のコードを使用して初心者向けに解説します。 ...

Python

Pythonの始め方を現役エンジニアが解説【初心者向け】

Pythonの始め方について、テックアカデミーのメンター（現役エンジニア）が実際のコードを使用して初心者向けに解説します。 Pythonを利用すると、人...

Python

PythonでPuLPを利用し線形計画を解く方法を現役エンジニアが解説【初心者向け】

PythonでPuLPを利用する方法について、TechAcademyのメンター（現役エンジニア）が実際のコードを使用して、初心者向けに解説します。 Pyt...

Python

Pythonのcountメソッドを使う方法を現役エンジニアが解説【初心者向け】

Pythonのcountメソッドについて、テックアカデミーのメンター（現役エンジニア）が実際のコードを使用して初心者向けに解説します。そもそも...

Python

書きながら覚えよう！Pythonで正規表現を使う方法【初心者向け】

今回は、Pythonで正規表現を使う方法について、テックアカデミーのメンター（現役エンジニア）が実際のコードを使用して初心者向けに解説します。普段見慣...

Python

あわせてよく読まれている記事

Pythonのurllibモジュールの使い方を現役エンジニアが解説【初心者向け】

Pythonのurllibモジュールの使い方について解説します。そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。田島悠介今回は、Pythonに関する内容だね！大石ゆかりどういう内容でしょうか？田島悠介 urllibモジュールの使い方について詳しく説明していくね！大石ゆかりお願いします！ urllibモジュールとは urllibはURLを扱う幾つかのモジュールを集めたパッケージで、以下4つで構成されています。 urllib.request URLを開いて読むモジュール urllib.parse URLをパースするためのモジュール urllib.error urllib.requestの発生させる例外を含むモジュール urllib.robotparser robots.txtファイルをパースするためのモジュール。この記事では、利用頻度の高い前者2つを中心に解説します。 urllibモジュールの使い方モジュールをインポートした後、用途に応じてメソッドを呼び出します。 import urllib.request import urllib.parse urllib.request.urlopen(...) urllib.parse.urlparse(...) メソッドを何度も呼び出す場合は、from import構文を使うのもよいです。 from urllib.request import urlopen from urllib.parse import urlparse urlopen(...) urlparse(...) 詳細は公式のリファレンスを参照してください。 [PR] 未経験からWebエンジニアを目指す方法とは実際に書いてみようサンプルコード Webサイトにアクセスし、内容をoutput.htmlファイルに保存するプログラムです。 import urllib.request with urllib.request.urlopen('http://www.example.org') as f: with open('output.html', 'w') as g: print(f.read().decode(), file=g) 実行結果カレントディレクトリにoutput.htmlファイルが保存されました。解説最初にurllib.requestモジュールをインポートしました。 urlopenでWebサイトの中身を読み込みました。また、output.htmlファイルを書き込みモードで開きました。レスポンスをreadメソッドで読み出し、ファイルに出力しました。サンプルコード import urllib.parse result = urllib.parse.urlparse('http://www.example.org/path/to/file.html?abc=123&def=456') print(result.scheme) print(result.netloc) print(result.path) print(result.query) 実行結果 http www.example.org /path/to/file.html abc=123&def=456 解説最初にurllib.parseモジュールをインポートしました。次にurlparseメソッドで、URLを解析しました。 scheme, netloc, path, queryを参照することで、スキーム、FQDN、パス、クエリ文字列を取得できることを確認できました。監修してくれたメンター橋本紘希システムインテグレータ企業勤務のシステムエンジニア。開発実績: Javaプログラムを用いた業務用Webアプリケーションや、基幹システム用バッチアプリケーションなどの設計構築試験。大石ゆかり内容分かりやすくて良かったです！田島悠介ゆかりちゃんも分からないことがあったら質問してね！大石ゆかり分かりました。ありがとうございます！ TechAcademyでは、初心者でもPythonを使った人工知能（AI）や機械学習の基礎を習得できるオンラインブートキャンプPython講座を開催しています。挫折しない学習方法を知れる説明動画や、現役エンジニアとのビデオ通話とチャットサポート、学習用カリキュラムを体験できる無料体験も実施しているので、ぜひ参加してみてください。

Python

Pythonのurllib.requestモジュールとよく使うurlopenの使い方を現役エンジニアが解説【初心者向け】

Pythonのurllib.requestモジュールの使い方について解説します。そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。田島悠介今回は、Pythonに関する内容だね！大石ゆかりどういう内容でしょうか？田島悠介 Pythonのurllib.requestモジュールの使い方について詳しく説明していくね！大石ゆかりお願いします！ urllib.requestモジュールとは urllibモジュールは、PythonでURLを扱うためのモジュールです。 urllib.requestモジュールは、その中でも特にHTTPリクエストの送信に特化したモジュールです。 urllib.requestモジュールの使い方最もよく用いるのはurlopenメソッドです。指定したURLにアクセスして内容を取得します。 u = urllib.request.urlopen(<url>) try: # uに対して操作 finally: u.close() with-as構文を使うと、close処理を省略できます。 with urllib.request.urlopen(<url>) as u: # uに対して操作詳細は公式のリファレンスを参照してください。 [PR] 未経験からWebエンジニアを目指す方法とは実際に書いてみようサンプルコード import urllib.request with urllib.request.urlopen('http://www.example.org/') as response: print(response.getcode()) print(response.info()) with open('output.html', 'w') as save_file: print(response.read().decode(), file=save_file) 実行結果コンソールに以下の内容が表示されました。また、カレントディレクトリにoutput.htmlファイルが保存されました。 200 Cache-Control: max-age=604800 Content-Type: text/html; charset=UTF-8 Date: Sat, 22 Jun 2019 02:31:31 GMT Etag: "1541025663+ident" Expires: Sat, 29 Jun 2019 02:31:31 GMT Last-Modified: Fri, 09 Aug

Python

Pythonにおけるbs4のインストール方法と使い方を現役エンジニアが解説【初心者向け】

Pythonにおけるbs4のインストール方法と使い方について、テックアカデミーのメンター（現役エンジニア）が実際のコードを使用して初心者向けに解説します。 Pythonでbs4を利用すると、HTMLファイルやXMLファイルからデータを抽出することができます。実務でもbs4を利用した自動化処理を行いますので、ぜひ学習してみてください。目次urlopen関数とは？urllibの使い方urlopen関数を利用してスクレイピングしてみよう執筆してくれたメンターそもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。田島悠介今回は、Pythonに関する内容だね！大石ゆかりどういう内容でしょうか？田島悠介 Pythonにおけるbs4のインストール方法と使い方について詳しく説明していくね！大石ゆかりお願いします！本記事では、サードパーティ製のHTMLパーサライブラリであるbs4(beautifulsoup4)についての概要と、サンプルコードから使い方を紹介していきます。 bs4とは？ bs4とは、Pythonでよく使用されているサードパーティ製のHTMLパーサライブラリです。 bs4では、インスタンス生成時に使用するパーサライブラリを指定でき、XMLをパースすることが可能です。パーサとは、プログラムのソースコードやXML文書など、一定の文法に従って記述された複雑な構造のテキスト文書を解析し、プログラムで扱えるようなデータ構造の集合体に変換するプログラムのことを意味します。パースとは、パーサプログラムで実際に解析変換する処理を意味します。 bs4のインストール bs4はPyPIで配布されているため、pipでインストールすることが可能です。 pip install beautifulsoup4 [PR] 未経験からWebエンジニアを目指す方法とはbs4の使い方基本的な使い方は以下の通りです。 HTML文字列を用意するパーサを指定してHTML文字列を元にBeautifulSoupオブジェクトを生成する BeautifulSoupから必要となるデータを抽出するサンプルコード from bs4 import BeautifulSoup html = "<body><h1>python入門</h1><p>pythonの基礎について学習します</p></body>" soup = BeautifulSoup(html, "html.parser") print(soup.h1) 実行結果 <h1>python入門</h1> 解説 1行目ではbs4ライブラリをインポートしています。 2行目ではHTML文字列を用意しています。 3行目ではHTML文字列を元にBeautifulSoupオブジェクトを生成しています。第1引数のHTML_TEXTの部分は取ってきたHTMLをそのまま渡して、第2引数はパーサを指定します。 4行目ではBeautifulSoupオブジェクトからh1のタグを指定してデータを抽出しています。 BeautifulSoupオブジェクトからのデータ抽出方法は大きく分けて3つあります。 Tagオブジェクトを使用 find_allメソッドを使用 selectメソッドを使用したCSSセレクタ今回は、Tagオブジェクトについて学習しますが、実務上ではfind_allメソッドの使用でほとんど事足ります。また、HTML文字列の取得はurllibなどでURLを指定して、インターネットから取得する事も可能です。 bs4を利用してスクレイピングしてみようここではYahooのヘッドラインニュースを抽出する例を、サンプルコードと実行結果をもとに解説していきます。 urllibのインストール今回のサンプルコードではurllibを使用してHTML文字列を取得するので、urllibをインストールします。 urllibはPyPIで配布されているため、pipでインストールすることが可能です。 pip install urllib3 サンプルコード import urllib.request from bs4 import BeautifulSoup url = 'https://techacademy.jp/magazine/' ua = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) ' 'AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/55.0.2883.95 Safari/537.36 ' req = urllib.request.Request(url, headers={'User-Agent': ua}) html = urllib.request.urlopen(req) soup = BeautifulSoup(html, "html.parser") topicsindex = soup.find('div', attrs={'class': 'moe-banner-title'})topics = topicsindex.find_all('li') for topic in topics: print(topic.find('a').contents[0]) 実行結果 <p

Python

Javaで簡易な掲示板を作成する方法を現役エンジニアが解説【初心者向け】

Javaで簡易な掲示板を作成する方法について解説します。実際にプログラムを書いて説明しているので、ぜひ理解しておきましょう。そもそもJavaについてよく分からないという方は、Javaとは何なのか解説した記事を読むとさらに理解が深まります。なお本記事は、TechAcademyのオンラインブートキャンプJava講座の内容をもとに作成しています。田島悠介今回は、Javaに関する内容だね！大石ゆかりどういう内容でしょうか？田島悠介簡易な掲示板を作成する方法について詳しく説明していくね！大石ゆかりお願いします！掲示板の設計名前とメッセージを入力して投稿する簡易的な掲示板を作成します。掲示板の内容はデータベースに保存し、投稿機能でデータ追加、ページアクセスでデータを全件表示します。作成するものは以下です。データベースデータモデルデータベースアクセスオブジェクト(DAO) 投稿したメッセージの一覧表示と、投稿フォームをもつ画面データベースからデータを全件取得し、取得データを画面へ引き渡すサーブレット画面の入力フォームの内容を元に、データベースに一件データを追加するサーブレット eclipse　Maven MySQL を用いて実装します。またローカルのtomcatへデプロイをして動作確認を行います。実際に作成してみよう eclipseで動的WEBプロジェクトを新規作成してからMavenプロジェクトへ変換します。pom.xmlに以下3つの依存関係を追加します。 <dependencies> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.45</version> </dependency> <dependency> <groupId>org.apache.taglibs</groupId> <artifactId>taglibs-standard-impl</artifactId> <version>1.2.5</version> </dependency> <dependency> <groupId>javax.servlet.jsp.jstl</groupId> <artifactId>javax.servlet.jsp.jstl-api</artifactId> <version>1.2.1</version> </dependency> </dependencies> データベースとテーブルを作成します。 create database sample default character

Java

wgetをPythonで実装する方法を現役エンジニアが解説【初心者向け】

wgetをPythonで実装する方法について解説します。そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。田島悠介今回は、Pythonに関する内容だね！大石ゆかりどういう内容でしょうか？田島悠介 wgetをPythonで実装する方法について詳しく説明していくね！大石ゆかりお願いします！ wgetとは wgetとは、UNIX, Linux環境に広く搭載されているコマンドです。HTTP, HTTPS, FTP, FTPSといったプロトコルを使用し、インターネット上のファイルを取得できます。多数のファイルを一括取得したり、シェルスクリプト(バッチファイル)で処理を自動化したりする際に頻繁に用いられます。 wgetのインストール方法と使い方環境によっては、wgetコマンドがデフォルトでインストールされています。 RedHat系のOSの場合、yumコマンドで追加インストールします。 yum install wget Debian系のOSの場合、aptコマンドで追加インストールします。 apt install wget Webページ(HTMLファイル)を取得し保存するコマンド例は以下の通りです。コマンドを実行すると、カレントディレクトリにindex.htmlファイルが保存されます。 wget http://techacademy.jp/magazine/wp-content/uploads/2017/07/index.html2_-620x437-e1499391542321.png [PR] 未経験からWebエンジニアを目指す方法とはwgetをPythonで実装する方法ここではwgetと同等の機能(指定したURLのファイルを取得し保存する)をPythonで実装してみます。 URLを扱うには、urllib.request.urlopenメソッドが便利です。実際に書いてみようソースコード import urllib.request url = 'http://www.example.org' with urllib.request.urlopen(url) as u: with open('index.html', 'bw') as o: o.write(u.read()) 実行結果指定のURLから取得した、index.htmlファイルが、カレントディレクトリに保存されました。解説 1行目でurllib.requestモジュールをインポートしました。 4行目でurlopenメソッドを呼び出しました。クローズ処理を容易にするため、with-as構文を使いました。 5行目で出力先のファイルを開きました。バイト文字列を読み書きするため、bオプションを指定しました。 6行目でURLから読み取った内容を、ファイルに書き出しました。監修してくれたメンター橋本紘希システムインテグレータ企業勤務のシステムエンジニア。開発実績: Javaプログラムを用いた業務用Webアプリケーションや、基幹システム用バッチアプリケーションなどの設計構築試験。大石ゆかり内容分かりやすくて良かったです！田島悠介ゆかりちゃんも分からないことがあったら質問してね！大石ゆかり分かりました。ありがとうございます！ TechAcademyでは、初心者でもPythonを使った人工知能（AI）や機械学習の基礎を習得できるオンラインブートキャンプPython講座を開催しています。挫折しない学習方法を知れる説明動画や、現役エンジニアとのビデオ通話とチャットサポート、学習用カリキュラムを体験できる無料体験も実施しているので、ぜひ参加してみてください。

Python

HTTPリクエストを簡単に！npm requestを使う方法【初心者向け】

今回は、npm requestについて解説します。 HTTPリクエストを簡単に行いたい場合に参考にしてみてください。実際にrequestをインストールして使う手順を書いているので、自身でも書きながら理解していきましょう。なお本記事は、TechAcademyのNode.jsオンライン講座の内容をもとに作成しています。 npm requestとは npm requestとは、npmを利用して利用することができるHTTPリクエスト機能です。 HTTPリクエストとは、HTTPは Hypertext Transfer Protocol （ハイパーテキスト・トランスファー・プロトコル）を要求することです。ハイパーテキストとは、HTMLファイルです。トランスファーは、受け渡しを意味し、プロトコルは決まり事で、規約とも呼ばれます。つまり、HTTPリクエストとはHTMLファイルの受け渡し上の規約と言う事です。 npm requestを利用することでこのHTML受け渡しの機能を簡単に利用できます。 npmとは、Node.jsのパッケージマネージャです。 npm requestを使う方法インストールコマンド npm install request 解説 npm install requestでnpmを利用したrequestモジュールのインストールが可能です。 npm installについての記事も合わせて参考にしてみて下さい。 [PR] 未経験からWebエンジニアを目指す方法とはHTTPリクエスト方法ソースコード var request = require('request'); request.get('http://techacademy.jp', function(err, res, body) { if (err) { console.log('Error: ' + err.message); return; } console.log(body); }); 実行結果テックアカデミーのソースコードが表示されます。解説 1行目の、var request = require(‘request’);では、requireを利用してrequestモジュールを呼び出しています。 2行目の、request.get(‘http://techacademy.jp’, function(err, res, body) {では、http://techacademy.jpというURLをパラメーターとしてページ情報を取得しています。 3行目の、if (err) {では、2行目の処理がエラーだった場合の条件を指定しています。 4行目の、console.log(‘Error: ‘ + err.message);では、3行目の条件に当てはまる場合エラーメッセージを表示する処理をしています。 5行目の、return;では、4行目のエラー表示後処理を終了する処理をしています。 6行目の、}では、3行目の処理を終了しています。 7行目の、console.log(body);では、2行目の処理で無事データリクエストが完了しページデータを取得できた場合に、データを表示結果のように表示しています。 8行目の、});では、2行目の処理を終了しています。今回は、npm requestについて解説しました。 HTTPリクエストを行う際にぜひ参考にしてみてください。また、オンラインのプログラミングスクールTechAcademyでは、Node.jsオンライン講座を開催しています。 Node.jsを使ってWebアプリケーションを開発することができます。現役エンジニアがパーソナルメンターとして受講生に1人ずつつき、マンツーマンのメンタリングで学習をサポートし、習得することが可能です。

Node.js

記事を検索

ニュース

インタビュー

テクノロジー

キャリア

お問い合わせ

Pythonによるurlopen関数の利用方法を現役エンジニアが解説【初心者向け】

urlopen関数とは？

urllibの使い方