Python

PythonのKerasでMNISTデータを処理する方法を現役エンジニアが解説【初心者向け】

初心者向けにPythonのKerasでMNISTデータを処理する方法について現役エンジニアが解説しています。MNIST（エムニスト）とは、画像認識やディープラーニングの分野で用いられる手書き数字の画像データセットです。Keras（ケラス）とはディープラーニングを実装するためのライブラリです。

テックアカデミーマガジンは受講者数No.1のプログラミングスクール「テックアカデミー」が運営。初心者向けにプロが解説した記事を公開中。現役エンジニアの方はこちらをご覧ください。 ※ アンケートモニター提供元：GMOリサーチ株式会社　調査期間：2021年8月12日～8月16日　調査対象：2020年8月以降にプログラミングスクールを受講した18～80歳の男女1,000名　調査手法：インターネット調査

PythonのKerasでMNISTデータを処理する方法について、TechAcademyのメンター（現役エンジニア）が実際のコードを使用して、初心者向けに解説します。

Pythonについてそもそもよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まるでしょう。

なお本記事は、TechAcademyのオンラインブートキャンプ、Python講座の内容をもとに紹介しています。

今回は、Pythonに関する内容だね！

どういう内容でしょうか？

PythonのKerasでMNISTデータを処理する方法について詳しく説明していくね！

お願いします！

MNISTとは

MNIST（エムニスト）とは、「画像認識やディープラーニングの分野で使用される最も有名な手書き数字の画像データセット」です。

汎用性が高く、初心者から研究者まで幅広く用いられているのが特徴です。

また、MNISTは画像1枚につき0から9までのいずれかの数字が1つ書かれています。

1枚の画像は26×26ピクセルのモノクロ画像であり、画像は訓練データ60000枚、テストデータ10000枚から構成されています。

訓練データとテストデータは、例えば手書きで7と書かれているデータに対して、7という正解ラベルが付与されている状態です。

訓練データを使って学習を実施し、その学習結果をテストデータで評価するという関係性があります。

Kerasとは

Keras（ケラス）とは、「ディープラーニングのプログラムを簡単に実装するためのライブラリ」です。

Kerasは内部で、TensorFlow（テンソルフロー）といったディープラーニングのためのライブラリを使用しています。

TensorFlowは、上級者向けのライブラリであるため、「学習コストが高い」「実装が困難」といった課題がありました。

そのため、誰でも比較的簡単にディープラーニングを実装できるようにしたものがKerasです。

Kerasを使えば、その内容まで理解せずともディープラーニングを実装することが可能です。

しかし、応用が効きにくいといったデメリットがあることは覚えておきましょう。

[PR] Pythonで挫折しない学習方法を動画で公開中

Kerasの使い方

AnacondaからKerasを用いる方法を解説していきます。

AnacondaにKerasをインストール手順は以下の通りです。

メニュー画面のEnvironmentsから、Not Installedを選択。
検索ボックスにKerasと入力。
Kerasを選択し、右下のApplyボタンを押す。

同様の操作でTensorFlowもインストールしておきましょう。

KerasでMNIST データを処理するために、AnacondaからKerasをインストールする方法。

実際に書いてみよう

ここでは、Kerasを使ってMNIST読み込み、簡単なデータの前処理を実施してみます。

今回は以下のようなコードを使用していきましょう。

import numpy as np
from keras.datasets import mnist
from keras.models import Sequential
from keras.layers import Dense, Activation
from keras.utils import np_utils
(X_train, y_train), (X_test, y_test) = mnist.load_data()
#それぞれの形式を確認
print(X_train.shape, y_train.shape)
print(X_test.shape, y_test.shape)
X_train = X_train.reshape(60000, 784)
X_test = X_test.reshape(10000, 784)
#uint8からfloat32に変換
X_train = X_train.astype("float32")
X_test = X_test.astype("float32")
#0~1の範囲に正規化
X_train /= 255
X_test /= 255
#正解ラベルをone-hot表現に変換
Y_train = np_utils.to_categorical(y_train, 10)
Y_test = np_utils.to_categorical(y_test, 10)

mnist.load_data()はMNISTを読み込むために使用します。

そして、shapeではそれぞれのデータの形式を確認し、学習のためにreshapeで形式を整形しました。

正規化のためにデータ型をfloat32に変換し、実際に正規化しています。

正解ラベルはone-hot表現（例えば正解が7の場合、7そのものではなく[0,0,0,0,0,0,0,1,0,0]のように1が入っている場所で7という数値を表す方法）で表しています。

まとめ

この記事では、KerasでMNISTを扱う方法について解説しました。。

Kerasを使いこなせるようになると、ディープラーニングの開発効率が上がるため、学習していきましょう。

執筆してくれたメンター

柴山真沙希（しばやままさき）

大手IT企業などでエンジニアとして2年ほど勤務した後、個人事業主としてプログラミングスクール「エンペサール」を経営。

子供から大人まで幅広い層を対象にプログラミングを教えている。

得意言語はPython, HTML, CSSで、機械学習やデータ分析、スクレイピングなどが得意。

サッカー観戦や読書が趣味である。

PythonのKerasでMNISTデータを処理する方法がよく分かったので良かったです！

ゆかりちゃん、今後も分からないことがあったら質問してね！

分かりました。ありがとうございます！

TechAcademyでは、初心者でも、Pythonを使った人工知能（AI）や機械学習の基礎を習得できる、オンラインブートキャンプを開催しています。

また、現役エンジニアから学べる無料体験も実施しているので、参加してみてください。

Pythonにおけるif文の複数条件について現役エンジニアが解説【初心者向け】

Pythonにおけるif文の複数条件について、TechAcademyのメンター（現役エンジニア）が実際のコードを使用して初心者向けに解説します。そもそも...

Python

Pythonでinput関数を利用してコンソールからの入力を取得する方法を現役エンジニアが解説【初心者向け】

Pythonでinput関数を利用してコンソールからの入力を取得する方法について、TechAcademyのメンター（現役エンジニア）が実際のコードを使用して、初...

Python

Pythonのスクリプト（ファイル名）に関する命名規則を現役エンジニアが解説【初心者向け】

Pythonのスクリプト（ファイル名）に関する命名規則について解説します。そもそもPythonについてよく分からないという方は、Pythonとは何なのか...

Python

Pythonによるstrip()メソッドの利用方法を現役エンジニアが解説【初心者向け】

Pythonによるstrip()メソッドの利用方法について、TechAcademyのメンター（現役エンジニア）が実際のコードを使用して、初心者向けに解説します。...

Python

Pythonのimportメソッドの使い方【初心者向け】

Pythonのimportメソッドの使い方について解説します。そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事...

Python

Pythonでリストの要素を分割する方法を現役エンジニアが解説【初心者向け】

Pythonでリストの要素を分割する方法について解説します。そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を...

Python

あわせてよく読まれている記事

今回は、深層学習（ディープラーニング）のライブラリであるKerasについて解説します。 Kerasを学習することで、簡単なコードで機械学習のアルゴリズムのライブラリを利用できます。実務でも、文章自動生成、画像認識、自動応答などの分野でKerasを利用するので、Kerasを学習してみてください。目次MNISTとはKerasとはKerasの使い方実際に書いてみようまとめ執筆してくれたメンター大石ゆかり田島メンター！Kerasというのは何でしょうか？田島悠介深層学習（ディープラーニング）のライブラリのことだよ。TensorFlowやTheanoのような他のライブラリより、簡単にプログラムを書くことができるんだ。大石ゆかりどのような機能があるのですか？田島悠介例を見ながら説明していくね！ Kerasとは Kerasは、オープンソースの深層学習（ディープラーニング）のライブラリです。ライブラリとは、便利な機能を使いやすくまとめているプログラムです。ライブラリについては、自分で必要な本を書くのではなく、図書館のように読みたい本がまとまっている施設で、必要な本を読んで利用するというような便利機能です。 Kerasは、「ケラス」と読みます。 Kerasは、TensorFlowやMicrosoft Cognitive Toolkit(CNTK)、ONNX、Theanoといった他の深層学習（ディープラーニング）のライブラリの上で動作します。 TensorFlowとは、「テンソルフロー」や「テンサーフロー」と読みます。 TensorFlowは、Googleが開発したニューラルネットという脳機能の特徴をシミュレーションする計算ライブラリです。 Microsoft Cognitive Toolkit(CNTK)とは、「マイクロソフトコグニティブツールキット」と読みます。 Microsoft Cognitive Toolkit(CNTK)は、マイクロソフトが開発した統合深層学習ツールキットです。 Theanoとは、「テアノ」と読みます。 Theanoは、直感的な数式を実装することで、深層学習の微分を実行することができるライブラリです。 Kerasの情報は、公式サイトやブログ、GitHubなどから入手できます。 Keras公式サイト Kerasに関する情報を体系的に得ることができます。簡単なチュートリアル（Getting Start）もあります。 Keras公式サイト Keras公式ブログ Kerasに関する最新情報、サンプルプログラムなどが公開されています。ブログ Keras 公式GitHub Kerasのソースコードが公開されています。 GitHub Kerasを利用するには Kerasを利用するには、Anacondaなどの開発環境のパッケージを使うのが簡単です。 Anacondaについては、効率的に開発！AnacondaでPythonの環境構築する方法を参考にしてみてください。 Anacondaは、データ分析やグラフ描画など、Pythonでよく利用されるライブラリを含んだ開発環境です。なお、Anacondaなどの開発環境を利用せず、手動でKerasをインストールして利用することもできますが、今回は解説しておりません。テックアカデミーAIコースでは、コマンドから指定してTensorFlowをインストールしたり、プログラム内でKerasをインポートして利用する学習を行っておりますので、ご興味があればぜひご覧ください。 Kerasのインストール方法 AnacondaにKerasをインストールするには、次の操作を参考にしてください。 1．メニュー画面のEnvironmentsから、Not Installedを選択し、検索BOXに「keras」と入力します。 2．一覧にKerasが表示されますので、チェックボックスで選択し、画面右下のApplyボタンを押すことでインストールできます。同様に、TensorFlowも検索し、インストールしておきましょう。 [PR] Pythonで挫折しない学習方法を動画で公開中Kerasを使った深層学習（ディープラーニング）それでは、Kerasを使った深層学習（ディープラーニング）のプログラムを作ってみましょう。このプログラムは、KerasのGitHubのサンプルプログラム「mnist_mlp」を参考にしています。このプログラムは、MNISTという手書き文字の画像のデータセットを分類するものです。 MNISTは60,000件の訓練データと10,000件のテストデータで構成されています。各データ（画像）は28×28ピクセルの白黒画像です。 MNIST ソースコード全体はこちらです。一部コメントを日本語にしています。開発環境によってエラーが出る場合は、ご自身の環境に合わせて実行環境の修正をしておくと良いですよ。サンプルコード import keras from keras.datasets import mnist from keras.models import Sequential from keras.layers import Dense, Dropout from keras.optimizers import RMSprop batch_size = 128 # 訓練データを128ずつのデータに分けて学習させる num_classes = 10 # 分類させる数。数字なので10種類 epochs = 20 # 訓練データを繰り返し学習させる数 # 訓練データ(train)とテストデータ（test)を取得する (x_train, y_train), (x_test, y_test) = mnist.load_data() # 元のデータは1次元の配列なので、それを画像ごとの配列に整形する x_train = x_train.reshape(60000, 784) x_test = x_test.reshape(10000, 784) x_train = x_train.astype('float32') x_test = x_test.astype('float32') x_train

機械学習

テンソルフロー(TensorFlow)を利用したPythonによるAIプログラミングを現役エンジニアが解説【初心者向け】

テンソルフロー(TensorFlow)を利用したPythonによるAIプログラミングについて解説します。そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。田島悠介今回は、Pythonに関する内容だね！大石ゆかりどういう内容でしょうか？田島悠介テンソルフロー(TensorFlow)を利用したPythonによるAIプログラミングについて詳しく説明していくね！大石ゆかりお願いします！この記事では、TensorFlowと呼ばれるディープラーニング向けのライブラリを使って、Pythonで機械学習を実践してみます。機械学習を勉強中の方や、ディープラーニングを使ってみたい方は手を動かしながら読んでみると良いでしょう。 TensorFlowとは？ Pythonにおける通常の機械学習は、scikit-learnと呼ばれる機械学習に特化したライブラリを使うことによって、簡単に実践することができます。そして、通常の機械学習に加えて敷居が高いと思われがちなディープラーニングであっても、Pythonでは専用のライブラリを使えば誰でも簡単に実践することができます。 Pythonのディープラーニング向けライブラリにはいくつかありますが、今回はGoogle社が開発したTensorFlowというライブラリを使います。ディープラーニングの実践で注意しなければならないことは、通常のコンピュータを使ってディープラーニングを行おうとすると、計算量が多く、時間がかかっていつまで経っても終わらないことがあるという点です。このようなデメリットは、ディープラーニングを行う際には注意しておくことが大事です。今回行うディープラーニングではそれほど重い処理を行うわけではないので安心してください。機械学習・ディープラーニングの学習に最適な環境機械学習や、データ解析では、Jupyter Notebookというブラウザ上で開発できる環境を使うことが多いです。 Jupyter Notebookを使うメリットは、コードや実行結果をそのままの形で保存できるので、後で振り返りやすい点や、実験的にコードを実行したいときに便利などたくさんあります。今回はJupyter Notebookを使ってディープラーニングを実践していきたいと思います。 Jupyter Notebookをインストールしていない方は、Jupyter Notebookをインストールしてから行ってください。 [PR] Pythonで挫折しない学習方法を動画で公開中TensorFlowを導入してみようそれでは、TensorFlowを実際に導入してみましょう。この記事では、GPUではなく、CPUを使ったディープラーニングを行います。Windowsの場合はコマンドプロンプトで、Macの場合はコマンドラインで pip3 install tensorflow を実行してください。 Successfully installed tensorflow のようなものが表示されたら、TensorFlowのインストール完了です。 TensorFlowを使ってコードを書いてみよう今回は、Googleが公式に提供しているチュートリアルを参考にしてTensorFlowを動かしていきます。 MNISTファイルという手書き文字のデータを学習して、新しい手書き文字の数字を予測するというプログラムを書いていきます。それでは、順番にコードを書いていきましょう。まずは from __future__ import absolute_import, division, print_function, unicode_literals import tensorflow as tf この部分は必要なライブラリをインポートをしています。 1行目は、__future__ というモジュールからabsolute_import, division, print_funvtion, unicode_literalsというパッケージを読み込むためのものです。 2行目ではPythonでTensorFlowを実行するための部分です。次は、 mnist = tf.keras.datasets.mnist (x_train, y_train), (x_test, y_test) = mnist.load_data() x_train, x_test = x_train / 255.0, x_test / 255.0 と書いて実行してください。すると、MNISTファイルをダウンロードします。 MNISTファイルというのは”Mixed National Institute of Standards and Technology database”の頭文字を取ったもので、手書き数字の画像のデータセットです。 AIプログラミングではよく使われる画像のデータセットで、学習の際によく出てくるものなので、覚えておくと良いかもれません。 x_trainという学習用のデータと、学習済みのAIの性能を評価するためのx_testというテスト用のデータから成り立っています。 mnist = tf.keras.datasets.mnist でMNISTファイルをダウンロードし、 (x_train, y_train), (x_test, y_test) = mnist.load_data() でデータを訓練用とテスト用に分けています。その次の、 x_train, x_test =

Python

手書き数字のデータを扱う！Pythonでmnistを使う方法【初心者向け】

Pythonでmnistを使う方法について解説します。そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。田島悠介今回は、Pythonに関する内容だね！大石ゆかりどういう内容でしょうか？田島悠介 mnistの使い方について詳しく説明していくね！大石ゆかりお願いします！ mnistとは mnistとは、手書き数字の画像のデータのセットです。機械学習やディープラーニングを学ぶ際のデータセットとして良く用いられます。画像は全部で7万枚あり、トレーニング用データ6万枚とテスト用データ1万枚で構成されています。データは、画像データとラベルで構成されています。ラベルとは画像データが表す数字です。 1つ1つの画像はグレースケールで、大きさが縦28ピクセル・横28ピクセルです。各ピクセルには0〜255の値が格納されています。ちなみにmnistとは Mixed National Institute of Standards and Technology database の略です。 mnistの使い方 mnistを使うには、以下の方法があります。 THE MNIST DATABASE of handwritten digits からダウンロードするこちらが本家です。Yann LeCun さんのサイトからダウンロードできます。 http://yann.lecun.com/exdb/mnist/ scikit-learn を使い mldata.org からダウンロードする mldata.orgは機械学習用データを集めたサイトです。以下のように記述することで、 mnist をダウンロードできます。初回ダウンロードには時間がかかりますが、次回以降はダウンロード済のデータを読み込んで利用できます。ただし、 mldata.org は、しばしばサーバがダウンしており、ダウンロードできない場合があります。なお、scikit-learnには、 load_digits というメソッドで手書き数字のデータセットを取得できます。これは mnist を加工して作成した、縦8ピクセル・横8ピクセル、1800枚の小さなデータセットです。 mnist とは大きさも枚数も異なりますので注意してください。 from sklearn.datasets import fetch_mldata mnist = fetch_mldata('MNIST original', data_home=".") 各種機械学習のライブラリを使う最もおすすめの方法です。 TensorFlow や Keras などの機械学習のライブラリには、あらかじめ mnist をダウンロードするメソッドが用意されています。 [PR] Pythonで挫折しない学習方法を動画で公開中実際に書いてみよう今回のサンプルプログラムでは、機械学習ライブラリの Keras を使い、 mnist のダウンロードと表示を行います。なお事前に必要なライブラリのインストールが必要です。 pip install keras pip install matplotlib サンプルプログラムは以下となります。 # 必要なライブラリのインポート from keras import

Python

使い方を解説！Googleが開発したTensorflow（テンサーフロー）とは【初心者向け】

今回は、Googleが開発し、オープンソースで公開している深層学習（ディープラーニング）のライブラリであるTensorflowについて、TechAcademyのメンター（現役エンジニア）が初心者向けに解説します。 Tensorflowというキーワードは聞いたことがあるが、何ができるか、どのような機能があるか、イメージしづらいのでは無いかと思います。ぜひ、この記事を参考に、Tensorflowにチャレンジしてみてください。なお本記事は、TechAcademyのオンラインブートキャンプ、AI講座とデータサイエンス講座の内容をもとに作成しています。目次 Tensorflowとは Tensorflowを利用するには Tensorflow使った深層学習（ディープラーニング）大石ゆかり田島メンター！Tensorflowというのは何でしょうか？田島悠介 Googleが開発し、オープンソースで公開している深層学習（ディープラーニング）のライブラリのことだよ。大石ゆかりどのような機能があるのですか？田島悠介例を見ながら説明していくね！ Tensorflowとは Tensorflowは、Googleが開発した、深層学習（ディープラーニング）・機械学習のライブラリです。「テンサーフロー」と読みます。Tensorflowはオープンソース（Apache 2.0 license）で公開されており、個人／商用問わず、誰でも無料で利用することができます。 Tensorflowは、2015年11月にオープンソースで公開された後、急速に開発が進められています。またGoogleをはじめ、TwitterやCocaCola、intelなど、多くの企業でマーケティングや製品開発など、多方面で使われています。 Tensorflowとは、深層学習の学習モデル（プログラム）を計算グラフという形で記述します。Tensorflowの仕組みを図式化した、Tensorflow Playgroundというサイトが分かりやすいので見てみましょう。画面左上の再生ボタンを押すと、入力データが左から流れ、学習結果が右側に表示されます。中央に「2 HIDDEN LAYERS」と表示されているのは、二層の隠しレイヤーを持った深層学習のモデルであることを表します。そして画面中央、赤枠で囲った部分がTensorflowの学習モデルを図式化したものです。いくつかの四角形が線で接続されているのが分かりますね。これを計算グラフと言います。四角形は多次元行列（Tensor）です。Tensorが流れる（flow）計算グラフで学習モデルを構築するので、Tensorflowという名前になった、と言われています。 [PR] Pythonで挫折しない学習方法を動画で公開中Tensorflowを利用するには Tensorflowを利用するには、Anacondaなどの開発環境のパッケージを使うのが簡単です。 Anaconda Anacondaは、データ分析やグラフ描画など、Pythonでよく利用されるライブラリを含んだ開発環境です。 AnacondaにTensorflowをインストールするには、メニュー画面のEnvironmentsから、Not Installedを選択し、検索BOXに「Tensor」と入力します。一覧にtensorflowが表示されますので、チェックボックスで選択し、画面右下のApplyボタンを押すことでインストールすることができます。なお、Anacondaなどの開発環境を利用せず、手動でTensorflowをインストールして利用することも出来ますが、中級者向けとなるため、手順は省略いたします。 Tensorflowを使った深層学習（ディープラーニング）それでは、Tensorflowを使った深層学習（ディープラーニング）のプログラムを作ってみましょう。このプログラムは、Tensorflowのサイトのチュートリアル「MNIST For ML Beginners」を参考にしています。 MNIST For ML Beginners # サンプル用データの取得 from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets("MNIST_data/", one_hot=True) # Tensorflowライブラリを使うための宣言 import tensorflow as tf # 画像データを入れる空の入れ物を784個用意。784=32X32=1つの画像のピクセル数 x = tf.placeholder(tf.float32, [None, 784]) # 初期値にゼロをセットする。横784*縦10 W = tf.Variable(tf.zeros([784, 10])) b = tf.Variable(tf.zeros([10])) # softmax関数を使ったモデル。結果＝それぞれの数値の確率 y = tf.nn.softmax(tf.matmul(x, W) + b) # y_:正解値、後でデータをロードする y_ = tf.placeholder(tf.float32, [None, 10]) # y(推定値)とy_(正解)の差を最小にする、交差エントロピーは推定値とラベルデータ(正解)のずれ # reduce_mean:平均、reduce_sum:総和 cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1])) # トレーニング：重みを最適化して更新していく # GradientDescentOptimizer:勾配降下法。クロスエントロピーを最小化するよう学習率0.5でトレーニングさせる。 train_step

機械学習

徹底解説！scikit-learnを使った教師あり・なし学習とは

今回は、教師あり学習と教師なし学習について解説します。ぜひ、この記事を参考に、教師あり・なし学習にチャレンジしてみてください。なお本記事は、TechAcademyのオンラインブートキャンプ、AI講座とデータサイエンス講座の内容をもとに作成しています。田島悠介今回は、scikit-learnに関する内容だね！大石ゆかりどういう内容でしょうか？田島悠介 scikit-learnを使った教師あり・なし学習について詳しく説明していくね！大石ゆかりお願いします！教師あり学習とは教師あり学習とは、正解やより良い方法を膨大なデータとして用意しておき、その正解を元にコンピューターが学習することで、コンピューター自身を成長させる学習方法です。 Googleで開発されたAlphaGoという深層学習（ディープラーニング）により、世界最高峰のプロ囲碁棋士に勝利したプログラムがあります。このAlphaGoのうち、第3世代までの、AlphaGo Masterは教師あり学習を元に、自己学習を繰り返した結果、プロ棋士に勝てるようになりました。 [PR] Pythonで挫折しない学習方法を動画で公開中教師あり学習の手法ここでは、scikit-learnを使用した教師あり学習の手法とその表示グラフを紹介します。 Liner Model(線形回帰) 画像引用：http://scikit-learn.org Logistic Regression(ロジスティック回帰) 画像引用：http://scikit-learn.org Support Vector Regression(SVM) 画像引用：http://scikit-learn.org Perceptron(パーセプトロン) 画像引用：http://scikit-learn.org Decision Tree Regression(決定木回帰) 画像引用：http://scikit-learn.org Rondom Forests(ランダムフォレスト) 画像引用：http://scikit-learn.org Ada Boost 画像引用：http://scikit-learn.org KNeighbors 画像引用：http://scikit-learn.org Neural Network(ニューラルネットワーク) 画像引用：http://scikit-learn.org 教師なし学習教師なし学習といっても、最初の段階で教師あり学習のように、正解の大量のデータを教師として学習する部分が無いだけであり、基本的なルールは学習する必要があります。基本ルール部分を学びますが、その部分は教師として考えないという理論です。教師なし学習では、基本ルール内で勝つために、自分自身と戦い続けることで、性能を上げていきます。 AlphaGo Masterの次に開発されたAlphaGo Zeroは、教師なし学習を元に発展しました。 AlphaGo Zero では、ルール以外の知識は全く与えずに強化学習を行うことで、40日後に、AlphaGo Masterに89勝11敗しました。つまり、AlphaGo Zeroは世界最強の囲碁棋士に40日間で成長することができたということです。ここでは、scikit-learnを使用した教師なし学習の手法とその表示グラフを紹介します。 K-means(k平均法) 画像引用：http://scikit-learn.org PCA 画像引用：http://scikit-learn.org 教師あり学習と教師なし学習の違い大きな違いは、教師あり学習では、正解や過去の模範例を教師として考え利用する点です。教師なし学習では教師にあたる、過去の模範解答データは存在しません。 scikit-learnとは scikit-learnは、Pythonの機械学習ライブラリです。「サイキット・ラーン」と読みます。 scikit-learnはオープンソース（BSD license）で公開されており、個人／商用問わず、誰でも無料で利用することができます。 scikit-learnは、多くの機械学習アルゴリズムが実装されており、どのアルゴリズムでも同じような書き方で利用することができます。また、サンプルのデータセット（トイデータセット）が付属しているため、インストールしてすぐ機械学習を試すことができます。機械学習のライブラリ！scikit-learnとはについての記事も参考にしてみてください。他のライブラリの紹介世界全体 Google Trendsでの調査結果です。世界全体で見ると、次の順番で人気があるようです。 Keras TensorFlow Pytorch TensorFlowよりもKerasの方が検索トレンド上位のようです。これら3ライブラリ以外のライブラリも調査しましたが、3ライブラリと比較すると検索料が少なく、横線として表示されました。そのため、3ライブラリ以外の検索順位は割愛しています。日本全体日本全体で見ると、次の順番で人気があるようです。 TensorFlow Keras Chainer Pytorch 日本では、KerasよりもTensorFlowの方が検索トレンド上位のようです。 Chainerが3番目に人気があるのは、やはり日本企業の株式会社 Preferred Networksの存在が大きいと思います。これら4ライブラリ以外のライブラリも調査しましたが、4ライブラリと比較すると検索量が少なく、横線として表示されました。そのため、4ライブラリ以外の検索順位は割愛しています。ライブラリまとめ TensorFlow サポート Google 特徴 Googleがオープンソースで後悔しているディープラーニングのライブラリです。 Googleで実装され、AlphaGo Zero でも利用されているため、その実証効果は世界的に認められています。 Tensorとは多次元データ配列のことを意味します。 TensorFlowは多次元データ配列を計算し、ディープラーニングを行うためのライブラリです。使い方を解説！Googleが開発したTensorflow（テンサーフロー）とはについての記事も参考にしてみてくださいね。 TensorFlow Keras サポート keras.io 特徴 Pythonで実装されています。深層学習のプロトタイプを作成する場合に非常に向いています。 Keras Chainer サポート株式会社 Preferred Networks 特徴日本国内の株式会社 Preferred Networksが開発・サポートしています。日本企業が関わっているため、非常に多くの日本語情報が存在します。また、渋谷にオフィスが有るためディープラーニングに関する技術を知りたい日本人にとっては、最も身近なライブラリになりそうです。 Chainer Pytorch サポート Pytorch 特徴 Torchというフレームワークを提供していたチームが提供しています。 Chainerをフォークしたという話もあります。 Torchでは、Luna言語を使用していましたが、PytorchではPythonを利用します。 facebookやtwitterやNvidiaという大手企業がデベロッパーになっています。 Pytorch Cognitive Toolkit サポート Microsoft 特徴 Microsoftが開発しているディープラーニングフレームワークです。 Microsoft Caffe2 サポート facebook Nvidia 特徴オープンソースのディープラーニング向けフレームワークです。設定部分を変更するだけで、高度な専門知識を不要としたディープラーニングを行うことが出来ます。 Pythonを利用することが出来ます。 Caffe2 Deeplearning4j サポート Skymind 特徴 ScalaとJavaで実装されています。 Hadoopや Sparkと連携することが可能です。 Hadoopとは、オープンソースの分散処理ソフトウェアでJavaで実装されています。 Sparkとは、オープンソースの分散処理ソフトウェアでScalaで実装されています。 Deeplearning4j PaddlePaddle サポート Baidu 特徴 Baiduは中国のGoogleのような企業です。主に中国国内で利用されています。 PaddlePaddle MXNet サポート Amazon 特徴 PythonやR言語、 Julia、 Go 言語等を利用することが出来ます。 MXNet 大石ゆかり内容分かりやすくて良かったです！田島悠介ゆかりちゃんも分からないことがあったら質問してね！大石ゆかり分かりました。ありがとうございます！今回は、教師あり学習と教師なし学習について解説しました。これらの内容を参考にして、scikit-learnを使って教師あり・なし学習に挑戦してみてください！ TechAcademyでは、初心者でも、AI（人工知能）の構築に必要な機械学習・ディープラーニングについて実践的に学習することができる、オンラインブートキャンプAI講座を開催しています。挫折しない学習方法を知れる説明動画や、現役エンジニアとのビデオ通話とチャットサポート、学習用カリキュラムを体験できる

機械学習

Pythonを利用してロジスティック回帰分析をする方法を現役エンジニアが解説【初心者向け】

Pythonを利用してロジスティック回帰分析をする方法について解説します。この記事では、Pythonでデータ解析や機械学習を使うときに必よく使われるscikit-learnと呼ばれるライブラリについて解説し、実際にscikit-learnを使った回帰分析を実践します。ぜひ参考にしてみてください。そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。田島悠介今回は、Pythonに関する内容だね！大石ゆかりどういう内容でしょうか？田島悠介 Pythonを利用してロジスティック回帰分析をする方法について詳しく説明していくね！大石ゆかりお願いします！ scikit-learnライブラリとは？ “scikit-learn”は「サイキット・ラーン」という呼ばれるPythonのデータ解析と機械学習に特化したライブラリです。このライブラリを使うことでPythonがわかる人なら、誰でも比較的簡単に数行で機械学習を実践することができます。 scikit-learnライブラリはNumpやScipyといった行列計算に必要なライブラリ、matplotlibといったグラフなどのデータの可視化に便利なライブラリが組み込まれています。また、scikit-learnのチートシートを使えば、使いたいデータに合った機械学習がどれに当たるのか、専門的な知識がなくてもすぐにわかるようになっています。 scikit-learnの記事を読んでみると、scikit-learnについてさらによく分かると思うので、詳しく知りたい方は参照してみてください。 scikit-learnモジュールのインポート scikit-learnを使うには、まずは、Anacondaと呼ばれるPythonのパッケージ管理ツールを使ってインストールするか、pipコマンドを使ってscikit-learnをインストールしてください。 Anacondaを使う場合は、コマンドプロンプト(Windows)、もしくは、ターミナル(Mac)で conda install scikit-learn を実行します、 pipを使う場合は、condaの部分をpipに変えて、 pip install scikit-learn を実行すれば、scikit-learnのインストールができます。コマンドを実行して、 Successfully installed scikit-learn ... と表示されれば大丈夫です。. . . の部分はscikit-learnのバージョンが表示されます。あとは、Pythonのコードで、scikit-kearnを import sklearn でインポートすればPythonでscikit-learnを使うことができます。 [PR] Pythonで挫折しない学習方法を動画で公開中scikit-learnモジュールの使い方 scikit-learnにはデータ解析に便利なツールが数多く用意されています。主に、データセットデータの前処理機械学習モデルモデル評価、選択のための各ツールが提供されています。機械学習を試したい場合には、scikit-learnを使えば、データセットのダウンロードから性能の評価まで一貫して行なうことができるので、非常に便利です。データセットには、ボストンの住宅価格、アイリス(アヤメ)の花のデータ、手書き文字など様々なものがあります。データの前処理には、標準化、正規化などといったデータの加工に必要なツールがあります。そして、機械学習モデルには、「教師あり学習」と「教師なし学習」と呼ばれるの2種類のモデルがあり、チートシートを参照して複数のモデルの中から必要なモデルを選ぶことができます。 scikit-learnモジュールを利用してロジスティック回帰分析してみようそれでは、実際にscikit-learnを使ってみましょう。ここからは、Jupyterノートブックを用いることを想定しています。ですが、他の方法でも実践できるので使いたい環境で行なってください。今回は、ロジスティック回帰と呼ばれる機械学習を行います。ロジスティック回帰は教師あり学習に属するモデルで、クラス分類や確率の予測などに使われる分析手法です。ロジスティック回帰についての詳細な説明は省きますが、興味のある方はぜひ調べてみてください。Qiitaのこちらの記事などがオススメです。ではコードを書いていきましょう。まずは、scikit-learnと必要なツールをインポートします。 #必要なツールのインポート from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score import pandas as pd load_irisはアイリスデータセットをダウンロードするのに使います。アイリスというのは、花の名前ですが、より細かい種類に別れています。このアイリスの種類を予測するのが今回の目標です。 train_test_split：データセットを訓練用とテスト用に分けるときに使います StandardScaler：データの前処理手法の一つである標準化で用います LogisticRegression：今回学習に使うロジスティック回帰というモデルです accuracy_score：モデルの性能を評価するとき正解率を計算することに使います他にもここでは、pandasというライブラリをインポートしています。Pandasを用いることでデータを扱いやすくなっています。続いて、 iris_data = load_iris() iris_df = pd.DataFrame(iris_data.data, columns=iris_data.feature_names) iris_df["target"] = iris_data.target とします。ここでは、アイリスデータセットを読み込み、pandasでデータフレームというデータ型に変換し、データフレームの”target”列に、予測する値となるラベルとして、花の種類を追加しています。次に、 #データセットをテスト用と訓練用に分ける x_train, x_test, y_train, y_test = train_test_split( iris_df.iloc[:, 0:4], iris_df.iloc[:, 4],

Python

記事を検索

ニュース

インタビュー

テクノロジー

キャリア

お問い合わせ

PythonのKerasでMNISTデータを処理する方法を現役エンジニアが解説【初心者向け】

MNISTとは

Kerasとは

Kerasの使い方

実際に書いてみよう

まとめ

執筆してくれたメンター

関連するキーワード

あわせてよく読まれている記事

深層学習のライブラリ！Kerasの使い方【初心者向け】

テンソルフロー(TensorFlow)を利用したPythonによるAIプログラミングを現役エンジニアが解説【初心者向け】

手書き数字のデータを扱う！Pythonでmnistを使う方法【初心者向け】

使い方を解説！Googleが開発したTensorflow（テンサーフロー）とは【初心者向け】

徹底解説！scikit-learnを使った教師あり・なし学習とは

Pythonを利用してロジスティック回帰分析をする方法を現役エンジニアが解説【初心者向け】

TechAcademyから
現役エンジニアの方へ
お知らせ

記事を検索

ニュース

インタビュー

テクノロジー

キャリア

お問い合わせ

MNISTとは

Kerasとは

Kerasの使い方

実際に書いてみよう

まとめ

執筆してくれたメンター

記事を検索

関連するキーワード

関連する記事

あわせてよく読まれている記事

TechAcademyから 現役エンジニアの方へ お知らせ

TechAcademyから
現役エンジニアの方へ
お知らせ