Pythonの形態素解析ライブラリ「Janome」の基本の使い方を現役エンジニアが解説【初心者向け】

Pythonの形態素解析ライブラリ「Janome」の基本の使い方について解説します。

そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。

 

なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。

 

 

形態素解析とは

形態素解析とは、自然言語で書かれた文を言語上の最小単位である形態素に分割し、それぞれの品詞や変化などを割り出すことです。

ITの分野ではコンピュータによる自然言語処理の一つとして、かな漢字変換や全文検索、機械翻訳などで用いられます。
 

形態素解析ライブラリ「janome」

JanomeはPythonで記述された、辞書内包の形態素解析ライブラリです。

依存ライブラリなしで簡単にインストールできるのが特徴です。
 

[PR] Pythonで挫折しない学習方法を動画で公開中

Janomeをインストールする

pipコマンドを用いてインストールします。
 

pip install janome

 
Pythonインタプリタで以下のコードを実行します。

特にエラーがなければ、インストールは成功です。
 

import janome

 

文章を形態素解析する

ソースコード

from janome.tokenizer import Tokenizer

t = Tokenizer()
for token in t.tokenize(u'すもももももももものうち'):
  print(token)

 

実行結果

すもも	名詞,一般,*,*,*,*,すもも,スモモ,スモモ
も	助詞,係助詞,*,*,*,*,も,モ,モ
もも	名詞,一般,*,*,*,*,もも,モモ,モモ
も	助詞,係助詞,*,*,*,*,も,モ,モ
もも	名詞,一般,*,*,*,*,もも,モモ,モモ
の	助詞,連体化,*,*,*,*,の,ノ,ノ
うち	名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ

 

解説

janomeモジュールをインポートし、Tokenizerインスタンスを作成。解析対象文字列を指定し、tokenizeメソッドを呼び出しました。
 

名詞を抽出する

ソースコード

from janome.analyzer import Analyzer
from janome.tokenizer import Tokenizer
from janome.tokenfilter import POSKeepFilter

text = '蛇の目はPure Ｐｙｔｈｏｎな形態素解析器です。'
tokenizer = Tokenizer()
token_filters = [POSKeepFilter(['名詞'])]
a = Analyzer([], tokenizer, token_filters)

for token in a.analyze(text):
  print(token)

 

実行結果

蛇の目	名詞,一般,*,*,*,*,蛇の目,ジャノメ,ジャノメ
Pure	名詞,固有名詞,組織,*,*,*,Pure,*,*
Ｐｙｔｈｏｎ	名詞,一般,*,*,*,*,Ｐｙｔｈｏｎ,*,*
形態素	名詞,一般,*,*,*,*,形態素,ケイタイソ,ケイタイソ
解析	名詞,サ変接続,*,*,*,*,解析,カイセキ,カイセキ
器	名詞,接尾,一般,*,*,*,器,キ,キ

 

解説

先の例と同様にjanomeモジュールをインポートしました。
品詞でフィルタするため、POSKeepFilterを用いました。

Analyzerでは前処理の以下を指定します。今回、前処理のフィルタは省略しました。

• フィルタ
• トークン分割器/li>
• トークンのフィルタ

文字列を解析し、名詞のみを表示しました。
 

監修してくれたメンター

橋本紘希 システムインテグレータ企業勤務のシステムエンジニア。 開発実績: Javaプログラムを用いた業務用Webアプリケーションや、基幹システム用バッチアプリケーションなどの設計構築試験。

 

 

TechAcademyでは、初心者でもPythonを使った人工知能（AI）や機械学習の基礎を習得できるオンラインブートキャンプPython講座を開催しています。

挫折しない学習方法を知れる説明動画や、現役エンジニアとのビデオ通話とチャットサポート、学習用カリキュラムを体験できる無料体験も実施しているので、ぜひ参加してみてください。