Pythonの形態素解析ライブラリ「Janome」の基本の使い方を現役エンジニアが解説【初心者向け】
初心者向けにPythonの形態素解析ライブラリ「Janome」の基本の使い方について現役エンジニアが解説しています。形態素解析とは、自然言語で書かれた文を言語上の最小単位である形態素に分割し、それぞれの品詞や変化などを割り出すことです。Janomeを使って名詞のみを出力してみましょう。
テックアカデミーマガジンは受講者数No.1のプログラミングスクール「テックアカデミー」が運営。初心者向けにプロが解説した記事を公開中。現役エンジニアの方はこちらをご覧ください。 ※ アンケートモニター提供元:GMOリサーチ株式会社 調査期間:2021年8月12日~8月16日 調査対象:2020年8月以降にプログラミングスクールを受講した18~80歳の男女1,000名 調査手法:インターネット調査
Pythonの形態素解析ライブラリ「Janome」の基本の使い方について解説します。
そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。
なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。
今回は、Pythonに関する内容だね!
どういう内容でしょうか?
Pythonの形態素解析ライブラリ「Janome」の基本の使い方について詳しく説明していくね!
お願いします!
形態素解析とは
形態素解析とは、自然言語で書かれた文を言語上の最小単位である形態素に分割し、それぞれの品詞や変化などを割り出すことです。
ITの分野ではコンピュータによる自然言語処理の一つとして、かな漢字変換や全文検索、機械翻訳などで用いられます。
形態素解析ライブラリ「janome」
JanomeはPythonで記述された、辞書内包の形態素解析ライブラリです。
依存ライブラリなしで簡単にインストールできるのが特徴です。
Janomeをインストールする
pipコマンドを用いてインストールします。
pip install janome
Pythonインタプリタで以下のコードを実行します。
特にエラーがなければ、インストールは成功です。
import janome
文章を形態素解析する
ソースコード
from janome.tokenizer import Tokenizer t = Tokenizer() for token in t.tokenize(u'すもももももももものうち'): print(token)
実行結果
すもも 名詞,一般,*,*,*,*,すもも,スモモ,スモモ も 助詞,係助詞,*,*,*,*,も,モ,モ もも 名詞,一般,*,*,*,*,もも,モモ,モモ も 助詞,係助詞,*,*,*,*,も,モ,モ もも 名詞,一般,*,*,*,*,もも,モモ,モモ の 助詞,連体化,*,*,*,*,の,ノ,ノ うち 名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ
解説
janomeモジュールをインポートし、Tokenizerインスタンスを作成。解析対象文字列を指定し、tokenizeメソッドを呼び出しました。
名詞を抽出する
ソースコード
from janome.analyzer import Analyzer from janome.tokenizer import Tokenizer from janome.tokenfilter import POSKeepFilter text = '蛇の目はPure Pythonな形態素解析器です。' tokenizer = Tokenizer() token_filters = [POSKeepFilter(['名詞'])] a = Analyzer([], tokenizer, token_filters) for token in a.analyze(text): print(token)
実行結果
蛇の目 名詞,一般,*,*,*,*,蛇の目,ジャノメ,ジャノメ Pure 名詞,固有名詞,組織,*,*,*,Pure,*,* Python 名詞,一般,*,*,*,*,Python,*,* 形態素 名詞,一般,*,*,*,*,形態素,ケイタイソ,ケイタイソ 解析 名詞,サ変接続,*,*,*,*,解析,カイセキ,カイセキ 器 名詞,接尾,一般,*,*,*,器,キ,キ
解説
先の例と同様にjanomeモジュールをインポートしました。
品詞でフィルタするため、POSKeepFilterを用いました。
Analyzerでは前処理の以下を指定します。今回、前処理のフィルタは省略しました。
- フィルタ
- トークン分割器/li>
- トークンのフィルタ
文字列を解析し、名詞のみを表示しました。
監修してくれたメンター
橋本紘希
システムインテグレータ企業勤務のシステムエンジニア。 開発実績: Javaプログラムを用いた業務用Webアプリケーションや、基幹システム用バッチアプリケーションなどの設計構築試験。 |
内容分かりやすくて良かったです!
ゆかりちゃんも分からないことがあったら質問してね!
分かりました。ありがとうございます!
TechAcademyでは、初心者でもPythonを使った人工知能(AI)や機械学習の基礎を習得できるオンラインブートキャンプPython講座を開催しています。
挫折しない学習方法を知れる説明動画や、現役エンジニアとのビデオ通話とチャットサポート、学習用カリキュラムを体験できる無料体験も実施しているので、ぜひ参加してみてください。