Pythonで文字コードを変換する方法【初心者向け】現役エンジニアが解説

Pythonで文字コードを変換する方法について解説します。

そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。

 

目次

• 文字コードとは
• 文字コードを変換する書き方
• 実際に書いてみよう

なお本記事は、テックアカデミーのPythonコースの内容をもとに紹介しています。

 

 

文字コードとは

文字コードとは、文字を表す番号のことです。

コンピュータは数字しか処理できないので、人間の言語 (自然言語と呼ばれます) はコンピュータが理解できる形に変換してあげる必要があります。

文字コードは、それぞれの文字（イメージ）に対応する番号の一覧表です。

文字コードはいくつか種類があり、それにより見た目が同じでも番号が異なります。

例えば、Windowsで保存したファイルがMacで文字化けしてしまった経験はありませんか？

OSの違いによる文字化けは文字コードが違うことが原因です。

普段はあまり聞き慣れない文字コードですが、プログラミングを行う際、特に日本語を扱う場合には、知っておくと汎用性の高い知識です。

 

ASCII

もっとも基礎的な文字コードで、「アスキー」と発音します。

半角英数字128文字から構成されており、全ての文字を1バイトで表します。

例えば「A」はASCIIでは0x41 (0xは16進数を表します) となります。

上記の0x41のような表現を、「バイト文字」や「バイト列」と呼びます。

 

Shift_JIS

日本語を扱うために用いられる文字コードで、全ての文字を2バイトで表します。

読み方は「シフトジス」です。

亜種の cp932 がWindowsで採用されていたことで広く使われていました。

例えば「あ」はShift_JISでは0x82E0となります。

Windowsでcsvやtxtファイルを取り扱う場合には、Shift-JISが用いられることが標準的です。

 

UTF-8

現在最も広く使われている標準的な文字コードで、全ての文字を1〜4バイトで表します。

世界中の文字を扱えるため、標準的に使われるようになりました。

例えば「あ」はUTF-8では0xe38182となります。

Shift-JISで「あ」を表現する場合とでは、対応する番号が異なっている事が分かりますね。

以前のPythonのバージョン2.x (xは任意の数字。2020年4月にサポート終了済) では、標準の文字コードは ASCII だったため、日本語を扱う際は、文字コードを宣言する必要がありました。

しかし、現在主流のPython のバージョン3.xでは、標準の文字コードはUTF-8となったため、文字コードを宣言することなく日本語を扱えるようになっています。

 

[PR] Pythonで挫折しない学習方法を動画で公開中

文字コードを変換する書き方

Python の標準の文字コードは UTF-8 です。

また標準入出力（外部との情報のやりとり）も UTF-8 の文字列で行われます。

そのため、 Pythonのみでデータを取り扱う場合には文字コードを変換する場面は多くありませんが、Python以外のアプリケーションで生成したファイル (.txtや.csv) をPythonで扱う場合には文字コードにも注意が必要です。

 

ファイルから情報を入出力する場合

ファイルの文字コードを判別して入出力する必要があります。

詳しくは以下の記事を参考にしてください。

Pythonでファイルの文字コードを判定する方法

 

外部のプログラムなどとバイト列で文字列をやりとりする場合

文字列とバイト列との変換用に、関数が用意されています。

文字列をバイト列に変換するには encode メソッドを使用します。

'文字列'.encode('文字コード名')

 

逆に、バイト列を文字列に変換するには decode メソッドを使用します。

b'バイト列'.decode('文字コード名')

 

実際に書いてみよう

今回のサンプルプログラムでは、encode、decodeメソッド文字コードを変えてバイト列の内容を確認していきます。

実行はPythonインタプリタで行います。

コマンドラインで「python」と入力すると「>>>」と表示されますので、1行ずつプログラムを入力します。

はじめに文字列を UTF-8 のバイト列に変換してみましょう。

'こんにちは！'.encode('utf-8')

 

実行結果は以下のようになります。

b'xe3x81x93xe3x82x93xe3x81xabxe3x81xa1xe3x81xafxefxbcx81'

 

次に、同じ文字列を Shift_JIS の亜種である CP932 のバイト列に変換してみましょう。

'こんにちは！'.encode('cp932')

 

実行結果は以下のようになります。

UTF-8 の場合と実行結果が異なることが確認できます。

b'x82xb1x82xf1x82xc9x82xbfx82xcdx81I'

 

最後に、cp932 のバイト列を文字列に変換してみましょう。

b'x82xb1x82xf1x82xc9x82xbfx82xcdx81I'.decode('cp932')

 

実行結果は以下のようになります。

'こんにちは！'

 

Python 3.x では文字列は UTF-8 なので、encode・decode メソッドを使う機会は多くないかもしれませんが、文字コードを学んでおくとコンピュータが文字をどのように扱っているか、具体的なイメージをもってプログラミングを行えますね。

 

監修してくれたメンター

太田和樹（おおたかずき） ITベンチャー企業のPM兼エンジニア普段は主に、Web系アプリケーション開発のプロジェクトマネージャーとプログラミング講師を行っている。守備範囲はフロントエンド、モバイル、サーバサイド、データサイエンティストと幅広い。その幅広い知見を生かして、複数の領域を組み合わせた新しい提案をするのが得意。開発実績：画像認識技術を活用した駐車場混雑状況把握（実証実験）、音声認識を活用したヘルプデスク支援システム、Pepperを遠隔操作するアプリの開発、大規模基幹系システムの開発・導入マネジメント地方在住。仕事のほとんどをリモートオフィスで行う。通勤で消耗する代わりに趣味のDIYや家庭菜園、家族との時間を楽しんでいる。

 

 

Pythonを学習中の方へ

これで解説は終了です、お疲れさまでした。

• つまずかず「効率的に」学びたい
• 副業や転職後の「現場で使える」知識やスキルを身につけたい

プログラミングを学習していて、このように思ったことはありませんか？

テックアカデミーのPythonコースでは、第一線で活躍する「プロのエンジニア」が教えているので、効率的に実践的なスキルを完全オンラインでしっかり習得できます。

合格率10%の選考を通過した、選ばれたエンジニアの手厚いサポートを受けながら、人工知能（AI）や機械学習の基礎を完全オンラインでしっかり習得できます。

まずは一度、無料体験で学習の悩みや今後のキャリアについて話してみて、「現役エンジニアから教わること」を実感してみてください。

時間がない方、深く知ってから体験してみたい方は、今スグ見られる説明動画から先に視聴することをおすすめします！