icon
icon

PythonのMemoryErrorの主な原因について現役エンジニアが解説【初心者向け】

初心者向けにPythonのMemoryErrorの主な原因について現役エンジニアが解説しています。MemoryErrorとはプログラムを実行中にメモリーが不足することにより発生するエラーのことです。膨大なデータや画像処理、並列処理時に起こりやすいErrorです。MemoryErrorの原因と対策方法を解説します。

テックアカデミーマガジンは受講者数No.1のプログラミングスクール「テックアカデミー」が運営。初心者向けにプロが解説した記事を公開中。現役エンジニアの方はこちらをご覧ください。 ※ アンケートモニター提供元:GMOリサーチ株式会社 調査期間:2021年8月12日~8月16日  調査対象:2020年8月以降にプログラミングスクールを受講した18~80歳の男女1,000名  調査手法:インターネット調査

PythonのMemoryErrorの主な原因について、TechAcademyのメンター(現役エンジニア)が実際のコードを使用して初心者向けに解説します。

そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。

 

なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。

 

田島悠介

今回は、Pythonに関する内容だね!

大石ゆかり

どういう内容でしょうか?

田島悠介

PythonのMemoryErrorの主な原因について詳しく説明していくね!

大石ゆかり

お願いします!

 

目次

1時間でできる無料体験!

 

MemoryErrorとは

MemoryErrorはプログラムを実行中に発生するメモリー不足により発生するエラーのことです。Pythonに限らず、プログラムを実行するということはパソコン上で処理を行うため、メモリーを消費します。

特に定義した変数やオブジェクトはメモリー内に保持されるため、その保持したデータ量がメモリーの許容量を超えるとMemory Errorが発生します。

つまり、ソースコードそのものの文法としては間違っておらず実行中に発生するエラーのため、限られたメモリー内で処理を行えるように対策を行う必要があります。

[PR] Pythonで挫折しない学習方法を動画で公開中

MemoryErrorの主な原因

MemoryErrorの一番大きな原因は膨大なデータを取り扱っていることです。機械学習やデータサイエンスの分野で大活躍するPythonですが、大量のデータをあまりにたくさんに扱うとパソコンのメモリーを圧迫してMemoryErrorとなります。

代表的な例が画像処理です。画像データは大量の行列データを扱うことと同じなので、大量の画像データを処理し続けるとパソコンによってはMemoryErrorが発生します。

もう一つ発生するエラーとしては、並列処理を行うときです。短時間で効率よく処理を行うためにスレッドを使って並列処理を行います。しかし、その一方で多くのメモリーを消費することになります。つまり、膨大な処理を並列させるとその分計算量が多くなり、MemoryErrorになる可能性が高くなります。

MemoryErrorへの対策

MemoryErrorが起こるようなプログラムを実行するためには、その対策を行うようにする必要があります。そこでここではいくつかのエラー対策法を紹介します。

メモリーを増やす

MemoryErrorはパソコンのメモリーが不足しているエラーなので、新たに容量の大きいメモリーを買い足すのが一番簡単な解決策です。ただし、この方法はメモリーを取り外しできるパソコンならできますが、分解ができないパソコンでやるのは難しいです。

また、知識のある人であれば問題ないのですが、機械の分解に慣れていない方がやろうとすると、失敗してパソコンが起動しなくなることもあります。メモリーの交換はしっかりやり方を調べながら慎重に行いましょう。

不要な変数、オブジェクトを消す

処理の中で途中から使われていない変数や、オブジェクトを積極的に廃棄するのも効果的です。そこで使われる文がdel文です。del文で変数、オブジェクト名を指定すると、それまでの定義がなかったことになるため、メモリーの空きを減らすことができます。

具体的にはxに100を定義した場合、以下の様に書くことで、del文でその定義を無かったことにできます。

x = 100
del x

 

データを圧縮する

これは特に画像データをメモリー上で扱う際に有効です。大抵の画像処理ではある程度オリジナル画像から縮小しても問題ないことが多いです。

機械学習の練習として使われるMNIST(手書き数字の画像データセット)の画像もメモリーの使用量を少なくするために画像が極限まで縮小されています。

画像を縮小するときに使われるのが、PillowライブラリのImage.resizeです。これを使うことで簡単に画像を縮小してメモリーの使用量を減らすことができます。

コラム

コスパとタイパ、両方結果的に良くなる良くなる学び方とは?

「スクールは高いし時間も縛られて効率が悪い」と考える方は多いと思います。
もちろん、時間も費用もかかることは間違いありません。
ただ 結果的に無駄な学びにお金も時間もかける方がリスクが高いという考えもあります。

コスパ・タイパ最適化の参考として、 テックアカデミー卒業生がスクールを選んだ理由 をご紹介します。

  • ・困ったときに、質問や相談できる相手がいるため挫折しなかった
  • ・プロとして必要なスキルのみを深く学べたので無駄がなかった
  • ・副業案件の提供と納品までのサポートがあったので目的を達成できた

安価・短期間で広く浅く学んでも意味がありません。 本当に自分の目的が達成できるか、それが重要です。
自分にどのスキルや学び方が合っているか、どんな学習方法かなど、お気軽に 無料相談 に参加してみませんか?

カウンセラー・現役のプロへ、何でも気軽に無料相談可能。 30分か60分お好きな時間が選べて、かつ3回まで すべて無料で ご利用できます。
無理な勧誘は一切ない ので、お気軽にご参加ください。

今なら相談した方限定の割引・参加特典付き! 無料相談はこちら

まとめ

今回はPythonのMemoryErrorについて紹介しました。

Pythonは配列の処理を簡単に行うことが出来ますが、メモリーのことは考慮されないので、メモリーの使用量については人間の手で調整をしていく必要があります。Pythonはシンプルな文法の言語ですが、システム内で効率よく処理を行うためには工夫や経験が重要になってきます。

監修してくれたメンター

メンター三浦

モバイルゲームを運用している会社のエンジニアをしています。趣味でWEB開発やクラウドコンピューティングもやっており、ソフトもハードもなんでもやります。

TechAcademyジュニアではPythonロボティクスコースを担当しています。好きな言語はPython, Node.js。

 

大石ゆかり

内容分かりやすくて良かったです!

田島悠介

ゆかりちゃんも分からないことがあったら質問してね!

大石ゆかり

分かりました。ありがとうございます!

 

TechAcademyでは、初心者でもPythonを使った人工知能(AI)や機械学習の基礎を習得できるオンラインブートキャンプPython講座を開催しています。

挫折しない学習方法を知れる説明動画や、現役エンジニアとのビデオ通話とチャットサポート、学習用カリキュラムを体験できる無料体験も実施しているので、ぜひ参加してみてください。

初心者・未経験でもできる。まずはテックアカデミーに相談しよう

プログラミングを独学で学習していて、このように感じた経験はないでしょうか?

  • ・調べてもほしい情報が見つからない
  • ・独学のスキルが実際の業務で通用するのか不安
  • ・目標への学習プランがわからず、迷子になりそう

テックアカデミーでは、このような 学習に不安を抱えている方へ、マンツーマンで相談できる機会を無料で提供 しています。
30分間、オンラインでどんなことでも質問し放題です。

「受けてよかった」と感じていただけるよう カウンセラーやエンジニア・デザイナー があなたの相談に真摯に向き合います。

「自分に合っているか診断してほしい」
「漠然としているが話を聞いてみたい」

こんなささいな悩みでも大丈夫です。

無理な勧誘は一切ありません ので、まずはお気軽にご参加ください。
※体験用のカリキュラムも無料で配布いたします。(1週間限定)

今なら参加者限定の割引特典付き! 無料相談を予約する