これまでに続き、Pythonのツール作成時に実際に起きた困ったことをまとめました。
①メモリ不足
1000万件を超えるデータを処理していたところ以下のエラーが発生しました。
memoryerorr
調べてみるとPCのメモリ不足が原因でエラーが発生したようです。
複数dateframeを作成していたためメモリ不足になったようです。
dateframeの数を減らすことでメモリ不足が解決し正常に処理をできるようになりました。
② dateframeの項目を結合で、エラーとなっても表示されない
dateframeをmergeで結合させ出力するツールを作成したところ、処理が終了し出力されても結合されていないという事象がありました。
原因を調べたところ、onで指定したキーのデータ型が異なっており結合できておらず
結合されずにその後の処理が進んでいました。
エラーメッセージも表示されないため問題ないと思っていましたが
実際のデータをテストをして気づくことができました。
キーのデータ型を揃える処理をして正しく処理できるようになりました。