はじめに
大学の研究で、機械学習を用いた文書分類を行なっています。今回課題となったのは、GPUの違いによる精度の差です。
Google Colaboratoryを用いて実験を回していたのですが、GPUを変えたことで明らかに精度に差が出ていました。
具体的には、2値分類のタスクで、それぞれGPUをTesla-T4 / NVIDIA-A100 を利用して行ったところ、評価指標Accuracyにおいて、以下のような結果になりました。
| T4 | A100 | |
|---|---|---|
| Accuracy | 0.8236 | 0.8469 |
実験設定はGPU以外全て同じで、訓練・テストデータセット共に全て同じですが、約2%も差が生じてしまいました。私が行なっている文書分類のタスクにおいては、2%の差はかなり大きいもので、原因を探ることが必要となります。
こちらの対応について、昨日の研究室ゼミで議論したので、共有させていただきたいと思います。意見等ございましたら、コメント頂けますと幸いです。
精度差が生じてしまう原因を調べるには
精度差が生じてしまう原因として考えられるのは、「初期値が変わることによる、モデルの精度のばらつき」が挙げられました。
機械学習をする際には、シード値の設定をすると思いますが、たとえそのシード値が同じであったとしても、GPUの種類・アーキテクチャが違えば、異なる乱数値で実験されているとのことでした。そのため、精度としてばらつきが生じてしまうということです。
上の仮説が正しければ、モデルがシード値を変えて実験した際にかなり精度に差が生じる、つまり「モデルの揺れ」が大きいということで、良くない状況といえます。
シード値を変えて「モデルの揺れ」の大きさを確かめてみた
実験が終わり次第、追記したいと思います。
最後に
今回は、GPUの違いによるモデルの精度差についてお話ししました。非常に有益な内容だったと思います。
まだまだ初心者（とはいえ4年生の冬）で、勉強も正直あまりできていません。卒論の締め切りが近づいてきていますので、頑張っていきたいと思います。
間違いや意見等ありましたら、コメントをしていただけますと幸いです。
ありがとうございました。