GCP AutoML Natural Languageのベンチマーク
TL;DR
デモデータを利用してAutoML Natural Languageと自作モデルの性能を比較してみました。
もう全部AutoML Natural Languageでいいんじゃないかなぁ・・・。
背景
GCPUBイベントに参加したところ、AutoMLのβ公開が始まっていることを知ったので、自然言語処理用であるAutoML Natural Languageの性能を確認してみようと考えました。
AutoML VisionはShuhei Fujiwaraさんのこちらの記事をどうぞ。
対象データ
AutoML Natural Languageの公式ドキュメントに掲載されているデモデータを利用しました。
自作モデル
特徴量となる入力文をWord2Vecを利用してToken Embeddingとして入力、GRUで学習するという内容になっています。
形態素解析せずに、kerasのtext_to_word_sequenceを利用しているので、入力に適さない品詞もそのままです。
また、フレームワークとしてkerasを利用しています。
詳細はJupyter Notebookを参照してください。
性能の比較
AutoML Natural Language
自作モデル
precision recall f1-score support
bonding 0.72 0.91 0.80 506
leisure 0.74 0.56 0.64 298
affection 0.92 0.90 0.91 1277
enjoy_the_moment 0.57 0.55 0.56 408
achievement 0.84 0.85 0.85 1187
nature 0.91 0.53 0.67 73
exercise 0.73 0.84 0.78 61
avg / total 0.82 0.81 0.81 3810
処理時間
AutoML Natural Language
約4時間。
自作モデル
約30分。
後述のJupyter Notebookのアウトプットでは15分になっていますが、一度途中から学習を再開しているため、合計で30分程度になっています。
コスト
AutoML Natural Language
219.05 Minute ¥1,215.51
単価については公式ドキュメントを参照してください。
自作モデル
GPUとしてGTX 1060(6GB)を搭載したデスクトップパソコンで実行しました。
このため、電気代だけです。
その他
とっても凄いAutoML Natural Languageですが、日本語はサポートされていないそうです。
実際に、ラベルに日本語を使うと正しく解釈されません。
ただし、特徴量としては日本語も入力ができたので、ラベルをコード化するなどで日本語を使ってみることはできると思われます。
その場合の性能は確認していないので、他の人の検証を期待します。