はじめに
2019年もあと少しで終わりです。
皆様、いかがお過ごしでしょうか。
年末といえば、紅白、ガキ使、そろそろ仕事にも慣れてきた頃にやらかしてしまった入社2年目社員のQiita記事 がつきものですね。
本記事では、今年の夏にアノテーション作業になめてかかり心が壊れた2年目社員(＝私)の記録を紹介したいと思います。
※本記事はやめ太郎氏リスペクトでお送りします！
第0章 チュートリアル ～アノテーションとは～
皆さんは機械学習におけるアノテーションをご存じでしょうか。
教師あり学習において、モデルの作成には教師データが必要不可欠です。
例えば、画像から犬と猫を判別するようなモデルを作成するには犬と猫の画像を学習させる必要があります。
このとき、学習させる画像に「これはイッヌ」「これはネッコ」という風にタグをつけます。
この作業のことをアノテーションといいます。
一般的に、質の高いモデルを作成するためには質の高い学習データを大量に用意する必要があります。
ロジックやアルゴリズムも大事ですが、同じくらいアノテーション作業も高品質なモデルの作成には重要なのです。
第1章 災厄は突然に ～ワイ君、アノテーションしといてクレメンス～
まずは夏休みまであと10日という今年の8月上旬に行われた、私と上司のやり取りをご覧ください。
上司「ワイ君、この人物画像データに笑顔かどうかのアノテーションをしておいてくれ」
ワイ「分かりました！どれくらいのデータで、期限はいつまででしょうか？」
上司「データ数は 20000枚 、期限はなるべく早く、出来れば 夏休み前 までにお願い」
ワイ「…？えっ後10日しかｎ」
上司「あ、アノテーションに充てられるメンバはワイ君しかいないから1人でよろしくね」
ワイ「」
上司「いいか！アノテーション作業はモデル作成においてとっても重要だからな！手を抜くんじゃないぞ！」
ワイ「」
上司「じゃあよろしく」
ワイ「」
ワイ「」
ワイ「」
ワイ「まぁなんとかなるやろ＾＾」
これが悪夢の始まりでした。
今思えば、この時点で作業量やメンバ増員の見直し、アノテーション専門部隊に外注できないか等を上司に交渉するべきでした。
第2章 甘すぎる作業見積もり ～トイレもご飯も我慢して～
弊社では1日の勤務時間は約8時間です。
仮にアノテーションを 1画像につき1秒 で行うとしましょう。
トイレもご飯も我慢して丸1日 アノテーション作業をしていれば、28800枚 の画像を1日でアノテーションできることになります。
ワイ「なんや！10日どころか1日で終わるやん！楽勝楽勝＾＾」
当たり前ですがそんなわけないです。
しかし、アノテーション作業をこれまでしたことがなかった私はこんなガバガバの作業見積もりをしてしまったのです。
ワイ「まあ多めに見て5日もあればアノテーション作業は終わるだろうし、他の業務はその後にリスケしとこ＾＾」
もう一度言います。
当たり前ですがそんなわけないです。
第3章 1日目 ～君は、笑っているのかい？～
ワイ「ほなさっさと始めよか！」
ワイ「お！いい笑顔やな！これは 笑顔フォルダ へ！」
ワイ「すごい真顔やなこいつ。これは 笑顔じゃないフォルダ へ！」
与えられた人物画像をこのように笑顔フォルダと笑顔じゃないフォルダの2つへ振り分けていくことにしました。
ワイ「君は笑顔フォルダ！」
ワイ「君は笑顔じゃないフォルダや！」
ワイ「楽勝楽勝！ちょちょいのちょいやで～！」
大体200枚程度アノテーションした頃でしょうか。
ワイ「ん？これはどっちや？笑ってるようにも見えるけど真顔にも見えるな…」
ワイ「…」
ワイ「まぁええわ、笑顔フォルダにぶち込んどこ＾＾」
お分かりいただけたでしょうか。
あろうことか、その時の感覚で画像を分類してしまったのです。
2日目、このミスが私を大きく苦しめることになります。
ワイ「こいつも微妙やな…どっちやろ…若干真顔寄りか…？よし、笑顔じゃないフォルダへ！」
結局この日は3000枚程度をアノテーションし、帰路に着きました。
大丈夫、ガバガバ見積もり上では後4日で終わります。
第4章 2日目 ～お前、昨日もおらんかったか？～
ワイ「ほな今日も始めよか！」
ワイ「お！ナイス笑顔ゥ！笑顔フォルダへ！」
ワイ「泣きそうな顔しとるな君。笑顔じゃないフォルダへ！」
この日も意気揚々とアノテーション作業を開始しました。
少しした頃です。
ワイ「ん？これは…笑ってるのか？」
ワイ「そういえば昨日も似たような画像があったな、どうしたんやっけ」
ワイ「あぁそうそう、笑顔フォルダに入れたんやった。ほな君も笑顔フォルダやな」
ワイ「あれ、でも似たような画像で笑顔じゃないフォルダに入れた画像もあったな」
ワイ「うーん…」
ワイ「まぁ笑顔じゃないやろ多分。笑顔じゃないフォルダへGOや！」
この日、このようなケースが何度も発生しました。
しかし、私は全てそのときの気分で分類していたのです。
2日目は、丸1日アノテーション作業に充てられたので、10000枚程度の分類を済ませることができました。
ワイ「時間があるとはいえ、1日中ずっと同じ作業は疲れるな…結構頑張ったし今日はもう帰ろ…」
疲労と満足感を感じながら、この日も帰路につきました。
翌日、惨劇が待っているとも知らずに。
第5章 3日目 ～ワイ君、やり直してくれないか～
翌朝、出社しアノテーション作業に取り掛かろうとしていた時でした。
上司「ワイ君おはよう、アノテーション作業は進んでるかい？」
ワイ「おはようございます！半分以上終わりました！このペースだと10日も必要なかったですね(笑)」
上司「おお！それは頼もしいね！途中結果が見たいから、現時点での分類結果を共有してくれないかい？」
ワイ「了解しました！メールでパスを送っておきます！」
上司「ありがとう！じゃ引き続きよろしく頼むよ！」
ワイ「いや～労ってもらうと元気が出るな！ほな、今日も頑張ろか＾＾」
この日も黙々とアノテーション作業を進めていきました。
惨劇はお昼休み頃に起きました。
ワイ「ふぅ～疲れた！そろそろお昼休みか！休憩しよ！」
上司「ワイ君、ちょっといいかな」
そこには、朝の 仏のような笑顔 ではなく 般若のごとき形相の 上司が立っていました。
ワイ「どしたんすか、お昼休みに会議室に呼び出して」
上司「ワイ君、結果を見させてもらったんだけどね」
上司は、笑顔ともそうでないともとれる2つの画像を指してこう問いかけてきました。
上司「なんでこっちは笑顔フォルダで、こっちは笑顔じゃないフォルダなんだい？」
ワイ「えっあっえっと…」
上司「これもそうだし、これもそうだ。すべて結果がバラバラなんだけどどうなっているんだ」
そうです。
問題になったのは、1日目、2日目に 完全感覚アノテーション した画像達でした。
ワイ「えっと…その…」
上司「これでは正しいアノテーションとは言えない。モデルの精度にも大きく影響してしまう」
ワイ「…すみません」
上司「正直、他の画像やこれから取り組んでもらう分も信頼できるとは言い難い」
ワイ「…はい」
上司「申し訳ないが、 最初からすべてやり直してくれ」
ワイ「ﾐ゜」
「1からすべてやり直し」というショックが大きく、この日はほとんど作業が手につきませんでした。
第6章 4日目 ～ワイ君、壊れる～
ワイ「1から全部やり直し…1から全部やり直し…」
3日間の作業が無に帰したショックで十分な睡眠をとることができないまま出社しました。
ワイ「どうしよう…リスケした作業にも影響が出てまう…」
ワイ「…いや悩んでても仕方ない。また最初からやっていくしかないんや」
こうして再び、1枚目から画像のアノテーションを進めていきます。
ワイ「君は笑顔…君は笑顔じゃない…君も笑顔じゃない…君は笑顔…」
ワイ「何か腹立ってきたな、なんでこいつら笑てんねん」
もはや正常な精神状態ではありません。
この日はお昼休みも返上して黙々とアノテーションしていきます。
そして再び、問題の画像と出会います。
ワイ「出た…どっちとも言えん画像や…」
ワイ「前は基準が無かったからバラバラになったんや…」
ワイ「よし、今後こういう画像は全部 笑顔じゃないフォルダ に分類することにしよう…」
笑顔とも笑顔じゃないとも取れる画像は全て笑顔じゃないフォルダへ分類する、とルールを定めることにしました。
これで問題は解決したかのように思えます。
しかし、そんなことはなかったのでした。
少しした後、再び笑顔とも笑顔じゃないとも取れる画像に出会いました。
ワイ「出た、どっちとも言えん画像や…これはさっき決めたルールに従って、笑顔じゃないフォルダへ…」
ワイ「…」
ワイ「いやでもこれ、笑ってないか？笑ってるよな…」
ワイ「そもそもさっき決めたルールは正しかったんやろか」
ワイ「…うん、これは笑顔フォルダに入れるべきや」
ワイ「ふう、やらかすところやったわ。危ない危ない」
やらかしています。
自分で定めたルールをわずか数分で殺してしまいました。
この日の夜10時頃、無人のフロアには泣きながら真顔の画像を笑顔フォルダに分類する男がいたそうです。
第7章 5日目 ～ワイ君、会社休むってよ～
上司にアノテーション結果をダメ出しされる夢を見ました。
朝起きると猛烈な吐き気に襲われ、すぐにトイレに駆け込みました。
私は会社を休みました。
どうすればよかったのか
結局上司に頭を下げ、アノテーションメンバを増員してもらい、何とか事なきを得ました。
どうすればこの惨劇を防ぐことができたのでしょうか。
振り返ってみましょう。
※私はプロのアノテータではないため、以下は経験に基づく個人的な反省点です。
- アノテーション基準を設けるべきだった
今回の最も大きな原因はアノテーションの基準を設けなかったことです。
そのため結果が異なり、作業の出戻りが発生してしまいました。
アノテーションの基準を設ける際には、笑顔の代表画像、笑顔ではない顔の代表画像を予め抽出しておき、それらに従って分類を行う等の工夫が必要です。
- 複数人でアノテーションを行うべきだった
笑顔のような連続的に変化するものを対象とする場合、必ずしも設けた基準に従わない場合があります。
そのようなときは、Voting (投票制) を行います。
これは複数人でアノテーションを行う際の手法で、1枚の画像に対して過半数 (もしくは統計的に算出した人数) のタグ付けが一致していればそれを正解タグとして採用し、そうでない場合は分析から外してしまう、というものです。
Votingを行うことによって、アノテーション結果が個人に依存してしまうことを防ぎます。
ただし、高コストになってしまうというデメリットがあります。
- 作業見積もりをきちんと行うべきだった
1枚1秒でアノテーションできるわけありませんし、8時間ぶっ通しでアノテーションできるわけもありません。
長時間同一の作業を行うと人間は集中力が著しく低下してしまいます (経験談)。
例えば、1日2時間だけ、と短時間で分散して作業を行うようにするべきでした。
- 専門組織に外注するべきだった
もしも予算に余裕があるのであれば、アノテーションを専門に行っている組織に外注しましょう。
彼らはプロアノテータの集団ですし、経験による技術や知見も持っています。
教師データの質に重きを置くのであれば、この手が最善だと思います (本音は二度とやりたくないからです) 。
- おまけ
現在では、そもそもアノテーション作業を減らすため、たくさんの教師データを必要としない 半教師付き学習 が研究されています。
半教師付き学習については、東京大学の杉山先生によるこちらの資料が大変分かりやすいです。
おわりに
この夏、完全感覚アノテーション によって1人の若者の心が壊されてしまいました。
今後アノテーションをしなければいけない方にとって、本記事が少しでも参考になればと思います。