昨今ではAI開発が急速に広がっていますが、AI開発において避けて通れない作業が、学習データのアノテーション（※データの意味づけ、注釈付加）です。手間のかかる作業ですが、アノテーションの品質はAIの精度に影響するため、AIエンジニアが自身で行わなければならないこともしばしば。それゆえにAI開発の大きな足枷にもなっています。企業によってはアノテーションを代行業者に依頼するケースもあるようですが、「品質面で満足できない」「外注する準備が大変」といった声も散見されます。

こうした現状をテクノロジーで解決しようと誕生したのが、ソフトバンク株式会社（以下、ソフトバンク）の社内企業制度から生まれたアノテーション代行サービス『TASUKI Annotation（以下、TASUKI）』です。今回は、ソフトバンクにて同サービスのプロダクトマネージャーを務める佐藤 哲太氏に、アノテーションの現状と同サービスを利用するメリットを伺いました。

プロフィール

AI開発工程の半分以上を占めるアノテーション

――はじめに、アノテーションがどのような作業なのか教えてください。

佐藤：アノテーションは、AIがデータを学習（機械学習）してAIモデルをつくるために、画像、テキスト、音声といった非構造化データにラベル付けを行い、教師データを作る工程のことです。

例えば、画像内からネコを判別するAIを考えてみましょう。私たち人間なら当然ネコが写っていることを一目で判別できますよね。しかし、コンピュータにとっては、その画像を見ただけでは何なのか判別できません。

そこで、対象の画像データに対して「この画像のこの座標の範囲はネコだよ」とラベルをつけてあげる作業工程がアノテーションです。こうしてプログラムが正解データを学習していくことで、最終的にネコを判別するAIモデルをつくることができるわけです。

最近では学習データの画像を読み込むだけで、ノーコードでAIモデルを生成するサービスが登場したり、GitHubにはフリーで使えるモデルが公開されたりと、誰もがAI開発できる時代になってきました。
しかし、AIモデルを作る工程でアノテーションが必要であることは変わりありません。しかも、AIは作ったら終わりではありません。運用する中で環境が変わったり、AIが判別する対象の特徴が変わったりすれば、学習時のデータで作ったAIモデルが正しく判定できない、つまりモデルが劣化することがあります。AIは継続的なメンテナンスが必要であり、アノテーションも継続的に必要とされる業務です。

だからこそ、AI開発企業はアノテーション作業の負荷をいかに軽減できるかが課題となっています。

――アノテーション作業の負荷の軽減が課題とのことですが、どれくらい大変な作業なのでしょうか。

佐藤：例えば画像判別AIを開発する場合、1回の開発で必要な学習用画像ファイルの枚数は数千枚から数万枚に及ぶこともあります。画像1枚のアノテーションに最低1分くらいかかるとしてもこの枚数を考えると業務量は膨大です。長いものだと1枚の画像で20～30分かかるものもあります。

総務省の公表資料によると、エンジニアの業務時間のうち63%がアノテーション作業に割かれているそうです。

佐藤： また、アノテーションの品質がAIモデルの精度に直結するため、ノイズを含んだデータになってしまうとAIの精度も下がってしまいます。品質を犠牲にしてアノテーション作業を高速化するわけにもいかないのです。

――たくさんのデータをノイズが入らないよう丁寧に作業しなければいけない、となると自社エンジニアだけで対応するのは難しそうですね。

佐藤：そうですね。外注も1つの選択肢で、実際にアノテーションを代行するベンダーやクラウドソーシングを利用している例もあります。

ですが、そう簡単に外注できるものではないのも実情で、結局エンジニアが自分たちで頑張るケースが多いようです。

――それは、なぜでしょうか。

佐藤：その理由は大きく2つあります。1つは、品質が大事なので頼んでうまくいかなかった場合のリスクを抱えたくないから。もう1つの理由として、実はアノテーションの依頼はすごく難しいのです。

良いAIモデルにするには、一目でそれとわかるデータだけではなく、幅広くデータを集めてきてアノテーションを行います。例えば画像データで「人間」をアノテーションする場合、街中に掲げられている看板に描かれている人間を対象とするのか。あるいは、画像から見切れて耳だけ出ている物体は人間なのか。フルフェイスのヘルメットをかぶっているのは人間なのか。

このように、定義しきれない部分がどうしても出てきてしまいます。これを事前に厳密に定義した上で依頼しないと、作業者によって勝手な解釈でアノテーション作業が行われ、ノイズが発生してしまうのです。

――なるほど、そしてAIの品質も下がってしまう。どんなアノテーションをすれば成果が出るかは、AIを開発しているエンジニアが一番わかっているから、外注しないでやった方がむしろ早いという判断になってしまうわけですね。

佐藤：その通りです。アノテーションのルールはどういうAIを作りたいかに直結するので、作りたいAIをよく理解しているエンジニア自身で作った方がコミュニケーションコストがかからず、作業方針の揺らぎも少なくて済みます。

――しかし、エンジニアがアノテーション作業に時間を取られるのは、もったいないというか非生産的ですね。

佐藤：そうですね。少子高齢化で労働人口が減少しており、ましてやAIエンジニアの絶対数が少ない中で、貴重な時間の半分以上をアノテーション作業に使っている状況は、日本がAI後進国になってしまっている原因の1つだと思います。

TASUKIなら誰でも一流の要件定義ができる

――こうした課題に対してソフトバンクではどんなサービスを提供しているのでしょうか。

佐藤：ソフトバンクではTASUKIというSaaS型のアノテーション代行サービスを提供しています。これは「ソフトバンクイノベンチャー」という社内起業制度から生まれたサービスで、依頼者はWeb上の画面から依頼するだけで、AI開発に不可欠な教師データを高い品質でスピーディーに作成することができます。

大きな特徴が3つあるのですが、1つ目は「誰でも一流の要件定義ができる」ということです。先ほどお話したとおり、アノテーションを厳密に行おうとすると細かくルールを定義しておかなければならず、それを怠ってしまうと揺らぎが生じてノイズになってしまいます。

そこでTASUKIでは、お客さまがやりたいアノテーションの種類を選ぶことで、事前に決めておくべきルールをテンプレートとしてレコメンドします。このテンプレートに沿うことで高いレベルの精度で要件を作成できるのです。

――そもそも依頼者が考えた要件定義が正しいとは限りませんよね。

佐藤：そうなのです。依頼者はAI開発のプロであっても、必ずしもアノテーションのプロではありません。依頼者の想像力の範囲で感覚的に要件を決めてしまうと、足りない部分も生じてしまいます。私たちは類似のアノテーション代行をたくさん経験してきているからこそ、他の案件で培ったナレッジを蓄積していて、依頼者に足りない部分をレコメンドできるのです。

もちろん、要件定義が優れていたとしても、すべての画像に対応できるとは限りませんし、アノテーション作業の途中でアノテーターが迷うこともあります。そんなときに役立つのが、「リアルタイム検品」と「チャット」の機能です。

――それは具体的にどのような機能なのでしょうか。

佐藤：アノテーションの依頼に対して、納品を待たず途中の任意のタイミングで成果品をチェックし、NGならその場で差し戻しの指示を出すことができます。

その場合のフィードバックやアノテーターとのコミュニケーションでは、当サービス上のアノテーションに特化したチャット機能を利用できます。例えば、アノテーション対象の画像上にピンを置いて、「このピンの部分はどうしますか？」のように、具体的に位置を指定してコメントできるのです。アノテーターからの発信をもとに埋もれた要件を拾いあげ、要件定義をブラッシュアップするのにも役立ちます。

――コミュニケーションを取りながらアノテーション作業ができると、手戻りが少なくすみそうですね。

佐藤：多くのアノテーション代行サービスでは、作業開始前に要件を決めたら、あとは納品まで待ち、作業内容はブラックボックスというのが一般的だと思います。そのため、いざ納品物を見たら品質にがっかりすることも少なくありません。ですが、これらの機能を利用すれば、細かい部分のすり合わせを行って軌道修正しながら作業を進められるので、やり取りの手間や手戻りの発生を抑えることができます。

アノテーションでのコミュニケーションを取りやすくする仕組みがあれば、かなり難しい判断が伴う案件にも対応しやすくなります。具体的には、コンクリート診断士にも見てもらいながらコンクリート欠陥を判別してラベル付けする、医師や病理検査士に見てもらいながら、診断画像にラベル付けする、漁師に見てもらいながら魚の種類のラベル付けをするといった特徴的な事例がありました。

専門家の協力を得なければならないラベル付けは、従来の業務代行の延長線上では難しいと思います。

――なるほど。裏返せば、従来はアノテーション作業の途中ですり合わせるようなコミュニケーションが難しかったわけですね。

佐藤：そうですね、文化的にも仕組み的にもコミュニケーションを取りづらい状況がありました。文化的には、従来の業務代行の延長線上での発注なので、一度発注したら発注内容のとおりに作業を進めるスタイルが定着していました。

仕組み的には、アノテーションのような作業では同じ画面を見ながらのコミュニケーションが欠かせませんが、依頼者と作業者がリアルタイムにやり取りするのに適切なツールがありませんでした。

ですので、この点は特徴的だと言えます。

「熟練アノテーター×AI」で高精度・短納期納品

――そのほかの特徴も教えてください。

佐藤：TASUKIの特徴の2つ目は、アノテーターの技能を担保させる仕組みがあることですね。アノテーションでは品質がとても重要なので、誰でもいいから連れてきて作業させられるわけではないと考えています。そこで私たちは、人材を教育するのはもちろん、アノテーターの技能を定量的に評価するAIを開発して、作業品質を抜き打ちでテストしています。

そして、技能が水準を満たしているアノテーターだけでチームを構成しているので、要件さえしっかりと決まっていれば、それに沿って高品質のアノテーションができるのです。

「Aさんは性格が丁寧だから大丈夫だろう」とか、「Bさんは3カ月間練習しているから大丈夫だろう」といった人間の直情的な評価に頼ってしまうと、どこかで能力に満たない人がアノテーションの業務に携わってしまうことがありますので、AIのような技術を使った機械的な評価も大切だと考えています。

――TASUKIをより良いサービスにすることにもAIが用いられているのですね。

佐藤：そうです。そして3つ目の特徴もAIを活用したもので、AI半自動による高速作業を行えることです。ソフトバンク自身もAIモデル開発を行っている知見を活かして当サービスでは、アノテーション作業そのものをAIで一部自動化しています。AIで80点ぐらいまでのアノテーションを行い、あとは人間の熟練アノテーターが最後の仕上げをして品質を引き上げます。AIと人間の協業によって、総時間をぐっと減らしつつも高品質のデータを維持できるのです。

コンピュータ科学においてはヒューマン・イン・ザ・ループ（HITL ：Human-in-the-Loop）という考え方がありますが、技術開発によってAIを高効率化したり精度を高めたりすることと、最後の仕上げを担う人間を再現性ある仕組みで育てること、この両方が大事になります。

――AIをアノテーションに用いることでどれぐらいの高速化が期待できるのでしょうか。

佐藤：例えば自動車のアノテーションでは、手作業で1枚あたり110秒かかっていたのが、AIの自動化なら2秒で終わった実績があります。もちろんAIが得意なケースと苦手なケースがあるので、苦手なケースでは人間がカバーする領域が増えます。対象によって幅はあるものの、全体としてはアノテーションの総時間を減らすことにAIが大きく貢献することは間違いありません。

しかも恩恵は高速化だけではありません。アノテーション成果品が良質になることで、その後のAIの最終成果の向上につながっていることも、お客さまへのインタビューで明らかになっています。

数百人の手書き文字収集とデータ加工では正解率が28.7％向上、小売DX向けソリューションで260,000ラベルを学習したときは正解率が20.0%向上したという事例もあります。

――3つの特徴を伺ってきましたが、TASUKIはどのぐらいの規模の案件で使えるものですか。

佐藤：小規模案件はもちろん、大規模案件においても有効です。大規模なアノテーションを必要としたとき、多くの人材を抱えていても適切なツールを持っていなければ、意見の統合がかなり難しくなります。
TASUKIのようなSaaS型のツールを使うことで、お客さまの意図が正確に、しかも場所を問わずリアルタイムに作業者全員に伝わるため、同じ認識で作業でき、品質も担保できるのです。

うんざりするアノテーションはもうやめよう

――ここまでのお話しからTASUKIはアノテーションを高精度に高速で代行してくれることがよくわかりました。コスト面での優位性はあるのでしょうか。

佐藤：AI活用や仕組み化によって、リーズナブルな価格が実現可能です。
画像アノテーションの場合、1分類につき7円～、矩形1ラベルにつき7円～となっています。また、初期費用や管理費用は不要です。

条件は様々なので、他のアノテーション代行のベンダーやクラウドソージングと単純に比較することはできませんが、実際の利用者の声からも、品質に対して高いコストパフォーマンスを発揮していることを理解していただけると思っています。

――どのような事例がありますか。

佐藤：モバイルゲームで、手書きの絵を自動認識するためのAI開発にTASUKIを利用したケースで、ご評価をいただきました。一つひとつのデータに対する作業の丁寧さに関するコメントのほかに、納品スピードも含めてお客さまの期待を上回る成果を上げることができました。

また危険運転予知のソリューション開発でも、短納期で発注が可能だったことや依頼時の応対の良さで選んでいただきました。このお客さまでは、他社とのコスト比較でもTASUKIが安価だったとおっしゃっており、最終的に品質についても「自社でアノテーションするよりも、良い結果だった」というご評価でした。

そのほかには、作業現場で特定対象の劣化を検知するAI開発でもTASUKIを採用いただきました。アノテーション結果は1枚1枚細かく確認されたとのことですが、やはりこのお客さまも内製でアノテーションするレベルと比較しても、全く遜色なく高い品質だったというコメントをいただいています。以前他社のサービスを利用した際は、検品に非常に工数がかかったと伺っています。

しっかりした仕組みによって、高品質を維持すると同時に価格も相対的に優位なのが、このTASUKIなのです。

――「安かろう悪かろう」ではないということですね。このアノテーション代行を必要とするようなAI開発は、特にどのような業界とユースケースが想定されますか。

佐藤：多様な業界で活用が期待されています。例えば医療では、胸部X線やCT、内視鏡などの医療画像や動画から病変領域を検出するためにAIが用いられ、医師の読影や診断をサポートします。そのためには高品質のアノテーションが欠かせません。また、「姿勢推定」といって、人の骨格部分をキーポイントでアノテーションし、姿勢やフォームを推定することもできます。

製造業では、製造現場のロボット制御や外観検査など、効率的な生産ラインを実現するためにAIが使われます。具体的には、製造ラインに流れる対象物の中から不良品を特定し検査効率の向上をさせたり、製造工程での異物混入検知により品質を担保したりするユースケースがあります。

小売では、画像処理技術を活用した商品検出や商品レコメンドをAIで実現する取り組みが進んでおり、そのための高品質な教師データをTASUKIで提供できると考えています。在庫管理では、商品の欠品状況をリアルタイムに判断し、自動発注や在庫管理の最適化による売上向上に貢献します。また、デジタルサイネージを使って、顧客や属性の購買履歴から来客属性に合わせて商品レコメンドをすることも可能です。

このほか、ドローンを活用した外観検査や安全管理、画像処理で物体検出を行う自動運転などにおいても、高品質な教師データが必要とされています。

――最後に、Qiita読者のみなさんにメッセージをお願いします。

佐藤：私たちは、「アノテーションをやめよう」とお伝えしています。アノテーション作業をしているエンジニアの方、アノテーションの手直しを行っている方、アノテーションの品質が悪くてAIの精度に悩んでいる方は、ぜひ一度TASUKIのご利用を通じて「アノテーションは外部に頼んでもうまくいくのだ」という体験をしていただきたいと思います。

アノテーション代行をうまく利用することでAI開発のプロジェクト運営がスムーズになるだけでなく、メンバーの残業時間を減らせたり、生まれた余裕で新しいプロジェクトを並行して進められたりする効果も期待できます。

先ほどお客さまからの声を一部ご紹介しましたが、「本当にいい」と言っていただいているので、自信を持ってご提案できるサービスです。Qiitaを見てお問い合わせいただいた方へのキャンペーンも行っているので、ぜひご相談ください。

お問い合わせはこちら

編集後記

最近では様々な企業がAI開発に取り組んでおり、AIは間違いなく今をときめく注目技術です。しかし、その裏側ではアノテーションのような地道な作業がAI開発の重要な役割を担っているものの、エンジニアの工数が多く取られています。こうした作業にAIエンジニアの時間が取られるのは企業にとっては見えづらい大きな損失であるはず。一人ひとりの生産性を高め、日本のAI開発のプレゼンスを高めるために、こうした高品質なアノテーションサービスは、ぜひもっと知られてほしいものですね。

取材／文：ノーバジェット
撮影：濱谷 幸江