More than 5 years have passed since last update.

機械学習案件を納品するのは、そんなに簡単な話じゃないから気をつけて

Last updated at 2017-11-22Posted at 2017-11-21

はじめに

昨日のTwitterで書いたこちらが非常に反響を呼びました。

半年間かけたデータ解析の仕事が全くうまくいかなかった
今回の失敗は契約書に納品物を明記していなかったこと
機械学習の依頼は学習済みモデルのファイルを納品しただけでは、先方は検収できず、結果支払いを受けられない
この教訓をひとりでも多くの人に知ってもらいたい
— キカガク代表吉崎亮介 (@yoshizaki_kkgk) 2017年11月20日

そうなんですよね。
全く先方が悪いわけでもなく、私自身が「機械学習のお仕事＝解析」だと思いこんでいたことが失敗の始まり。

結局のところ、機械学習系のプロダクトを依頼されて、学習済みモデルを作成して即納品とはいかず、検証結果を示されないと検収できないよとなってしまうので、結局アプリケーション側まで組み込まないと納得感はないんですよね。
この検証とは、訓練データと検証データを分けた時の、検証データに対する結果ではありませんよ？

実運用フェーズに載せた時にちゃんと動作するかといった検証なのです。

根本的な誤解

私自身、機械学習のプロダクトを開発して運用するまでの流れを以下のように考えていました。

これまでの私は「機械学習と一口にいっても、その多くの仕事がデータ整理やデータの前処理に費やされており、機械学習だけを勉強しても実務に入ることができるエンジニアにはなれませんよ」とお伝えしていました。
もちろん、今でもその言葉に間違いはないと確信しています。

しかし！

それだけではないのです。
データ整理をするためにSQLがかけて、データの前処理をするためにPythonを書けて、データ解析をするために難解な数学とライブラリを駆使できても、結局だめなのです。

ビジネス上の納品とは最終的なゴールに達さない限り、８０点で良いものではありません。
１００点以外納品はありえません。
９９点でもだめです。
お客様とすり合わせを行った仕様を１００％満たす製品を作って納品しないとだめなのです。

そう考えると、「人工知能（AI）・機械学習を使って何かしたい！」思っているお客様と協業していくためには、どのようなシチュエーションに遭遇するかをイメージしながら、ゴールを考えながら作っていかないと行けません。

お客様との商談シミュレーション

先方「AIを使って○○したいんだけど、この仕事お願いできない？」

※この段階で気をつけないといけないことが、この仕事の範囲を明確にしてからスタートしないと、ビジネス上の１００点を取ることがかなり厳しくなるということです。

私「わかりました。では、目安として精度が○○%くらいといった目標はございますか？」

先方「○○％くらいは望ましいね〜。このぐらいいける？」

私「正直なところ、データを解析してみないとわかりませんね。。。」

先方「それはそうだと思うけど、肌感でどう？」

私「そのぐらいの精度であればであれば、達成できるような気がしますね。見極めのためにも、PoC（この業界の人がよく使う言葉で仮説検証のこと、Proof of Concept）を回してみませんか。」

先方「OK。いくらぐらいかかるの？」

ここで、ストップです。
「肌感でどう？」と私もよく聞く質問ではあるのですが、データ解析は実装して検証してみるまで、正直なんとも言えません。
とは言え、その分野での解析に関する経験があれば、基準値が○○％とすぐに答えられるかもしれません。
しかし、一旦言ってしまうと相手の期待値がそこまで上がってしまい、その期待値をなかなか下げることができないため、経験上それも言わないほうが良い気がしています（とは言え、未知のものに投資できないので、言わざるを得ないのですが、、、）。

そして、ここからが見積りの値段決めに入ります。

よくありがちな失敗としては、日頃解析業務を趣味等で行っており、ライブラリの使い方を把握されている方であれば、解析のテンプレートができているため、機械学習の実装に関しては１〜３日ほどあれば、実装完了して検証まで行えると思います。

しかし、お客様から受ける案件に関しては、データを解析するまでの道のりが非常に長いことを忘れないようにしましょう。

その道程すべてを加味して、工程を分解し、そうしてようやく見積りを出すことができるため、絶対にその場で、
「じゃあ３日間ぐらいでできるので○○万円でどうでしょう？」
とは言わないように気をつけましょう。

例え話. 情報収集先がWebサイトの場合

依頼のはじまり

例えば、データの収集先（Webサイト）を指定されて、ここのデータを使って解析してほしいと言われた場合、
「あ、Webスクレイピングを最近勉強しているので、いけますよ！」
と答えてしまいますが、本当にそれで良いのでしょうか？

このお仕事の工程を分解していきましょう。

工程	時間	補足
Webスクレイピング	○○日	○○から○○の情報を取得
データ前処理1	○○日
データ解析	○○日	まず大雑把に解析
データ前処理2+解析	○○日	重要な特徴量探しと外部要因の検討

と少し慣れている人だとこんな感じで考えるのではないでしょうか。
ちゃんと前処理の日程も確保しつつ、解析をした後にさらに前処理の手戻りが発生することも考慮できているため、割と手堅い計画になっていると思います。

私「では、このような日程で計画を立てたので、合計○○日で○○円でいかがでしょうか。」

先方「（おっ、結構高いな。AIエンジニアが高いとは聞いていたけれど、これほどまでとは。でも仕方ない。）わかりました。この金額で進めましょう。」

では、このまま解析を行ってうまくいったとしましょう。

私「先日依頼されておりました解析の結果がでました。まだPoC段階ですので、カリカリのチューニングとまでは手が及んでいませんが、訓練データに対して○○％の結果、検証データに対して○○％くらいの精度が出ましたね。基準としていたラインまでは達成できそうですね。」

先方「良いですね。この感じだと運用しながらさらにデータが集まっていくので、精度も上がっていき、かなり期待できますね。」

となり、これで検収完了！支払いへGo!といけば良いのですが、そうはいきません。

みなさんも依頼側の立場に立って考えてもらうと分かるのですが、
「これってアウトプットが報告書なので、信用はしているのですが、嘘か本当かがわかりません。」
と思いますよね？

そりゃそうです。

そうなるとどうなるかというと、ちゃんと動作するまで、数日〜数ヶ月程度運用してみて、その様子を見たいという話になります。

何回も言いますが、そりゃそうです。

大変な未来が見えてきた

そうなると実運用していくためには、毎日情報を自動的に収集して、予測値を計算して、その結果を報告出来るような仕組みを作らないといけません。
これってオフラインで解析していたときとは全く異なるスキルで、Webによるシステム自動化の知識が必須になってきます。
スキルセットとしては、以下のようなものがあります。