背景
ちょうど最近、日々、評価指標に思いを馳せていたところに、現職の関係で著者の長田さんから今話題の「評価指標入門」の献本をいただきましたので、その時に感じた感想や気になったポイント等をまとめていきたいと思います。
献本自体は電子書籍として頂いたので、PDF形式で保存してパソコンでメモをとりながら読ませていただきました。
書籍の概要
「評価指標でXXXという最高のスコアが出た！」と喜び勇んで，機械学習モデルが出力してくる予測結果をもとにビジネスを運用したとします。 ところが，ビジネス上のKPIと相関が高い評価指標を選んでいなかったために，KPIの推移を見てみると大した変化がありませんでした。 あるいは「毎日夜遅くまで残業をして，特徴量生成とクロスバリデーションによって評価指標を改善しました！」というデータサイエンティストがいたとします。ところが，KPIの改善のためには そこまで高い評価指標の値を達成する必要ありませんでした。このようなケースでは，データサイエンティストが費やした工数がすべて水の泡となってしまいます。----------（はじめにより）----------
読んだ方が良いと思った方
【結論】データサイエンスに関わるすべての人に必見の本だと思いました！
細かいことを述べると、特にこのような人が読んだ方が良いと思いました。
- 本書で述べられるデータサイエンティストとしての考え方や立ち位置は、研究として学術的な新規性を発揮したり、Kaggleのように精度改善するという立ち位置とは違うと思います。ですので、新卒のように新たにビジネスの中でデータを分析していこうという方は、読むとよりクリアに業務のイメージが湧くと思いました。
- あらすじに書かれているようなKPIの話をすでに理解されているようなデータサイエンティストであっても、この本は評価指標の教科書としてすぐに参照したり、人に共有できるという役割もあると思いますので、一冊は手元にあった方が良いと思いました。
感想
最初はこの本をいただいた時には、評価指標が網羅的に乗っていて、サンプルコードが載っていたり、各指標の問題点や特徴が列挙されている本なのかなと思っていました。
結果として、確かにそういう教科書的な側面もあったのですが、この本の本質はむしろ具体的な評価指標に入るまでのあらすじ部分（特にビジネスとデータサイエンスを架けるもの、評価指標とKPIの章）だと思いました。具体的には、この本の良いところとしては、「KPI（Key Performance Indicators）の改善」と「モデリングでの改良」を結びつける橋として「評価指標」を位置付けているところだと思います。
書籍内では、そもそもデータサイエンティストが必要とされているのは、ビジネスの数理的な構造を理解した上で、利益を生み出すためにKPIを設定して、次にKPIに沿うような評価指標を設定して、そこからモデリングに進んでいくという手続きを設計が期待されているからだと述べています。また、このKPIと評価指標のギャップをどうやって埋めていくかというのがデータサイエンティストの腕の見せ所であり、評価指標に銀の弾丸はなく、プロジェクトによって臨機応変に設定しておく必要があるとも述べています。
確かに日々業務を行なっていて、データ分析の話はどうしても「どういうアルゴリズムを使って〜」や「こういう特徴量が良くて〜」といったように技術的な側面が強く出てしまいがちだと思います。この本を読んでいると、手段としてそのどうやって解決するかの前に、それを意味あるモデルものとするためにも、目的としてそもそも何を解決するのか？それをどうやって評価するか？というのを一回止まって考えて大枠を決定してから進めるということの重要性を実感します。「目的が先で手段が後」とそれだけを言われると、昔に研究室とかで無限に言われ続けた内容な気もしますが、日々論文や技術書を読んでいたりすると忘れてしまいがちな内容だと思いますので、改めてデータサイエンティストとしての価値を明確化していた点が印象に残りました。
本の内容的に個人的に面白かった点としては、回帰問題の事例を一つ挙げて、よくあるKPIに対して２乗誤差を評価指標に設定したときに生じる問題について論じていた節です。回帰問題の評価指標を２乗誤差を設定するというのはある意味定石だと思っていたので、実際に発生する問題点を具体例ベースで説明されており、身につまされる思いになりました。
本を読んでいて考えた点としては、精度の向上が必ずしもKPIの改善に繋がるとは限らないことを踏まえつつ、経験的に精度改善→KPI改善になるような場合もある気がしていて、その場合は実際の必要性の有無に関わらずそれなりに動いてしまうことがあるので、ビジネスの数理的な構造を理解することの重要さが浸透しにくいところもあるのかなと思いました。また、PoCのフェーズによっては個々のモデルの良し悪しよりもその前の段階として「そもそもそのタスクは最近の技術を使えばどこまでできるの？」という内容が主眼の場合もあり、そもそもモデル間の比較自体が優先度が低いようなプロジェクトもあると思いますので、この部分も実際はそのプロジェクト・フェーズによってまちまちなのかなとも思いました。
もちろん最初から最後まで一貫して必要ないとは全く思わないですが、個人的にはいきなり全てのビジネス構造を理解してから評価指標を進めるというよりも、最初は直感的な評価指標を暫定的な指標として設定して精度改善のタイミングになってきた場合に、改めて考えても遅くはない場合もあるのかなと読んでいて思いました。
いろいろ述べてきましたが、結論としては、このビジネスの数理的な構造を理解して逆算的に評価指標を設定していくことは、データサイエンティストとして働くにあたって切っても切れないプロセスになると思いました。個人的にはこの本をデータ分析に関わるさまざまな人に読んでいただき、作業者の共通理解としてこの本に書かれている内容が頭に入っていると、非常にスムーズに意見交換や方針の決定ができるように思いました。ですので、データサイエンティストはもちろんのこと、それに関わる関係部署の方々にもぜひご一読いただきたい本だな〜と読んでいてしみじみ思いました。
最後に
今回は、評価指標入門の献本をいただきありがとうございました。繰り返しますが、本書は大変身につまされる本で、データサインティストを志す人、すでに働いている人、関連部署としてデータサインティストと関わっている人、つまりデータ分析に関わるすべての人に読んでいただきたい本だと思いました。ご興味のある方はぜひ購入を検討していただければと思います。