こんな方に読んでほしい
- AI・データサイエンスに興味があり、これから関連分野に進みたい学生の方
- 今現在AI・データサイエンスと直接関係していないか、わずかに重なるぐらいの仕事をしていて、これからデータサイエンティストを目指したい方
すでにデータサイエンティストである方は当ページをスキップして頂くか、生暖かい目で見て頂けると嬉しいです。もちろん意見などありましたら是非お願いいたします！
AI×データが産業・仕事をアップデートする
ここ数年、AI・データサイエンスブーム、「もっともセクシーな職業」をうたうHarvard Business Reviewの記事や、データサイエンティストの初任給がウォール街の金融アナリストを上回るニュース等によって、データサイエンティストという職業がますます人気になり、多くの人が憧れる仕事の一つになっています。2月に発売された安宅和人さんの著書シン・ニホンにもありますが、これからの時代は「すべての産業がAI×データ化」し、これにより「さまざまな点で世の中を質的に変容させる」といわれ、その中核を担うのがデータサイエンティストとも言えます。こうした人材の不足を補うために、様々なAI教育系スタートアップができ、滋賀大学をはじめとするいくつかの大学でデータサイエンスの学部が新設されてきている状況です。
データサイエンティストは、統計・機械学習・深層学習をはじめとする高度なデータサイエンスの知識を活用しながら、ビジネスの様々な課題解決や価値創造を。機械学習エンジニアはアプリケーションやシステムにAI・データサイエンスの実装を行い、結果として、以下のような点での貢献が求められます。
- 経験や勘といった属人的な部分の代替
- 明文化できるルールに基づく知的業務を含む労働の代替
- 人間にできないような大規模で複雑なデータからパターンやインサイトの導出
企業の競争の源泉はスケールメリットではなく、いかにAI・データサイエンスを使って指数的な成長を達成できるかの方が大事といわれています。
安易にデータサイエンティストを目指すな
このような背景の中、実際にデータサイエンティストに憧れ、データサイエンティストと言われる仕事に就いている私は、あえて安易にデータサイエンティストは目指すなと注意喚起をしたいです。もちろん人それぞれの人生なのでとやかく言える立場ではないのですが、最新の状況を踏まえ、前提を理解した上でないと、当初の想定と現実が異なった結果路頭に迷いかねないリスクもあるのです。
そう考える理由は以下の三つです。
- **データサイエンティストの陳腐化（代替品の登場）：**UIベースで自動化可能なソフトウェアの台頭により、データ処理やモデル構築といった作業の大部分におけるこれまでのデータサイエンティストの価値は陳腐化する
- **プラスαとしてのデータサイエンス・AI（手段の一つでしかない）：**データサイエンス単体だと、トップレベルの研究者か開発エンジニアでない限り、コモディティ化が進み、プラスアルファとしてのデータサイエンスの方が大切
- **データサイエンス・AIバブルの終焉（過剰なブーム）：**データサイエンスブーム自体、飽和傾向にあり、次の大きな変革を引き起こせない限り、先行者利益はほぼ残されていない
これからデータサイエンティストを目指す方はこのようなトレンドを知り、データサイエンティストは希少価値が高いですとか、データサイエンス一本で食べていくといったことが今後期待しにくくなり、場合によっては失望したビジネス現場ではデータサイエンティストに対するニーズがなくなるといった可能性も考慮した上で生き残り戦略を考えていく必要があると思います。
データサイエンティストの陳腐化
技術の進歩は早い。AI×データという領域自体が人のやることの置き換えが本質的なミッションとしてあり、結果としてその領域自身が最も自身の進歩の影響を受けるのです。様々な機能のモジュールのオープンソース化と、便利なAuto MLや自動化AIのソフトウェアが開発され、従来複雑なデータベースからSQL, Sparkなどで処理し、PythonやRでモデル構築、そしてモデルを運用にのせるためのデプロイをコーディングを通して行っていたデータサイエンティスト（機械学習エンジニア）の業務の一大部分は置き換えられつつあります。
いわゆるデータ準備とモデル構築は自動化され、付加価値としていかにビジネス課題をデータサイエンスの問題に置き換え、分析設計し、分析結果に正しい解釈を与えるかの部分により比重が置かれます。こうした能力は、データサイエンスプロジェクトの実証・開発段階では非常に重宝されるが、実際に業務の導入までいくとデータサイエンティストの必要性は低くなり、むしろビジネスサイドの業務担当者が正しいドメイン・業務知識をもとに、テーマを正しく扱うために必要最低限な統計学・機械学習の知識を獲得した方がコスパがよいという考え方もありうるのです。
1,2年前までは、モデル構築の部分は自動化AIによって代替されるトレンドにある一方、データ準備はまだまだ人の手が必要とされていました。直近ではデータ準備の部分も自動化の波が進んできているのです。
例えば、私が把握しているエンタープライズ向けの自動/半自動のソフトウェアやツールだけでも複数あります。プログラミングができないユーザーが直感的なUI操作でデータ準備からモデル構築をノーコーディングでできるのです。もちろんAPIを使った完全自動化も見込め、一度自動化すればデータサイエンティストの出る幕はほぼなくなるか、社内に一人シニアレベルのAI・データサイエンスの門番となるデータサイエンティストがいれば事足りるでしょう。（必要な時だけ外注することも可能）
DataRobot
当該領域のマーケットリーダーで、UIベースでドラッグ&ドラッグだけで多種多様な機械学習アルゴリズムを試すことができ、非常に解釈もしやすい仕様になっています。何よりもツール提供だけでなく、どのようにツールを使ってビジネス価値を出すかユーザーに対して啓蒙活動をしているところが特徴的です。様々な外部ソリューションと接続が可能で、データサイエンスのプロセスを一気通貫で自動化できるポテンシャルがあります。
dotData
こちらはNECがシリコンバレーに作った子会社のdotDataのソリューション。
Driverless AI
H2Oが提供する自動化機械学習プラットフォームです。
Prediction One
こちらはソニーが昨年リリースしたUIベースの機械学習プラットフォーム、実績作りの段階で無料で使えたりするようです。
以上紹介したのは主に、構造化データを中心に機械学習をUIベースで使えるソフトウェアやプラットフォームですが、深層学習などは人の解釈を必須にしない分なおさら自動化の波は早く、人の介在する余地はほどんどなくなっていくでしょう。転移学習の技術や学習済みモデルの公開により、よっぽどカスタマイズされた新しいタスクでない限り、学習済みモデルを持ってきてfine-tuningをして、あとはいかにアプリやシステムとして実装するかの方が大事になってくるでしょう。そうなるとエンジニアの領分です。
上記のツールになく、あえて人間のデータサイエンティストでしかできないことを挙げると、予測モデルを必要としない、インサイトを出すようなデータ分析や相当に珍しいユースケースでスクラッチでアルゴリズム開発や検証が必要な場合ではまだ価値を出す余地はあるでしょう。ただそれでも時間の問題で、最終的にはビジネスの担当者が便利なツールを使って行うようになっていくでしょう。
プラスαとしてのデータサイエンス・AI
ここに関しては、あえて私が多く語らずとも下の記事を参照してほしいと思います。
- データサイエンティスト＆機械学習（人工知能）エンジニアのスキル要件と、過熱する人工知能ブームが生み出す狂騒曲と（2018年2月版：追記あり）
- 2020年版：実務の現場で求められるデータサイエンティスト・機械学習エンジニアのスキル要件
- 無闇にデータサイエンティストを雇うのをやめよう。
- データサイエンスを過度に民主化するな (2020/7/1追記)
いわゆる本物の「データサイエンティスト/機械学習エンジニア」はコンピューターサイエンスや統計学の学科やGAFAMやユニコーンITカンパニーで最新のアルゴリズムの研究開発やその実装をしている方。論文発表やメジャーなオープンソースのフレームワークやライブラリにコントリビュートしているような方々です。
ビジネス現場でのデータサイエンティストは、ビジネス課題にどうデータやAIを活用するか見定めたり、どう実装していくかといった点が期待されます。突き詰めていくと、本質的に現場で必要なのはデータアナリスト、統計分析者、コンサルタント、アプリ/システム開発エンジニアであり、あくまでプラスαとしてAI・データサイエンスが求められていることがほとんどです。
ですから、データサイエンス・AIだけではなく、何らかドメインでの目的があり、その解決手段としてデータサイエンス・AIを活用できる、システムやアプリとして開発する際にデータサイエンス・AIの機能が必要となり、実装ができるという方が正しい順序です。
トップレベルの研究者や開発者としての実力がない限り、データサイエンス・AIがなかったら何ができるかという所はシビアに考えなければなりません。アナリスト、コンサル以下、エンジニア以下のスキルにちょっと統計・機械学習の知識が加わって、ちょっとコーディングしてインポートライブラリができるレベルでは、前述の便利なソフトウェアに簡単に代替されるか、替えが効く安い労働力に成り下がってしまうでしょう。
同様にデータサイエンス学部など新設されているが、そこを目指すものはよっぽどとがったり、最先端な研究成果を出すレベルでなければリスクがあると個人的には思います。データサイエンス・AIに関連する学部は本質的には、統計学・応用数学やコンピューターサイエンスの学際的な領域であることを踏まえた最先端な取り組みをしない限り、職業訓練所的な専門学部として設置するよりは、大学の教養課程として文理関係なく教える内容としてとらえるべきだと考えます。
(2020/7/1追記)大学に限らず、高校の情報Ⅱの課程の教員向け研修などでも、下図のようにデータサイエンスにおける主要分野をカバーしており、実際に高校生に対してもデータサイエンスの基礎を学ばせる準備を進めていることが伺え、ますます当該領域は教養知識になり、専門知識としての価値は薄くなることが想定されます。
データサイエンス・AIバブルの終焉
グーグルトレンドで、「AI」、「Data Science」を検索すると、AIは2012年と2014年をピークにそれ以降平坦になっています。Data Scienceについても、直近まで増加傾向にあるものの、飽和の傾向ないし直近落ち込みを見せています。同様な傾向はキーワードを日本語にしても確かめられます。
このトレンドが全てを表している訳ではないのですが、東大生に人気の職種として、かつてメガバン、商社、コンサルが選ばれたように、データサイエンティスト自体も東大生の人気職種として選ばれてきています。このことから間接的にバブルのピークが来ているのではないかと思います。
実際に現場にいる私の肌感としても、多くの実証実験や導入の取組は、大企業、メガベンチャー、ユニコーン企業でなされ、失敗事例・成功事例が蓄積され、当該領域に関するスキルやノウハウが体系化された知識として整理されてきております。そうしたものの最たるものは書籍で紹介される事例やデータサイエンティスト協会が出しているスキル要件だったりするのです。（本音としてはそんなスーパーマンはいないし、棟梁レベルの人も本当にまんべんなく経験、スキルがあるとは思えませんが）
それでも多くの企業ではまだまだAI・データサイエンスの検討すらしていないのではないかという指摘もあると思います。それはテーマとしてやられていないというよりは、企業側のカルチャー、組織、システム、データマネジメント、コンプライアンスといった複合的な課題によって導入が遅れているにすぎず、これらの障害が解消されれば導入はおのずとなされる話です。そして、こうした障害を取り除くのもデータサイエンティストの役割だという考え方もありますが、なかなか泥臭く根性のいる仕事です。なので、経営者がトップダウンの号令で変えるってリードしない限りなかなか難しいです。
前例のない中で手探りして経験や知恵を獲得していける余地は少なくなり、先行者利益はほぼないと思ってよいでしょう。厳密には普通に世の中に転がっている課題を解決するためにAI・データサイエンスを活用するという文脈では結構やりつくされており、今後はゲームチェンジにつながるような活用方法を見出せない限りドラスティックなインパクトは得にくいと思います。これまでのAI・データサイエンス活用は、一部を除いて多くは経験と勘の代替、人の代替がメインであり、それが生かされるビジネスモデル・システム自体に変化をもたらすものでないことが多いというのが印象です。極論AIによって労働力不足が解消され、人はより豊かな生活を享受できるといった文脈も、本質的には古代ローマの市民と奴隷の関係における奴隷をAIが司る機械が代替しており、根本的なシステムは変わっていないとも言えます。
代わりにシステム自体、ビジネスモデル自体やルールそのものを変えるようにAI・データサイエンスを活用する方向はまだまだ可能性を秘めていると思います。（GoogleやAmazonはAI・データサイエンスの力に情報やモノの非対称性をなくし、従来の情報とモノの流れのシステムを破壊し新たに創造したとも言えます）一方、下表でいう「攻めのAI・データサイエンス」の領域はデータサイエンス・エンジニアリング・ビジネスといったデータサイエンティストのスキルのみならず、安宅さんの言葉を借りるなら「異人」的なデザイン&アートの素養が求められます。
| 守りのAI・データサイエンス (やりつくされつつある) |
攻めのAI・データサイエンス (まだ可能性がある) |
|---|---|
| - 経験と勘の代替 - ルール・パターンに基づく自動化 ⇒システムや構造自体は変わらず効率化されるだけ |
- 全く新しい価値の創造 - AI・データサイエンスによって既存のルールが無意味になる ⇒システム・構造そのものを変え大きなインパクトをもたらす |
AI・データサイエンス以外に地に足就いた力があり、プラスαとして必要である人、AI・データサイエンスを使ってゲームチェンジを世の中に仕掛け、システムを変える意気込みのある人でない限りコモディティ化されたデータサイエンティストになり、最終的にデータサイエンス教育業者、知識・ノウハウを売る事業者・先行利益者やデータサイエンティストを斡旋する転職エージェントが儲ける構造のカモになってしまうでしょう。（もしくは圧倒的に遅れた企業で無双するか）
これはこれで、いいという考えももちろんあり、データサイエンティストも大勢ある職業のone of themとして出てきただけに過ぎないのですが、冒頭で出た「もっともセクシーな職業」で「高給な」職業を期待している人にとっては期待外れでしょう。
どのように生き残るか
ここまで見てきたように、単に流行っている、かっこいいだけでデータサイエンティストを目指すには要注意であることがわかるかと思います。それでもやりがいのあるデータサイエンティストを目指したい方に対しては以下のような考え方を共有したいと思います。あくまで考え方の一つですが、参考になればと思います。
軸足を決めつつ、努力を怠らずにアンテナを張る
トップレベルのコンピューターサイエンスの学科を卒業し、GAFAM等に行ける自信がある方はこの記事の対象外で、どんどん世の中を良くすべく邁進してください。
それ以外のビジネス現場でデータサイエンティストを目指したい方は、下記のような観点で自分なりに軸を定め、プラスαとしてのAI・データサイエンスを身に着けるスタンスで考えるのがよいと思います。万一最善な解決策がAI・データサイエンスでなくて大丈夫、あなたはそれ以外の解決方法を知っていますから。
- データアナリスト（コンサル）のように、データ分析を通して意思決定につながる示唆を出したいのか
- コンサルタントのようにビジネス課題を解決すべく、最先端の技術を解決法の一つとしてAI・データサイエンスを活用し、ビジネス実装するためのアプローチや導入のための要件定義をしたいのか
- 開発エンジニアのように、システムやアプリを作り、そこにAI・データサイエンスの機能を実装したいのか
上記のように軸足を据えた状態でAI・データサイエンスの分野の中で得意領域を作っていく必要があるでしょう。また、新しい領域も食わず嫌いせずアンテナを張って、実際に手を動かしてアウトプットしていくことも大切でしょう。そうしないといつ技術進歩の波が自分の仕事を奪うか、自分のスキルの陳腐化が訪れるか敏感に察知できないでしょう。そして、AI・データサイエンスの最先端の情報は基本的に英語ベースになっているので、英語力も高めていく必要はあるでしょう。
どんな環境を目指すべきか
データアナリスト型のデータサイエンティストはむしろデータサイエンティストではなく、AI・データサイエンスのユーザー企業のビジネス担当者（マーケティング、営業、与信、製造等々）としてのスキルや知見を深める方に注力した方がよいでしょう。そこに統計学・機械学習の知識が加わり、前述の便利なソフトウェアを活用して本来アナリストとして出すべき価値を出しましょう。そうすれば、AI・データサイエンスの検証・導入プロジェクトが終わってもあなたのやるべきことは沢山あります。
コンサルタント型は、データアナリストと重なる部分もあります。様々なテーマに対してデータ分析してインサイトを出して専門的なプロフェッショナルになりたい場合は、AI・データサイエンス自身に核心的な競争力のソフトウェア・ツール開発事業者での機会を検討した方がよいでしょう。このような企業は何よりも便利なソフトウェアとソリューションを製品に持つ強みがあり、それらの製品をお客に導入する際に検証したり、初期の設計をするときにデータサイエンティストが必要です。（もちろん肝心なツールがいまいちだと苦しいです）そして導入が終わっても、あなたは別の案件やお客様の仕事をすればよいのです。
そういった意味ではデータ分析自体を強みとする分析ベンダーの成長は今後鈍化していくと思います。なぜなら、分析ノウハウに関する情報の非対称性がなくなり、ユーザー側でも学ぶことはできるようになってきているからです。また、ソフトウェアベンダーはツールとセットでお客様にナレッジを伝えツールを使ってもらいます。業務委託や人的リソースの不足を補う面でニーズはあるものの、スケールのしにくい人工ビジネスであることには変わりありません。代わり経営コンサルとセットになるデータサイエンティストならば、人工ビジネスである代わりに単価が高いです。その代わり本質的にコンサルタントである必要があり、経営課題解決のために、AI・データサイエンス以外の手法も知らなければなりません。
エンジニアとしての色が強いデータサイエンティスト（むしろ機械学習エンジニア）になりたい場合は、やはりAI・データサイエンスの製品を作る事業者や、GAFAM・メガITベンチャー、ITユニコーン企業のようなAI・データサイエンス自体コアな競争力である環境での機会を見つけましょう。ユーザーサイドの事業会社を目指す場合、AI・データサイエンスはプラスαであり、基本エンジニアになることを覚悟した方がいいでしょうか。便利なソフトウェアやツールが出てくる分、社内導入のサポート・カスタマイズやツールにない機能の開発が主な仕事になるでしょう。もちろん技術関連の事業会社の研究開発をすることも可能ですが、勝負どころを見定めGAFAMに負けない戦略のもとに開発をすることが求められます。
最後に
長くなりましたが、AI・データサイエンスに触れ始めて4~5年経って、ベンダー側の立ち場、ベンダーを使う側の立場双方を経験し、社内外のデータサイエンティストのコミュニティの活動への参加経験、そして多くの先人方が共有してくれたコンテンツ等を通して、私なりに感じたことをまとめてみました。もちろん私個人まだまだ未熟ですので、認識の違いや抜け落ちている視点、悲観的に捉えすぎている点はあると思いますが、ご了承頂ければ幸いです。何にも通ずることですが、流行やBuzz wordに流されずにしっかりと自分の強み・立ち位置を生かしたキャリア戦略を考えていくことが非常に大切です。