データサイエンス系キャリアの振り返りと未来を考えた。

久々の投稿です。
データラーニングギルドのアドベントカレンダー参加は、4年ぶりです。

自己紹介

最近は、データエンジニアとしてビッグデータの管理、運営や分析のPMも行っている増田です。
データサイエンス系の仕事はかれこれ9年ほどになります。

前回のアドベントカレンダーは、 2019年12月10日なので、4年前になります。
その時の記事の内容が、データサイエンスチームとデータアーキテクトのキャリア

この4年間のふりかえりを行いつつ、今後のキャリアと未来について考えていきたいと思います。

前回の内容を3行でまとめると、（4年前）

• 1人ではなくチームで成果を出すデータサイエンスチームへ
• ポジションを明確に分けてどのロールで生きていく道を探る
• データアーキテクト専任者が出てくる

でした。

ざっくりいうとこの4年間はこの予想が的中したと思っています。
直近では、データサイエンスチームとデータエンジニアチームといった分析する側のチームとデータを管理する側のチームに分ける体制の会社が増えてきてきた実感があります。

私としては、この4年間はデータエンジニアを主軸として、仕事をしてきました。
合わせてキャリアアップとして、コロナ禍の2年間は大学院に通いプロジェクト・マネジメントを主に学びました。

大学院に行ったキャリアとしては、体系的に学び直しをしつつ、キャリアの浅かった私は、同業での他の会社に働いている人と交流し、次のキャリアステップを考えるでしたが、見事にコロナに直撃し、ほぼ2年間オンラインの授業のみで過ごすことになりました。

人的交流に関しては、なかなか取りづらい部分がありましたが、通学の負荷が消えて思ったよりも仕事量を落とさずに、大学院にいくことができました。

逆に言えば、この4年間で業界を取り巻く様々な変化があり、それに伴い業界の未来にも大きく変化をもたらしたと思います。

大きな影響としては、

• リモートワーク
• DX化
• 生成AI

の3つがデータサイエンスの世界でも大きな影響を与えた思います。
それに加えて技術的なトレンドを見据えつつ、キャリアの振り返りと未来を考えたいと思います。

リモートワークがもたらすデータサイエンス業務への影響

リモートワークとしての影響は、おそらくエンジニア自身の働き方に関しては、
他の業種ほど大きな影響は与えなかったと思います。
分析業務においてはサーバ環境などはオンライン化されており、リモートワークでも分析に関しては、
何ら問題なくできたと思いますが、人材の流動に関しては大きな影響を与えたのではないかと思います。

特にジュニア層にとってみれば、細かく短い質問がしにくいオンラインでは、
先輩から技術的な支援を受けるのが難しく、育成しにくい環境にあったと思います。
逆に言い方をすれば、組織として育成することが難しい時期でした。
現在は、オンボーディングの方法やGatherなどのツールが登場しその部分を補うようなツールも発達しましたが、はやりこの期間でのジュニア層の育成は他の時期とは異なる状態であったと思います。

逆に2023年にはオフィス回帰が起こり、以前のようにジュニア層を中心にオフィスでの育成をするという流れに回帰しており、このコロナ禍におけるジュニア層の育成は業界全体としての影響だったと思います。
他の時期よりもミドル層が育っていない印象を受け、データサイエンスでも人材の2極化が進んだ気がします。

DX化

2021年～2022年のトレンドキーワードとして、DXが流行りました。
企業が、IT化ではなく、本格的にデジタルを導入して業務の質的変革の取り込むという流れがブームになりました。
このDXブームにはデータサイエンスの要素も多く（データの活用やBIツールの活用）など従事した人も多かったと思います。

私も、短い期間ですが、
PowerBIを始めとする、PowerPlatform(https://powerplatform.microsoft.com/ja-jp/)のツールを使いながら
DXツールを作るというプロジェクトに参加しましたが、
結局主な処理はデータの整備であり、このようにDXに取り組んだ企業もデータ基盤の重要性に気づいたのではないかと思っています。

しかしながら、この取り組みはおそらく市場としてはまだまだ未成熟で、DXブームは一過性のものではないかと思っています。
（理由はまたの機会に細かく書きます。）

ただ、ここで起こった現状としては、企業がSIerに依頼するのではなく、内部で人材を採用するという流れが再び登場したのは大きいのではないかと思います。

合わせて、データ活用には大きく注目が集まりました。
DXをチャレンジした企業の中でもデータの重要性に気づき、データ基盤の関する案件はDXの文脈でも重要度が増しましたように思えます。

結局のところ、データサイエンスをするにしても、DXをするにしても、正しいデータを利用しないと正しい分析や改善ができないということは一致しています。

このような柔軟性のあるシステムを共通基盤としてDXに用いれば、データとデジタル技術の活用がこれまで以上に容易になります。また、市場の変化に適応するための戦略をタイムリーに実行に移し、競争力を維持しやすくなります。

つまり、この時点で今までは、データサイエンスのためのデータ基盤に加えて、
DXのためのデータ基盤のニーズも増えたのではないかと思います。

同時に、今まではベンダーに依存していたIT人材を非IT企業が直接雇用するという流れも出てきています。
（ニトリとビックカメラの例）

https://xtech.nikkei.com/atcl/nxt/column/18/02286/011900008/
https://xtech.nikkei.com/atcl/nxt/column/18/00001/07166/

これは何を求められているのかというとより現場に近くより業務を理解するような人材を求めているということになります。

経産省が出したデジタル標準スキルも一部非常に

これは、別のエンジニアコミュニティー（500名弱が在籍するグループ）の有志のメンバーでそれぞれのロール経験者が集まり、中身を精査しつつディスカッションをしました。

結果としては現場からはかなりのズレが大きく、エンジニア視点では、これでDXが推進できるものではないという意見が多数でした。

しかしながら、一般の世界で見るとこちらのデジタルスキル標準に合わせた教育ツールやアセスメントツールはかなりの人気があり、多くの企業が取り入れを行っています。

つまりはまだまだIT人材側と非IT人材側の意識の違いが大きく、橋渡しをする人材が必要になるのでは無いかと思いました。

生成AI

ここ1年の主たる話題は、ChatGPTを中心とする生成AIの登場です。
これに関しては、機能以上に話題が選出されているイメージが強く、実際の活用はこれからとなりますが、データサイエンス及びITエンジニアにとっても革新的なツールとなります。

ChatGPTだけでなく、Github CopilotやCursorといったコーディングをアシストしてくれるツールが登場しました。
これは、IT開発における大きな変化点でもあると思っています。
特に日本のITの業界におけるウォーターフォール開発の脱却に大きな影響を与えると考えています。

端的に言うとPGレベルの人材がほぼいらなくなるという世界になります。
データ分析案件でいうと要求分析（どんな分析をやりたいのか？）、要件定義（どの分析でアプローチをするのか？）を決めてしまえば、自分で実装した方が早いという体感を持っている人は多いのではないかと思います。

データ基盤においては、大量のクエリを書くことが多いので詳細設計移行も残りますが、最近は各種ツールの発達により効率的なコーディングができるため、基本設計ぐらいまでできると自分で書いてしまった方が早いという印象があります。

画像参照元　https://webrage.jp/techblog/v_shaped_mode/

これはデータサイエンスにかかわらず、直近の私の仕事の仕方ですが、細かいプログラムなどを作る場合は、要件をまとめた元のそのままChatGPTに質問させてサンプルコードを作り、そのコードを元に実装する形を取ります。

このやり方自体は私だけでなく、フロントエンジニアの方でも取り組んでいる方も多く、デザインが上がった時点でChatGPTを使いながらコーディングすることでかなり生産性が上がり、他社のジュニアメンバーに仕事をふる必要がなくなったと言っています。

今後データサイエンス系キャリアはどのようになるのか？

大まかには何も変わらない。

です。

サブ的な要素としては、

やっとデータ活用や基礎分析の民主化が進む。
AI活用ニーズが増え、データ基盤ニーズは高まるです。

今までいろいろな人が提案してきた現場でのデータ活用が、ChatGPTをはじめとする対話型AIツールのおかげで多くの人が分析を始めるようになります。

おそらく、来年ぐらいには「来年の売上の予想を教えて」というと、AIがARIMAのモデルを作り売上予測モデルを生成し、グラフ化して更には解説もしてくれます。

（ただし、正しいデータを入れさえすればです。）

いままで、いろいろなBIツールやEXCELの活用方法が提唱しましたがすべてが変わります。
対話型AIのおかげで現場の導入コスト、ツール教育コストが劇的に変わり、分析風潮が増えます。

そしてユーザーが増えるとAI活用が増えます。そうするとどんどんデータを投入して様々な生成AIをはじめとしたアプリケーションが開発されるようになります。

そうすると、また管理するデータが増え、データ基盤の需要は増えると思います。

ただし、ここで大きな落とし穴が存在します。

生産性が上がれば上がるほど、若手の教育チャンスがなくなります。

今までのちょっとした分析やデータ基盤の作業などがどんどんAIに取られていきます。
また、より要件定義ができるビジネスよりの人材がデータ分析のタスクを行ったり、
他のエンジニアの方が様々なツールを使いながらデータ基盤のタスクを行えるようになります。

おそらく、これからも様々なデータサイエンスツールが登場してきますので、それを使いこなし、分析や基盤構築する人が増えるでしょう。

おそらく、すでにデータサイエンティスト、アナリスト、アーキテクトなどの仕事を3年以上やっている人に関しては、全く問題なくこれからも仕事は増えると思いますが、おそらくこれから始める人には厳しい世界になると思います。

こちらに関しての解は今のところ見つかっていないので来年の業界の中でのテーマではないかと思っています。

長くなりましたがおそらくあと2～5年ぐらいは未来は明るい世界だと思いますので、しばらくはこの世界でお仕事させてもらおうと思います。

それではまた～。