2024年にデータ連携のCData から面白いレポートを出しています。『Data Connectivity: IT システムのミッシングリンク』というものですが、内容は、「分析用のデータ準備でどれだけエンジニアは疲弊しているの？」というものです。なんと、「41%のエンジニアさんが、1週間の業務時間の40-60%までの時間を社内のデータリクエスト対応に充てている」という結果が含まれています。この記事では、「データドリブン経営への努力の舞台裏」とも言える、このレポートの内容を紹介していきましょう。
レポートの詳細はこちらから入手可能です：『Data Connectivity: IT システムのミッシングリンク』
この記事はCData Advent Calendar 2024 の24日目の記事です。
本レポートは、従業員規模200人以上の会社の、データオペレーション（Data Ops）の意思決定者550人に対して調査を実施した結果をまとめたものです。
データ分析に必要なテック要件が大きくなりすぎてしまった
「データにアクセスするために必要なテクニカルなリソースの量に圧倒されると感じることはありますか？」に対してなんと、2/3以上の方が「負担だ」と回答しています。
こちらは別の資料からの引用ですが、データ分析に必要な技術要素は、機械学習、BI・ビジュアライゼーション、RDB、API、DWH、ストリーミング、NoSQL DB、MDM、ETL、ELT、リバースETL、Data Lake、データ管理と、より高度になっています。できることも増えているのですが、習得しなければならない知識が増えてしまい、エンジニアは圧倒されている（Feel overwhelmed）なことは想像に難くありません。
どれぐらい企業はSaaS・アプリケーションを使っているの？
なんと、26種類以上のSaaS・アプリケーションを使っている企業が全体の60%以上を占めています。17%の企業では100種類以上のSaaS・アプリケーションを使っているのことです。
特にSaaS では、「REST API なんでしょ」とは言っても、仕様は千差万別です。データモデル、プロトコル、認証、クエリ方法などそれぞれ異なるSaaS・アプリケーションへのデータを分析用に使えるようにするには恐ろしいリソースが必要になります。しかも、SaaS のAPI 仕様は良く変わる！これが、データ取得の大きな問題です。
データリクエスト対応に週の40-60%の時間を割いている！
多くのデータソース、それに対するデータドリブンな経営へのプレッシャーに対応するために、社内のIT 部門はどれだけの時間を割いているのでしょうか？
41%の回答者が週の時間の40-60％を社内の部門からのデータリクエスト（「このデータがほしい」）の対応に使っていると回答しています。より多い方もいるので、50%以上のIT エンジニアがこれ以上の時間を割いていることになります。社内のIT エンジニアの仕事は、社内アプリケーションの開発・管理や、ツール導入など多岐にわたり、データリクエストへの対応だけではもちろんありません。それを定型とアドホックなデータリクエストに割かれている状況は大変です。
それでもデータ利用部門はデータアクセスに不満
社内のエンジニアが多くの時間を割いて業務データを分析用に提供してくれているにも関わらず、データ利用部門の約半数が「必要なデータにアクセスできていない」と感じているとのことです。そして、社内の意思決定が適切なデータに基づいていないと感じています。
そのような状態が続いているためか、データ利用部門のリーダーの一部（35%）は、データにアクセスする努力をあきらめてしまっていると回答しています。
その理由は、セキュリティ、データアクセス制限、データ共有の課題、ITリソースの不足、データガバナンスの権限といった項目があげられていました。
まとめ
このように、データドリブン経営が目指される中で、データ準備をしているエンジニアたちは相当に圧倒されているということがわかります。
ということで、CData では、「データアクセス」に特化した製品を提供しています。データ分析自体ではなく、その前の多様なデータにアクセスすること、データアクセスを管理できるようにするという点で大きく課題を解決できるツールを提供しています。データをつなぐところまでは大変ですが、価値は生まれません。価値はデータで分析をしてアクションに移してはじめて生まれるものです。そこまでの負担はぜひ、ツールを活用して、価値を生むところに注力していただけることが理想と考えています。