The short guide to understanding data intelligence | Databricks Blogの翻訳です。
本書は著者が手動で翻訳したものであり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
職場環境においては、「データガバナンス」、「生成AI」、「大規模言語モデル」ような用語が一般的になってきています。
しかし、ビジネスリーダーはそれらを単に会話やプレゼンテーションに散りばめるだけでは不十分です。彼らは、それらのトレンド、テクニック、技術が実際に何を意味するのか、自身の組織の未来においてどのような役割を担うのかを理解しなくてはなりません。
助けとなるように、データインテリジェンスのキーとなるいくつかのコンポーネントを定義し、リーダーたちのために、最終的には次世代のオペレーションをサポートすることになるこのようなバズワードを理解することがなぜ重要なのかを説明したいと思います。
データインテリジェンス: これは、情報以上のことを意味します。データインテリジェンスでは、プロプライエタリなデータから正確かつ適切でユニークな洞察を抽出するためにAIを活用します。これによって、企業が市場での競争優位性を作り出し、新たな収益のストリームを特定したり、従業員がより生産的になったり、オペレーションをより効率的なものにできるようになります。
データサイロ: データインテリジェンスをサポートするために必要な情報は、多くの場合、企業のさまざまなアプリケーションやシステムに囚われています。統合された一連のアセットアクセスできない場合、企業はより限定的で、場合によっては不正確でミスリードな情報に基づいて重要な意思決定を行わなくてはなりません。そして、データの統治や保護のような重要なタスクは困難で高コストなものになります。
データレイクハウス: 広く導入されているオープンソースプロジェクトのApache Spark、Delta Lake、MLflowによって実証されたデータレイクハウスは企業データの新たなホームとなっています。クローズなエコシステムやプロプライエタリなフォーマットから解放されることで、このアーキテクチャはデータサイロを排除し、最終的にはデータインテリジェンスワークロードの起点として動作する構造化、非構造化アセットを対象とした統合情報ストアを構築できるようになります。
データインテリジェンスプラットフォーム: DIプラットフォームは、企業向けの新たなオペレーティングエンジンを作成するために、レイクハウスアーキテクチャとAIを組み合わせます。単一のシステムで、取り込みから分析やAIワークロードの開発、デプロイメントに至るインテグレーションによって、データライフサイクル全体に対応し、開発者からデリバリー、継続的改善、ビジネス価値をドライブするダイナミックなデジタルソリューションにおける統合ガバナンスやコラボレーションの強化を提供します。
データガバナンス: データは制御され、追跡される必要があります。企業は認証されたユーザーによって資産が適切に活用されるようにしなくてはなりません。内部のチームは、アプリケーションのパフォーマンスに影響を与える可能性のあるデータ品質の問題をクイックに発見できる必要があります。しかし、IT環境のサイロ化された状況によって、データガバナンスに対する多数のさまざまなアプローチが必要となるケースが数多く存在します。DatabricksのUnity Catalogを用いることで、単一のフレームワークでガバナンスが管理され、企業にすべてのエコシステムに対する一貫性がありユニークなポリシーを設定できる能力と、ライフサイクルを通じてアセットを追跡できる能力を提供します。
自然言語処理(Natural Language Processing:NLP): 生成AIの基盤であるNLPによって、ユーザーはWebブラウザで検索するのと同じ方法でデータに質問することができます。レポートを作成するためにエンジニアやアナリストのチームにお願いするのではなく、例えばCEOによる「来年の売り上げはどのようになるのか？」といったプロンプトで、必要なビジネスインテリジェンスを生成できるようになります。
データの民主化: 自然言語のプロンプトでデータアセットにクエリーすることで、非技術者のユーザーが独立してインテリジェンスを生成でき、より良い、より情報に基づいた意思決定を生み出す助けとなります。このデータをアクセス、活用できるユーザーベースを安全に拡大するためには、堅牢なガバナンスが必要となります。しかし、最終的には民主化によって、企業が自分たちのデータから獲得できる価値を最大化することができます。
データインテリジェンスの完全なイントロダクションに関しては、Data Intelligence for Dummiesをチェックするか、企業が自分たちのデータインテリジェンスジャーニーのどこにいるのかに関して学ぶための最新のState of Data + AIレポートをチェックしてください。