現状を見てみましょう - 生成AIは2024年も主役であり続けるでしょうか。フォレスター社との委託研究では、2023年11月に北米の大企業のAI意思決定者220人を対象に調査を実施し、そのうちの実に83％がすでにこのテクノロジーを検討または実験中であることを明らかにしました。
しかし、AIの成功は、生成AIだけでなく、効果的なデータと分析プロセスに関する包括的な組織の理解にかかっています。このことを念頭に置いて、2024年の生成AIの成功に不可欠な4つの基本要素を紹介します。
→ 今すぐ読む Databricks、Deloitte、NVIDIAによる生成AIの展望
#1：ドメイン・エキスパートに力を与える
マッキンゼー・グローバル・インスティテュート（McKinsey Global Institute）は、最近の研究「State of AI（AIの現状）」の中で、16のビジネス機能にまたがる63の生成AIのユースケースを特定し、業界全体に適用した場合、年間2.6兆～4.4兆ドルの経済的利益をもたらす可能性があるとしています。
しかし、アクセシビリティの共有なくしてこの価値を引き出すことは不可能です。データに精通したドメインの専門家は、専門的な知識を持ち、ビジネスのユースケースに最前線で関与しているため、最大の価値を生み出す鍵を握っています。
データとAIの民主化には、いくつかの意味があり、第一に、組織は、データに精通したドメイン・エキスパートがデータ製品の提供に貢献できるよう、思慮深いサポートを提供できるようにする必要があります。
つまり、信頼できるデータとセルフサービスによるデータクレンジング機能を、すべて使いやすい環境の中で提供することです。また、古典的な予測AI手法から得られる洞察であれ、革新的な生成AI手法から得られる洞察であれ、ドメイン・エキスパートがその専門知識を容易にデータ製品として作成、強化、普及できるようにすることも意味します。
しかし、AIの民主化とは、生成AIアプリケーションを、たとえ彼ら自身がユースケースを構築していなくても、彼らの手に、そしてすべてのビジネスユーザーの手に、安全に渡すことも意味します。例えば、LG Chemは、従業員が安全規制やガイドラインの検索に多くの時間を費やしていることに気づき、Generative AIとDataikuの助けを借りて、従業員が迅速かつ正確に情報を検索できるAIサービスを提供しました。
#2：データエキスパートがより速く動けるようにする
データ・サイエンティストは、機械学習（ML）モデルの開発と高度なポイント・ツールやシステムの管理を同時に行うという二重の複雑さに悩まされることが多いです。生成AIの台頭はこの課題に拍車をかけ、ビジネス全体からモデルを開発、展開、監視する負担をさらに大きくしています。
データ・サイエンティストは、MLと生成AIの両方のアプリケーションを構築する能力を加速させ、絶えずツールを切り替えたり、サポートが不十分な統合を行ったりする必要性を排除する、堅牢な環境を手に入れるべきです。生成AIのイノベーションのペースを考慮すると、IT部門によって確立されたセキュリティとコンプライアンスの枠組みを遵守しながら、監視、オーケストレーション、実装を簡素化する必要がある。モデルの複雑さが増し、高度なAIのユースケースが拡大する中で、この機能はますます不可欠になっています。
Dataikuは、LLM Meshによる大規模言語モデル（LLM）のオーケストレーションの強化、Prompt Studiosによる最適化されたファインチューニングと構造化されたプロンプトの最適化、これらすべてを使い慣れたワークスペースで実現することで、Generative AI時代のデータサイエンティストを明確に支援します。
もちろん、Generative AIユースケースのオーケストレーションだけではない。データサイエンティストやプログラミング愛好家は、DataikuのGenerative AIを活用したアクセラレーション機能によって、日々の作業をより速く進めることができます。例えば
- Pythonスクリプトを作成しながら、AIコードアシスタントを使用して、迅速に関数を説明したり、コードを生成することができます。
- AI Explainは、ワンクリックで技術者、専門家、経営者向けのコードレシピやワークフローの説明を生成し、膨大なドキュメントを排除して標準化を促進します。標準化はコード環境にも適用され、データサイエンティストが共同作業者と同じパッケージ依存関係で作業できるようにします。これにより、一貫したプロジェクト標準を維持しながら、コードの健全性と堅牢性を保つことができます。
> Generative AI Platform Capabilities AI Explainの動画
#3：AIの成長を組織化する
急速に成長するジェネレーティブAIの分野では、1つのLLMのみに投資することは現実的な選択肢ではありません。単一のLLMシステムですべてのニーズに対応できるわけではなく、ベンダーロックインの影響により、長期的にはリスクが高くなります。
そこで登場するのが LLMメッシュ。2023年、私たちはこの差別化されたソリューションを発表し、ユーザーが協調的なアプローチでLLMをオーケストレーションし、ベンチマークすることを可能にしました。2024年、LLM MeshはDataikuのオーケストレーション戦略の強力なブロックであり続けます。
DataikuのLLM Meshは、大規模言語モデル（LLM）のためのシームレスなコミュニケーション、リソースの共有、コラボレーションを促進する、よく設計されたブリッジです。このように、Dataikuは現在、LLMに他の種のAIと同じような堅牢なデータサービスを提供しています。[Gen AIの採用を検討している組織は、Dataikuの機能を調査するのが賢明だろう。
- ロビン・ブロアー、"Dataikuは生成AIの可能性を引き出す鍵となるか？"
DataikuのLLM Meshは、統一されたアプローチを促進するだけでなく、コスト管理とパフォーマンス最適化のための不可欠なツールとしても機能します。LLM Meshは、さまざまなLLMに対するクエリごとのコストを詳細に監視し、アプリケーションやサービスごとにこれらのコストを集計することで、チームが支出を正確に予測し、サービスの利用に関して適切な判断を下すことを可能にします。
LLM Meshはまた、頻繁に発生するクエリに対するレスポンスをキャッシュすることで運用効率を高め、レスポンスを繰り返し生成する必要性をなくすことで、コスト削減とパフォーマンス向上の両方を実現します。さらに、LLM Meshは包括的で完全に監査可能なログを維持し、各LLMとサービスの特定目的での使用状況を詳細に記録します。これにより、コストの追跡と社内への再請求が容易になるだけでなく、時として予測不可能なモデルに対するリクエストとレスポンスの完全なトレーサビリティが確保され、効率的で透明性の高いAIプロジェクト管理における極めて重要な役割が明確になる。
#4：規模を拡大しながら信頼と透明性を確立する
BCG Xの最新の調査によると、シニアリーダーの52％が積極的に生成AIの使用を控えていることが明らかになった。その理由は、データの出所、透明性、生成AIが使用するデータのプライバシーなど、懐疑的なものばかりが挙げられます。
このような感情を（安全に）一掃し、AIの導入で遅れを取らないためには、透明性が高く管理されたシステムを構築することが、2024年にはこれまで以上に重要になる。しかし、多数のプロジェクト、特定のモデル、さまざまなLLMが存在するため、信頼は一筋縄ではいかない。
LLMメッシュはその答えの一部であるが、データ、アナリティクス、ML、生成AIのいずれにおいても、信頼を浸透させるには、組織全体、すべての利害関係者、すべてのシステムにおいて、可視性、透明性、監査可能性が必要になります。
2024年に差し迫った規制の変更（EUのAI法を含む）を前に、Dataiku Governは、生成AI関連またはそれ以外の複数のデータイニシアチブの進捗を追跡し、責任と透明性のあるAIを提供するために適切なワークフローとプロセスが整っていることを確認するための単一の場所です。
Google Vertex、Azure ML、Sagemakerなどのサードパーティ環境でモデルを開発している場合、統一された運用環境の必要性はさらに高まります。2023年、Dataikuは、サードパーティのシステムで開始し、同じ環境内で運用する機能を開拓しました。これらの機能は、2024年には統一されたモニタリング・アプローチによって拡張され、どのプラットフォームからでも展開されたすべてのモデルを追跡できるようになります。
信頼とAIを構築するソリューションとしてDataikuをチェックするもう一つの理由が必要であれば、IDCは2023年11月、AIガバナンスのMarketScapeで当社をリーダーに認定し、AIを加速するだけでなく、その運用と結果に対する信頼を確保するという当社のコミットメントを確認しました。
業界専門家による生成AIの展望
このEBOOKでは、生成AIについて、当社の信頼できるパートナーであるDatabricks、Deloitte、およびNVIDIAが、このテクノロジーを使って研究室から企業へと移行する方法について、独自の見解を示しています。