Dataikuでは、生成AIの変革力を活用して、データ専門家とドメイン専門家がデータを扱う方法に革命を起こしています。このブログでは、今年初めにEveryday AI Chicagoで開催されたDataikuのプロダクト基調講演のハイライトをまとめました。この洞察に満ちたセッションで共有された重要なポイントと専門家のアドバイスを探り、Dataikuの生成AI機能が複雑なデータをどのように実用的な洞察に変え、チームの効率を促進するのか発見してみてください。

Dataikuにおける生成AIとDataiku上での生成AI機能

プレゼンテーションの冒頭、Dataikuのプラットフォーム戦略担当副社長であるJed Doughertyは、Dataiku内で生成AIを活用することについての彼の見解を共有しました。彼は2つの主要なアプローチについて説明しました。

Dataikuにおける生成AI

ユーザーがLLMを活用してデータセットを分析し、洞察を引き出すことを可能にする、当社のプラットフォーム内に組み込まれたアプリケーションを伴います。主な機能は以下の通りです。

Prompt Studio: データセットに合わせたプロンプトを適用し、特定の出力を生成します。
NLP Recipes: 事前学習済みのHuggingFaceモデルとLLMを利用したノーコードのテキストレシピで、要約や感情分析などのタスクを実行し、NLPパイプラインを更新します。
Retrieval Augmented Generation (RAG): RAGとセマンティック検索を使用して、最も関連性の高い、正確で信頼できるチャットボット情報を提供し、ナレッジベースでLLMを強化します。

Dataiku上での生成AI機能

プラットフォームとのユーザーインタラクションを強化する副操縦士として機能します。以下のような機能を通じて、Dataiku内で作業するユーザーの能力を増強します。

AI Prepare: 日付の解析や列のマージなどのタスクを実行するために、プレーンな英語のコマンドを入力すると、手順が自動的に生成されます。
AI Explain: ワークフローやコードを説明したり、文書化したりします。
AI Code Assistant: コードの記述とテスト中に、より迅速な開発とサポートを提供します。

これらの統合により、高度なデータ操作がアクセスしやすく効率的になり、幅広い層の人々にとって高レベルのタスクが民主化されます。Dataikuにおける生成AIは効果とスピードを向上させ、Dataiku上の生成AIはタスクとユーザーインタラクションを簡素化し、より良い問題解決とワークフロー効率のための強力な相乗効果を生み出します。

エージェントによる2つの戦略の橋渡し

Doughertyによると、Dataikuにおける生成AIとDataiku上での生成AI機能の概念は、エージェントという形で収束します。AIエージェントは、アナリストの仕事の増強でもあり、彼らが解決しようとしている問題への生成AIの適用でもあり、1つのパッケージにまとめられています。このアプローチは、アナリスト、データサイエンティスト、またはエンジニアに取って代わることなく、面倒な作業を簡素化します。日常的なタスクを自動化することで、エージェントは仕事の創造的な側面を維持し、ワークフローの効率を向上させます。

生成AIの約束は、あなたの仕事の最もクリエイティブで、直感的で、興味深い部分を奪うことではなく、面倒な部分をなくし、あなたが解決しようとしている問題のために自動的に構築されたフレームワークを常に提供できるようにすることです

Jed Dougherty, VP, Platform Strategy, Dataiku

3つのコアコンセプトで分析を変革する

生成AIユースケースを加速させる

生成AIアプリケーションのための共通のバックボーンであるLLM Meshは、分析チームとITチームが生成AIモデルとサービスに安全にアクセスする方法を再形成することを約束します。この革新により、組織は、コスト管理、コンプライアンス、技術的依存性に関する懸念に対処しながら、エンタープライズグレードのアプリケーションを効率的に構築することができます。また、増加するモデルやプロバイダーの中から選択し、柔軟に対応することも可能にします。

LLM Meshを使用すると、HadoopのようなレガシーシステムからSnowflakeやDatabricksのようなモダンな環境にシームレスに移行でき、柔軟性と使いやすさを保証します。シンプルなドロップダウンメニューから様々なLLMモデルを選択でき、多様な分析ニーズに対応します。

この柔軟性により、ビジュアルレシピを使用したチャットボットやその他の生成AIアプリケーションの迅速な展開が可能になります。ユーザーは、大規模なドキュメントセットを取り込み、LLMを適用し、コードを書くことなくウェブアプリケーションを開発することができます。例えば、当社のDataiku Answersは、この機能を活用して、企業全体のLLMチャットとRAGをビジネスプロセスとチームに民主化します。Jedは、「チャットボットは、生成AIとLLMでできるクールなことのほんの一部に過ぎない...Dataikuでは、必要であればコードを書かずに、そのプロセス全体を非常に迅速に行うことができる」と述べています。

Dataikuでは、複雑なインフラの上に立ち、それを人々がアクセスし活用できるようにすることが、従来からの価値提案でした。Hadoop、Spark、そして現在の生成AIなど、テクノロジーが何であれ、これがDataikuの核となる利点であり、複雑さなしに最新技術の力を活用できるように組織を支援しています。

LLMコストガードとガバナンス

組織により良い財務監視を提供するために、生成AI関連の支出を透明に見ることができるLLM Cost Guardを実装しました。このダッシュボードは、すべてのコストを追跡し、詳細な使用状況の監視を提供し、どのチームが特定のコンポーネントを使用しているかを特定します。これには、Snowflakeのようなデータサービスの費用を追跡することも含まれており、包括的な財務管理を保証します。

また、Dataiku Governを高度なLLMガードレールで強化しました。Dataiku Governは、生成AIポートフォリオのワンストップショップを提供し、経営幹部がすべての生成AIプロジェクトを一元的に把握し、そのステータス、展開、リスクレベルを追跡できるようにします。さらに、Dataiku内のLLMレジストリには、承認されたすべてのLLMの詳細、様々なタスクへの適合性、およびプロジェクトの資格に沿った使用が保証されていることが含まれています。近日施行されるEU AI法を遵守するために、規制の影響を受けるワークフローのコンポーネントを組織が特定し、対処できるようにするための準備ソリューションをリリースしました。これにより、コンプライアンスを確保し、実行可能な推奨事項を提供します。

XOpsで効率を向上させる

当社のXOpsフレームワークは、生成AIにとどまらず、すべての機械学習モデルの展開とパイプライン運用に関する包括的な洞察を提供します。この全体的なアプローチにより、効果的なデータ駆動型イニシアチブを維持するために不可欠な、正確なリソース管理と運用効率が保証されます。さらに、XOpsフレームワークは、SageMaker、Azure、GCP、Databricks、Snowflakeなどのプラットフォーム間で、集中監視と柔軟な展開を提供します。Dataikuは、本番ワークフローを合理化するだけでなく、統一された監視ダッシュボードを提供し、データ駆動型運用の堅牢性と信頼性を向上させます。

一例として、Doughertyは、ある大手EU銀行が、Amazon Sagemakerをすべてのモデル展開に使用するプラットフォームとして決定していたことを説明しました。しかし、この銀行は、モデルのプロトタイピングが容易であること、そしてチームに提供される追加の利点があることから、Dataikuをエコシステムに組み込みたいと考えていました。Dataikuは、他のツールで開発された外部モデルと連携できるだけでなく、Sagemakerなどの他のプラットフォームにモデルを展開できるため、Dataikuの統合監視機能を活用して、構築および展開された場所を問わず、すべてのモデルを監視することができました。この柔軟性により、Dataikuは、本番環境にあるすべてのモデルを監視するための汎用的なツールとなり、より広範なエコシステムにおける堅牢で本番対応可能なソリューションとしての役割を強化します。

高度な指標と強化された品質チェック

Dataikuは、高度なデータ品質管理ツールをユーザーに提供します。当社のプラットフォームにより、データエンジニアやアナリストは、データ品質の問題を追跡、検証、対処し、洞察が確固たる基盤の上に構築されることを保証します。視覚的なダッシュボード、データ品質ルール、探索的データ分析により、ユーザーはプロジェクト全体のデータ品質を効果的に管理し、分析の信頼性と精度を向上させることができます。さらに、改善された指標とチェックにより、Dataikuパイプラインに出入りするデータに対して、きめ細かくかつ容易な制御が可能になり、ワークフロー全体で包括的なデータ品質監視を保証します。

生成AIの時代において、技術は変革をもたらしますが、分析ワークフローの必須コンポーネントである質の高いデータ、徹底的な準備、堅牢なエンジニアリングは、依然として重要です。Dataikuは、ワークフロー全体をサポートし、必要に応じてLLMをシームレスに統合しながら、完全なパイプラインの整合性を維持します。

##Dataikuと生成AIでチームに力を与える
Dataikuで生成AIの変革の可能性を探ってください。データ専門家、ビジネスアナリスト、ITリーダーなど、当社のプラットフォームは、高度なツール、事前構築済みのユースケース、AI搭載アシスタントを提供し、プロジェクトを向上させ、ワークフローを合理化します。生成AIのためのDataikuについての詳細はこちらから

原文:Transforming Data Analysis and Workflows With GenAI and Dataiku