昨年秋にダラス、トロント、ロンドン、ベルリン、ドバイで開催されたDataiku Everyday AIイベントにおいて、参加者の皆様と共有したテーマは、組織がデータ、分析、機械学習、AI、生成AIを、今後数年間の競争上の差別化の源とし、さらに容易に活用できる卓越した機能を提供することです。その鍵となるのは、ポイントソリューションではなく、ユニバーサルAIプラットフォームであるDataikuを活用することです。以下にビデオのリンクも掲載しています。セッションとその主なハイライトについては、下記を御覧ください。
→ 製品キーノートのビデオ（英語）はこちらをご覧ください
「ユニバーサル」とは具体的に何を意味するのでしょうか?
DataikuがユニバーサルAIプラットフォームであると言うとき、それは主に次の4つの意味でユニバーサルであることを意味します。
- まず、人々です。Dataikuは、プログラマーだけのためのプラットフォームではありません。また、単なるコード不要のツールでもありません。あらゆる人のためのものです。データサイエンティストやデータエンジニア、機械学習エンジニアからビジネスアナリストやドメインエキスパート、AI開発者からAI利用者まで、Dataikuはユーザーのいるところに対応します。つまり、プログラマーも、ビジネスユーザーも同様に、Dataikuの主要なユーザーなのです。Dataikuの優れた点は、皆が1か所で一緒に作業できることです。
- データに関しても、ユニバーサルであることは重要です。Dataikuは、オンプレミス、クラウド、ファイル/スプレッドシート、CRM、またはこれらすべてを少しずつ利用している場合でも、データがどこに保存されていようとあらゆる種類のデータをサポートします。Dataikuでは、データがどこに保存されていても利用可能です。
- Dataikuは、ガバナンスに関してもユニバーサルAIプラットフォームです。Dataikuは、独自の視覚的な「フロー」により、データの取得元、変換方法、機械学習や生成AIテクノロジーでの使用状況を正確に把握できるように設計されており、AIライフサイクル全体にガバナンスを導入しています。さらに、Dataiku Governも提供しています。これは、規制目標とAIガバナンス原則に照らしてAIポートフォリオ全体を管理できるモジュールです。
- そして最後に、ユニバーサルAIプラットフォームは、企業が利用するテクノロジーのためのものでもあります。Dataikuでは、自分たちを「徹底的に中立的」としています。これは常に私たちの哲学です。なぜなら、今日最も優れていて最もホットなテクノロジーが、明日も最高のテクノロジーであるとは限らないことを私たちは知っているからです。企業は、データを扱う人々のために同じインターフェースとインタラクションエクスペリエンスを維持しながら、テクノロジーを簡単に切り替えられる必要があります。
どう実践するか
私たちは、次の3つの主要な方法で企業がAI活用の道のりを加速できるよう、重点を置いています。
- エンタープライズグレードの生成AIを構築できるようにします。つまり、迅速に行うだけでなく、安全に行う必要があります。
- 同時に、当社は企業がビジネス全体を民主化し、加速できるようにしています。生成AIだけでなく、あらゆる種類の分析、従来の機械学習、データ作業も対象です。
- そして最後に、大規模なデータプロダクトを構築および維持するために、包括的なXOpsおよびAIガバナンスシステムを企業が確実に導入できるようにしています。
次のセクションでは、これら3つの領域について詳しく説明します。
1. エンタープライズグレードの生成AI
企業内で生成AIアプリケーションを構築するということが実際にどのようなものかについてお話ししましょう。
まず、LLMプロバイダー、モデル、AIサービスなど、多数の選択肢があります。これらの1つ以上を使用して、ツールやプロンプトを活用し、場合によっては独自のデータを活用するナレッジベースを構築し、それらすべてを組み合わせて何らかの専用Webアプリケーション(チャットボットなど)でエンドユーザーになにかアプリケーションを公開するか、このアプリケーションを既存のツールに埋め込む必要があります。そこから、このプロセス、このアプリケーションを運用化のために大規模なシステムに統合し、品質が良好であること、長期間にわたって管理、維持されていることなどを確認する必要があります。
1つのアプリケーションを構築するのは比較的簡単です。しかし、20、50、100ものアプリケーションを構築するとすぐに混乱が生じるでしょう。これはよくある話で、データサイエンスプロジェクトが常に抱えてきたのと同じ課題です。Dataikuでは、企業が構築するアプリケーションは1つや2つではなく、数百になる可能性があると考えています。そのため、最初から拡大について考慮し、包括的な生成AI機能を提供することを考えています。
まず下層、つまり基盤からお話ししましょう。これがDataiku LLMメッシュです。この共通のバックボーンレイヤーを構築したのは、増え続ける生成AIサービスとモデルの中から選択できるようにするためです。Dataiku LLMメッシュは、ハードコードされた依存関係を分解し、アプリケーションとその裏で活用されるサービス間のリクエストを管理およびルーティングする安全なAPIゲートウェイとして機能します。何百もの主要なLLMに安全にアクセスできるよう、ホスト型LLMサービスの大手プロバイダーや、オープンソースモデルにアクセスするためのHugging Faceと提携しています。LLMメッシュは、ベクターデータベースや高速化されたコンテナー化された計算処理機能へのアクセスも処理するため、必要に応じて、ローカルLLMを簡単かつ効率的にセルフホストして提供できます。
LLMメッシュは、当社の包括的な生成AIサービスのコアです。 しかしもちろん、LLMの安全なゲートウェイは、その後、生成AIユースケースを迅速に構築できる場合にのみ意味を持ちます。Dataikuを使用すると、ビジネス全体のビルダーが生成AIアプリケーションを迅速に実現するために必要なすべてのツールが揃います。好みに応じて、コーディングの有無にかかわらず使用できます。
感情分析などの一般的なタスクを行うためのLLMを利用したレシピから、プロンプトを反復的に設計および評価できるDataikuプロンプトスタジオ、事前構築済みのチャット用のフロントエンドであるDataiku Answersまで、Dataikuは生成AIビルダーのために、大規模な生成AIアプリケーションを作成するために必要なあらゆるものを提供しています。
素晴らしいことに思えるかもしれませんが、大勢の人が何百ものアプリケーションを短期間で構築するのは望ましくありません。手に負えなくなる可能性があります。そのために次のコンポーネントがあります。コスト、潜在的な安全上の懸念、および品質に関する全体的なリスクを軽減するレイヤーであるDataiku LLMガードです。
最後のレイヤーは、生成AIガバナンスです。Dataikuは、規制要件だけでなく組織のガバナンス標準にも対応できるようにする強力な機能を提供します。
2. 企業におけるデータ活用の民主化と加速
ここでは、すべての活動にわたってデータ利用者のスピードアップを図り、企業全体でより多くの人々が業務にデータを活用できるようにすることを目標としています。
これは、Dataikuにとって常に大切なことです。堅牢なAutoMLや説明機能からコード不要のデータ変換まで、私たちは最初から民主化と加速化を組み込んできました。筋金入りのデータサイエンティストでさえ、作業がはるかに速くなるという理由でDataikuのビジュアル機能をどのように活用しているかを、よくお話してくれます。しかしここでは、Dataikuが民主化と加速化をもたらすいくつかの新しい方法について、さらに詳しく掘り下げてみたいと思います。
1つ目は、生産性のためのアシスタントです。私たちはDataiku内で生成AIを使用して、プログラマーからビジネスユーザーまで、人々の効率と生産性を高めるためのさまざまなアシスタントを提供しています。
その1つは最も人気のあるもので、AI強化データ準備です。Dataikuでは、データ変換手順を自然言語で入力して、それが機能するのを確認するだけで済みます。これにより、誰もがプロジェクト用にデータの準備と変換を簡単に行うことができます。同様にコーダー向けには、コードスタジオとノートブックの両方でコードアシスタントも展開しています。
そして、関係者とのコミュニケーションをサポートするために、フローのドキュメント化と説明の機能を導入しました。これにより、フロー内で使用されているデータとそのデータがどのように変換および処理されているかが自動的に詳細化されます。ドキュメント作成はほとんどの人が好む作業ではなく、結果として実行されないことが多いことはわかっていますが、コラボレーション、コミュニケーション、ガバナンスの重要な部分であるため、Dataikuがそのお手伝いをします。
3. XOpsとAIガバナンスの準備
私たちにとって、XOpsとは、従来の機械学習、生成AI、またはデータパイプラインの単純な自動化など、あらゆる種類のデータプロダクトを本番環境に導入し、ライフサイクル全体にわたって維持することです。それは、プロセスのすべての関係者のニーズに対応し、自動化と簡素化の摩擦を取り除き、困難なプロセスを繰り返し可能なアプローチに変えることです。
私たちはとくに次の3つの機能に重点を置いてきました。
- 外部モデル: 当社の顧客企業では、さまざまな場所でさまざまなツールを使用してモデルを構築することが多く、そのため、モデルが別の場所で実行されている可能性があることを認識しています。Dataiku外部モデルとは、Amazon SageMaker、Azure Machine Learning、Google Vertex AI、または Databricksにすでにデプロイされているモデルを Dataikuで表示、評価、および使用する方法です。
- また、ユーザーはDataikuの外部など、どこにでもデプロイしたいと考えていることも認識しています。そして、Dataikuではそれができます。これにより、とくにデータアナリストやビジネスアナリストなどの技術に詳しくない人が機械学習モデルを構築し、既存のインフラストラクチャーにデプロイできるようになり、機械学習エンジニアリングチームの負担が軽減されるため、先ほど説明した民主化が強化されます。
- さらに、私たちはずっと統合監視に注力しています。現実的に考えてみてください。運用担当者は、複数のモデルやプロジェクトを異なるプラットフォームで実行しているために負担が重く、すべてが制御されていることを確認したいと考えています。Dataikuの統合監視では、すぐに使用可能なダッシュボードを提供し、DataikuエンドポイントやDataikuで管理されていない他のエンドポイントを介して、Dataikuプロジェクトの健全性とステータスを監視できます。そのため、モデルやプロジェクトがさまざまな場所に展開されている場合でも、それらのプロジェクトのガバナンスはすべて1か所、つまりDataikuで行うことができます。
Dataiku自体とガバナンスに適した設計方法に加えて、前述のように、規制目標や義務、および独自の内部AIガバナンス原則に照らしてAIポートフォリオを管理できるDataiku Governもあります。
これにはとくに、当社のEU AI法対応ソリューションが含まれますが、これはコンプライアンスを保証するためではなく、対応を確実にするためのものであるため、「対応」という名称にこだわっています。チームは、EU AI法のリスク階層に対するマッピングをはるかに簡単にするこのテンプレートを包括的に構築するために多くの作業を行ってきました。これは、とくにEU全体、そして今後数年間の多国籍企業にとって非常に重要なソリューションです。
結論
急速に進化する今日のAI環境では、最新のツールを採用するだけでは差別化を図ることはできません。人々、データ、テクノロジーを強化するAIへの普遍的なアプローチが必要です。Dataikuでは、組織が断片化されたソリューションから脱却し、エンタープライズグレードの生成AIを解き放ち、データアクティビティーを民主化し、あらゆる段階で堅牢なガバナンスを確保できるよう支援することに注力しています。最初のアプリケーションを構築する場合でも、アプリケーションを数百に拡大する場合でも、Dataikuは長期的な成功の基盤を提供します。
さらに興味がありますか？
2024年のEveryday AI Summitの製品基調講演ビデオを、こちら（英語）からご覧ください。
原文：How the Dataiku Universal AI Platform Redefines Enterprise AI