Dataiku 脱初心者 -チュートリアルのLLM Meshについて その①-

Dataiku LLM Mesh 接続コンポーネント一覧（チュートリアルで選択できるもの）

初めに

本記事はエージェントのチュートリアル中に無料利用を試みてLLM Meshの設定でドン詰まりし、結局断念しまった備忘その①になり、内容としてはまずチュートリアルで設定できるLLM一覧と実際試したLLMについて軽く何故ダメだったかを説明。

その②は実際に何を試したかをまとめます。

1. ホスト型LLM APIサービス (Hosted LLM APIs)

• OpenAI
  • 最も標準的な接続。GPT-4oやgpt-4o-miniなどの主要モデルを利用。
    　* 試した結果、OpenRouterやGeminiを用いたの代用利用は不可だった。
• Azure OpenAI
  • Microsoftクラウド（Azure）上でホストされたセキュアなOpenAIモデル（GPTシリーズ）との連携。
• Microsoft Foundry
  • Microsoftの先端AI研究・開発プラットフォームで提供される最新モデルとの実験的・最先端連携。
• Azure LLM
  • Azure AIマニフェスト等を通じて提供される、OpenAI以外のメタやミストラルなどの主要オープンモデル群（Models as a Service）との連携。
• Cohere
  • エンタープライズ向けのテキスト分類、高度な埋め込み（Embedding）、RAG処理に特化したモデル。
• Anthropic
  • 高い推論能力を持つClaude 3.5 SonnetやClaude 3 HaikuなどのネイティブAPI接続。
• Vertex Generative AI
  • Google Cloud環境のGeminiモデルファミリーを活用するためのネイティブ接続。
    　* 企業向けの設定のみ可能でAPI Keyでの利用不可
• AWS Bedrock
  • Amazon Web Services上でAnthropic、Meta、Mistral、AWS Titanなど複数企業のモデルを横断利用。
• Databricks Mosaic AI
  • Databricks上でホスト・微調整された独自の企業専用LLMエンドポイントとの連携。
• Snowflake Cortex
  • Snowflakeデータウェアハウス内で直接動作する内蔵LLM。データを外部に出さずに高速処理。
• Mistral AI
  • 欧州発の高効率な商用・オープンソース由来モデル（Mistral Largeなど）の直接連携。
• Amazon SageMaker LLM
  • AWS SageMakerの推論エンドポイントにデプロイした自社専用モデルとの連携。
• Stability AI
  • 主に画像生成（Stable Diffusionシリーズ）や特定のマルチモーダルタスクを行うためのAPI接続。
• NVIDIA NIM
  • NVIDIAが最適化したコンテナ型モデル群。主に推論加速やトピック検閲（ガードレール機能）の目的でも利用。

2. セルフホスト・ローカルモデル (Local / Self-Hosted)

• Local Hugging Face
  • Dataikuが動作するローカルサーバーやGPU環境に、Hugging Faceのオープンモデル（Llamaなど）を直接ダウンロードして完全クローズドで実行。

3. カスタム拡張 (Custom Extensions)

• Custom LLM
  • 標準リストにない新しいAIサービスや、社内で独自開発した内製LLMゲートウェイをDataikuに組み込むための開発用メニュー。
    　* 新規作成したpluginを適用しようと試みたが、plugin選択にでてこず、どうすることもできず断念
• Remote MCP (Model Context Protocol)
  • Anthropicが提唱するMCP規格に準拠し、外部のデータソースや開発ツール、コンテキスト情報をLLMへ安全かつ動的に提供するためのリモート接続。

4. ベクトルデータベース / 検索エンジン (Vector Databases & Search)

RAG（検索拡張型生成）の構築時に、テキストのベクトルデータ（知識ベース）を格納・高速検索するために連携します。

• Pinecone
  • 完全マネージド型で、スケーラビリティに優れた高速ベクトル検索エンジン。
• Milvus
  • 大規模なAIデータ運用のために設計された、オープンソースの分散型ベクトルデータベース。
• Azure AI Search
  • Microsoft環境での高機能なハイブリッド検索（キーワード検索×ベクトル検索）を実現するエンタープライズ検索エンジン。

最後に

無料利用を前提に既存設定または新規のplugin追加を進めていたがどちらも途中で躓き断念。
チュートリアル用のは何かしら制限が入っているのは別に珍しくもないですが、
一通りの学習するのに費用が掛かってしまうのは何ができるかが分からない初心者には敷居が高いため、
この辺りは時期見て深堀していきたいと思います。