はじめに

企業内の機密データをインターネットに出さず、生成AIソリューションを構築するツールの1つとして、Ollamaがあります。
このツールは、インターネット接続なしでオンプレミス上のサーバやローカルマシン上で多様なオープンソースの生成AIを実行することができます。
今回、Ollamaにおいて2024年12月6日にサポートされたStructured Outputを試してみました。

Structured Outputとは

Structured Outputは、生成AIの出力を予め定義された形式で構造化するための機能です。
この機能には以下のような特徴があります：

主な特徴

出力フォーマットの制御
- スキーマに従った一貫性のある出力を生成
- 複数回の生成でも同じ構造を維持
システム統合の容易さ
- 構造化されたデータを直接プログラムで扱える
- 後続の処理フローへの連携が容易
- バッチ処理との親和性が高い

このStructured Outputにより、会話などの非構造化データを構造化データとして変換でき、
業務システムやワークフローに確実に組み込むことが期待できます。

検証の動機

現在、オンプレミス上で音声会話データから重要な情報を抽出・分類するシステムを構築しており、会話内容の自動分析結果に応じて適切なワークフローを選択できる仕組みの実装を進めています。

この音声会話データを生成AIで処理するプロセスにおいて、以下の課題がありました：

プロンプトで指示したJSONスキーマに従わない
非構造化データ抽出、分類

これらの課題に対し、Structured Outputが有効な解決策になるかを確認します。

期待する結果

Structured Outputを利用することで、以下のような構造化データを得られることを期待し確認を進めます：

入力内容

「商品返品に関する品質クレームが発生しました。緊急対応が必要ですので、品質管理部門に通知し、24時間以内に対応をお願いします。」

出力結果

{
    "keywords": ["商品返品", "品質クレーム", "緊急対応"],
    "category": "クレーム対応",
    "priority": "高",
    "next_action": "品質管理部門への通知",
    "required_response_time": "24時間以内"
}

ためしてみる

まずは、Ollama公式のドキュメントに従い、試してみます。

最新バージョンであることを確認する

ollama -v
ollama version is 0.5.3

ローカル上で、curlコマンドを実行する

curl -s -X POST http://localhost:11434/api/chat -H "Content-Type: application/json" -d '{        "model": "llama3.1",
  "messages": [{"role": "user", "content": "Tell me about Canada."}],
  "stream": false,
  "format": {
    "type": "object",
    "properties": {
      "name": {
        "type": "string"
      },
      "capital": {
        "type": "string"
      },
      "languages": {
        "type": "array",
        "items": {
          "type": "string"
        }
      }
    },
    "required": [
      "name",
      "capital",
      "languages"
    ]
  }
}' | jq .message

requiredで指定したプロパティが出力されたことを確認できました

{
  "role": "assistant",
  "content": "{ \"name\": \"Canada\", \"capital\": \"Ottawa\", \"languages\": [\"English\", \"French\", \"First Nations languages\", \"Indigenous sign languages\", \"others including Punjabi, Spanish and many others as well.\" ]\n}\n  \t\t\t    \t\t\t"
}

実環境を想定したプロンプト

ここまでStructured Output動作が確認できたので、次は実際の利用を想定した
コールセンターの会話のやりとり（ダミーデータ）をプロンプトに入力してみます。

curl -s -X POST http://localhost:11434/api/chat -H "Content-Type: application/json" -d '{        "model": "llama3.2:3b",
  "messages": [{"role": "user", "content": "ユーザーID: U12345、名前: 山田です。料金プランについて教えてください。現在のプランは何ですか？スマホのデータプランです。データ容量はどのくらい必要ですか？10GBあれば 十分です。10GBのプランは月額4,000円です。変更しますか？はい、お願いします。手続きが完了しました。ありがとうございます。お困りのことがあればいつでもお電話ください。"}],
  "stream": false,
  "temperature": 0.0,
  "format": {
    "type": "object",
    "properties": {
      "userId": {
        "type": "string"
      },
      "userName": {
        "type": "string"
      },
      "phoneNumber": {
        "type": "string"
      },
      "serviceName": {
        "type": "string"
      },
      "content": {
        "type": "array",
        "items": {
          "type": "string"
        }
      }
    },
    "required": [
      "userId",
      "userName",
      "phoneNumber",
      "serviceName",
      "content"
    ]
  }
}' | jq .message

出力結果

以下が出力結果になります。
会話内容から、指定したJSONスキーマに従い、出力されていることがわかります。
また、指定したプロパティで、ユーザID(userId)、名前(userName)、サービス(serviceName)に関する内容が会話内容からうまく抽出できています。一方、内容(content)については、もう一工夫必要に見えます。複数回実行したところ、一意に決まるようなプロパティの内容については、大きな揺れはありませんでした。しかし内容のような複数個出力が想定されるものは、回答数の変化や揺れが見られました。

{
  "role": "assistant",
  "content": "{\"userId\": \"U12345\", \"userName\": \"山田さん\", \"phoneNumber\": \"03-1234-5678\", \"serviceName\": \"スマホデータプラン\", \"content\": [\"データ容量: 10GB\", \"月額料金: 4000円\", \"変更しました\"]}"
}

まとめ

今回、Ollama Structured Outputがサポートされたため、
音声会話データをプロンプトに入力しその動作を確認しました。
一意に決まるものについては、有用であることが確認できました。
複数回答があるものについては、もう一工夫が必要なことを確認できました。