0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AIに伝言ゲームをさせたら、プロジェクト「大福」が消滅した ─ Zoom AI Services 3 APIを174回叩いて品質とコストを実測

0
Posted at
  • Zoom AI Services の3API(Scribe / Summarizer / Translator)で 「AI伝言ゲーム」 をやった。文字起こし→要約→翻訳→また翻訳→…と最大12世代回して、情報がどこでどう死ぬかを実測
  • 結果は予想外。無限には劣化しない(数世代で不動点に収束= f(f(x)) ≒ f(x) のほぼ冪等挙動)、一番情報を落とすのは要約(生存率52%)、そして固有名詞は死ぬ(プロジェクト「大福」→ "O Fuku" → 消滅)
  • 実用CLI「ojigi」(録音→日英議事録+コストレシート)も公開(GitHub: azaminat/ojigi)。総コストはAPI 174回で ¥139.68、缶コーヒー1本でお釣りが来る

作ったもの:録音を置くだけで日英議事録とコストレシートを出すCLI

今回作ったのは ojigi というCLIです。

  • 録音ファイルを渡す
  • Scribeで文字起こし
  • Summarizerで要約・決定事項・アクションアイテム抽出
  • Translatorで英訳
  • Slack通知
  • usageからコストレシートを表示

つまり、Zoom AI Servicesの3 APIを実務の議事録フローに組み込むツールです。

ただし、ここで気になったのが「AIを多段につないだとき、情報はどこで壊れるのか?」でした。
そこで、このCLIに ojigi telephone という検証モードを追加し、AI伝言ゲームを行いました。

これは単なるAIおもしろ実験ではなく、Zoom AI Services の Scribe / Summarizer / Translator を多段パイプラインに組み込んだとき、品質とコストがどこでどう変化するかを実測した記事です。

はじめに:AIは伝言ゲームに強いのか?

子どもの頃の伝言ゲームを思い出してください。「隣のクラスの田中くんが犬を拾った」が、5人目には「田中先生が化けて出た」になっているアレです。

画像の世界にも似た話があります。「世代劣化(generation loss)」——JPEGを保存し直すたびにブロックノイズが積もり、VHSをダビングするたびに画が溶けていく、あの現象です。

いま会議の音声は文字起こしされ、要約され、翻訳されて海外チームに届きます。つまり現代の議事録は、AIによる伝言ゲームの産物です。では、テキストをAIに通し続けたら、JPEGと同じように溶けていくのでしょうか? 各段階の精度は個別にベンチマークされています。でも「繰り返し通したら何がどこで壊れるのか」を定量的に見た例は、あまりありません。

そこで Zoom AI Services の3つのAPIで実験しました。先に結果を1枚だけ見せます。

世代ごとの劣化(種テキストとのCER)

字面のズレ(CER)は最初の1〜2世代で跳ね上がり——その後ピタッと止まります。「回すほど壊れる」を期待していた身としては、これはかなり意外な形です。なぜこうなるのか、何が生き残って何が死ぬのかを、これから順番に見ていきます。

💡 この記事は Zoom AI Services の品質とコストを「伝言ゲーム」という枠組みで検証するものです。ふざけているようで、各APIの劣化特性がかなり真面目に見えてきます。

登場する3つのAPI(30秒で)

API 役割 課金単位 公称単価
Scribe 文字起こし(音声→テキスト) 音声秒数 $0.0033/分
Summarizer 要約・アクションアイテム抽出 入力文字数 $0.40/100万字
Translator 翻訳(英語との双方向) 入力文字数 $7.50/100万字

Zoom Build プラットフォームのクレジット制で、新規登録で$20の無料クレジットが付きます(アカウント作成の手順は こちらの記事 がStep-by-Stepで丁寧です)。認証はJWT(後述のハマりポイント参照)。
※Summarizer/Translatorは公式製品ページの公称値。Scribeの単価のみ公開情報ベースのため、実際の消費はBuildダッシュボードで確認してください(本記事のコストはこの単価で換算)。

実験設計:劣化源を切り分ける3つの伝言ゲーム

「全部混ぜて回したら壊れた!」では検証になりません。どのAPIが劣化の犯人かを切り分けるため、3つの実験を用意しました。

実験 ループ 使うAPI 何が見えるか
A 翻訳往復 ja→en→ja→en→…(12世代) Translator単体 翻訳の揺り戻し
B 要約連鎖 要約の要約の要約…(10世代) Summarizer単体 要約の情報の取捨
C フル伝言 音声→文字起こし→翻訳往復→再び音声化→…(8世代) Scribe+Translator+TTS 音声化を含む複合劣化

実験Cの「テキスト→音声」はZoom APIの守備範囲外なので、Amazon Polly(ja-JP, neural)を"伝言役の口"として使っています。A・BはZoom APIだけで完結する純粋な検証です。

なお、Cのループに要約は挟んでいません。挟むと「要約の取捨(実験B)」と「音声化・翻訳の劣化」が混ざって、どれが犯人か切り分けられなくなるからです。要約込みの挙動はBが単体で答えてくれます——つまり後で見るように、要約を含む現実の議事録パイプラインの劣化はB寄りに読むのが正解です。

やっていることは、本質的にこれだけです:

text = seed_text
for gen in range(1, 13):                    # 実験A: 翻訳往復
    en = translate(text, "ja-JP", "en-US")
    text = translate(en, "en-US", "ja-JP")
    measure(gen, text)                      # 字面のズレ / 意味の近さ / 生存ファクト

「このループ、回し続けたらどこに行き着くのか?」——それをひたすら測っただけの記事です。

種テキスト:罠を仕込んだ模擬会議

第0世代として、追跡用のファクト14個を意図的に仕込んだ模擬会議台本(597字)を用意しました。

  • 決定事項3件: リリース日7月13日 / 追加サーバー費用 月3万円 / プレス配信 午前10時
  • アクションアイテム4件: 山田→リリースノート7/5、田中→負荷テスト7/8、ジョン・キム→プレス原稿7/10、佐藤→顧客デモ
  • 劣化しやすそうな罠: プロジェクト名「大福」(和菓子と同名)、恵比寿オフィス、同時接続1,200ユーザー、応答1.5秒以内、第3四半期

各世代で「このファクトはまだ生きているか?」を日英の表記ゆれ込みのキーワード照合で判定します(決定サバイバル率)。

測った指標

  1. 字面のズレ: 元の文とどれだけ文字が入れ替わったかの割合。0%なら一字一句同じ、100%なら原型なし(音声認識の評価で使う標準指標 CER=文字誤り率。NFKC正規化+jiwerで算出。グラフの縦軸はこれ)
  2. 意味の近さ: 字面が変わっても「言っていることは同じか」をスコア化したもの。1.0が同義(多言語文埋め込み paraphrase-multilingual-MiniLM のcos類似。日本語⇔英語間でも測れる)
  3. 決定サバイバル率: 台本に仕込んだ14ファクトのうち、何個がまだ本文に残っているか
  4. 各実験 ×3試行 して結果のブレも確認(グラフの帯)

結果①:伝言ゲームは無限には劣化しない

まず全実験共通の発見から。「1周でどれだけ字面が変わったか」(前世代とのCER)をプロットすると:

収束の様子

3実験すべて、数世代で0に漸近します。 つまり各APIには「これ以上変換しても変わらない表現」=不動点(fixed point)があります。テキストは数周で、そこに吸い込まれます。関数っぽく書けば、数世代後には f(f(x)) ≒ f(x)——繰り返すとほぼ冪等な振る舞いに落ち着くわけです。JPEGの世代劣化のように無限に溶けていくのではなく、アトラクタに捕まって止まる。

  • 翻訳往復(A): 第1世代で63.7%変化 → 第7世代には0.4%。ja↔enの相互翻訳が安定なペアに落ち着く
  • 要約連鎖(B): 第3世代以降ほぼ固定。「要約の要約」は2〜3回で最小表現に到達し、以降は同じ文を返し続ける
  • フル伝言(C): 音声化のノイズが毎回入るため揺れは残るが、それでも第8世代には4.4%まで低下

「AIを何回も通すとどんどん壊れる」という直感は、少なくともこの3APIについては誤りでした。壊れるのは最初の1〜2世代で、その後は驚くほど安定します。

結果②:情報を一番落とすのは「要約」だった

では、その最初の1〜2世代で何がどれだけ死ぬのか。ファクト14個の生存率がこちら:

決定サバイバル率

実験 最終生存率 落ちたもの
A 翻訳往復(12世代) 85.7〜88.1% 固有名詞「大福」など
B 要約連鎖(10世代) 52.4% 固有名詞・細かい数値(1,200ユーザー、1.5秒、第3四半期…)
C フル伝言(8世代) 90.5% 「大福」(翻訳段階で死亡)

**最も情報を落とすのは要約(52%)**です。音声化→文字起こし→翻訳往復まで通すC(要約なし)が90%保持しているのと対照的です。逆に言えば、実運用の議事録パイプラインは途中に要約を挟むので、劣化の主戦場は音声でも翻訳でもなく要約の段だと分かります。

ただしこれはSummarizerの欠陥ではありません。ログを見ると、取捨選択には一貫した方針があります。残すのは決定事項・担当者・期限。捨てるのは固有名詞と細部の数値です。リリース日(7月13日)と担当者付きアクション4件は、3試行すべてで10世代後も生存していました。要約とは情報を捨てる技術なので、「何を捨てるか」の方針が測れたと言えます。

面白いのは、要約は2〜3世代で完全な不動点に達すること(597字→241字→180字→以降ほぼ同一文)。つまり summarize(summarize(x)) ≒ summarize(x)——Summarizerは実質的に冪等です。自分の出力を食わせ続けても、それ以上は削らない「最小の要約」で止まる。再帰的に突っ込んでも暴走しないという頑健性の証拠で、パイプライン設計者には地味に嬉しい性質です。

結果③:字面は6割変わるが、意味は保たれる

「字面の64%が入れ替わった」と聞くと壊滅的に見えます(冒頭のグラフで翻訳往復の線が64%あたりで止まっていた、あれです)。でも「意味の近さ」を見ると、別の景色になります:

意味の保持

  • 翻訳往復(A): 12世代後も意味の近さ 0.92を維持。語順や言い回しは大きく変わる(だから字面のズレは大きい)が、意味はほぼ完全に保存
  • フル伝言(C): 0.90前後。音声化を挟んでもほぼ同水準
  • 要約連鎖(B): 0.81。情報を捨てている分だけ低いが、これは要約として正しい挙動

つまりZoomの翻訳は「字面の忠実さより意味の等価性を優先する」タイプで、伝言ゲームには意外なほど強いことが分かりました。

誤変換ギャラリー:それでも事故は起きる

数字だけだと面白くないので、実際に起きた変異を見てください。

「大福」の死(全3試行で再現)

プロジェクト名「大福」は、翻訳往復の第1世代で即死します。

世代 テキスト
0 第3四半期のプロジェクト**「大福」**定例会議を始めます
1(英訳) ...quarterly project meeting for "O Fuku." ...
1(往復後) では、**『O Fuku』**の第3四半期プロジェクト会議を…
2〜12 O Fuku のまま永遠に固定

Translatorは「大福」を製品名と解釈し、和菓子の読み「おおふく…?」風のローマ字 "O Fuku" に変換。一度英語表記になると二度と漢字には戻らず、不動点に「誤訳ごと」焼き込まれます。壊れた値がキャッシュに載って、TTL無限でヒットし続けるようなものです。これは重要な示唆で、収束=正しさではないということ。間違った形で安定することがある。

フル伝言(音声経由)ではさらに残酷です。TTS→文字起こしまでは「大福」が生きているのに(ASRログで確認)、直後の翻訳で死亡。死因は音声ではなく翻訳でした。

恵比寿のゾンビ復活

フル伝言では「恵比寿オフィス」が第2世代で EBIS にローマ字化 → 第3世代で「恵比寿」に復活という珍現象も起きました。英語表記 "Ebisu office" が再翻訳で標準的な地名表記に戻ったためです。固有名詞でも辞書に載っている地名は強い。

会長、突然の出現

フル伝言 trial0 の第3世代では、感謝の挨拶が「ありがとうございます、会長。」に変異しました。会長など誰もいない会議です。聞き取りの揺れに、翻訳が気を利かせて敬称を足した合わせ技だと思われます。議事録に架空の役職者が出席する瞬間です。

生き残り王者たち

一方、翻訳往復とフル伝言では**「午前10時」「7月13日」「月3万円」等の数値+単位、「ジョン・キム」等のカタカナ人名が全世代で生存**しました。アラビア数字と日付は言語間でほぼ無傷に往復できます。

ただし例外が実験B(要約連鎖)。「午前10時」や「月3万円」が要約で消えた試行がありました。翻訳や音声化を生き延びる数値も、要約は「重要でない」と判断すれば容赦なく捨てます。「情報を一番落とすのは要約」——結果②の実例が、まさにこれです。

実務への教訓: 多段AIパイプラインに乗せるなら、漢字の造語・プロジェクト名は最初から英語表記を併記しておくと死なない。数値と日付は翻訳には強いが、要約を挟むなら「金額・時刻は必ず残す」等の指示が要る。

録音を置くだけで日英議事録+コストレシート ─ 検証ツール「ojigi」も公開

この実験を支えたのが、イベントのお題に沿って作った議事録CLI「ojigi」です(検証機能telephoneも同梱)。

# 録音を置くだけで日英バイリンガル議事録 + コストレシート
uv run ojigi minutes meeting.m4a --slack
  • Scribe→Summarizer→Translatorをオーケストレーションし、要約・決定事項・アクションアイテムの日英議事録MarkdownとSlack通知を出力
  • 全API呼び出しのusageをusage_ledger.jsonlに記録し、実行のたびにコストレシートを表示:
       💰 コストレシート(公称単価ベース)
┌────────────┬────────────────┬─────────┬────────┐
│ API        │ 使用量         │     USD │ 円換算 │
├────────────┼────────────────┼─────────┼────────┤
│ Scribe     │ 音声 0.8分     │ $0.0026 │  ¥0.39 │
│ Summarizer │ 入力 266文字   │ $0.0001 │  ¥0.02 │
│ Translator │ 入力 387文字   │ $0.0029 │  ¥0.44 │
│ 合計       │                │ $0.0056 │  ¥0.84 │
└────────────┴────────────────┴─────────┴────────┘

(usage_ledger.jsonl の実測値そのまま。要約は本当に安い)

48秒の会議の日英議事録が¥0.84。伝言ゲームは:

uv run ojigi telephone examples/telephone_seed.md --mode roundtrip -g 12 -t 3 --facts examples/telephone_facts.json

で誰でも再現できます(結果JSON+世代別メトリクス表+コストレシートが出ます)。この記事で使った種テキストとファクト定義もリポジトリの examples/ に同梱してあります。

コスト検証:174回叩いて¥139.68

この記事の全実験(3実験×3試行、API呼び出し174回)の実測合計:

API 使用量 USD 円換算
Scribe 音声 38.1分 $0.1257 ¥18.85
Summarizer 入力 6,844文字 $0.0027 ¥0.41
Translator 入力 107,033文字 $0.8027 ¥120.41
合計 $0.9312 ¥139.68

注目はコスト構造です。Translatorが86%を占めます。単価が Summarizer の19倍($7.50 vs $0.40 /100万字)あるためで、翻訳往復実験はほぼ翻訳代。逆に言うと:

  • 要約は事実上タダ同然(10世代連鎖して¥0.41)
  • 60分会議(≒15,000字)に外挿すると、議事録1本 = Scribe ¥30 + 要約 ¥1 + 要約英訳 ¥2 ≒ ¥33。全文英訳を足すと+¥17
  • 人力の議事録外注(¥5,000〜/時)や翻訳(¥3,000〜/千字)と比べると誤差みたいな金額

「品質検証のためにAPIを174回無駄遣いする」という贅沢が缶コーヒー1本分でできる時代です。

実装のハマりポイント(再現したい人向け)

1. JWT認証のKey/Secretは「Build プラットフォーム」のもの

Marketplace アプリの Client ID/Secret ではない。zoom.us → Plans and Billing → Universal Credit → Build App → API keys で取得する。JWTは HS256、iss=API Key、expは最長1時間。ここで30分溶かした。

2. Scribeは音声を「URL」でしか受け取らない

multipartアップロード不可。ローカルファイルはS3にアップロード→**署名付きURL(短TTL)**を渡し、文字起こし後に即削除する構成にした。拡張子のないURLは415になるのでファイル名は保持すること。

3. 話者分離(diarization)はja-JP非対応

"diarization": true を日本語で送ると 400 INVALID_INPUT("Diarization is not supported for locale 'ja-JP'")。英語では動作を確認済み。日本語対応が来たら議事録の話者ラベルが一気に良くなるはず。

4. Summarizerのresultフィールドはtaskで揺れる

full_summaryは「# Recap / # Summary / # Action Items」のMarkdown文字列1本で返る(構造化JSONではない)。taskごとにsummary_text/text等キーが揺れるためフォールバック参照が必須。

5. Translatorは英語との双方向のみ・4,000字制限

対応は英語⇔他言語の組み合わせのみ。ja→fr のような直接翻訳はできず、やりたければ自前で英語を経由させることになる(=多言語展開は必然的に「伝言ゲーム」になる。今回のja↔en往復実験がそのまま実運用の劣化モデルなのはこのため)。長文は段落単位のチャンク分割が必要。

6. usageオブジェクトは全APIで取れる(コスト実測の要)

{"input_units": N, "output_units": N, "unit_type": "seconds"|"characters"} が返る。Translatorのinput_unitsは入力文字数と完全一致することを確認済み。これをフックで全部JSONLに落とすとコストレシートが作れる。

この検証の限界

公平のために、この実験で言えないことも書いておきます。

  • サバイバル判定はキーワード照合(日英の表記ゆれ込み)なので、保守的に出ます。実際、「顧客デモ」が「顧客向けデモンストレーション」に言い換えられて「消失」扱いになった試行がありました(意味は完全に生きている)。生存率の実態は表の数字より少し高いはずです
  • 種テキストは1種類(模擬会議597字)、各実験3試行。ジャンルや長さが変われば数字は変わります
  • 実験Cの音声はAmazon Pollyのクリーン音声。実会議の雑音・かぶり発話ではScribeの劣化はもっと大きいはずで、Cの結果は「音声経由の下限側」と読むべきです
  • 「意味の近さ」スコアは多言語埋め込みモデル(paraphrase-multilingual-MiniLM)に依存した推定値です

まとめ:審査基準どおりに振り返る

品質: Zoom AI Servicesは伝言ゲームに予想外に強い。翻訳は意味の近さ0.92を12世代維持、要約は3世代で安定する不動点を持ち、決定事項を優先保存する。弱点は漢字の造語系固有名詞(大福→O Fuku)で、誤訳ごと不動点に固定されるリスクがある。この検証の一番の持ち帰りはこれです——収束は正しさを意味しない。 安定して見える出力が、間違いごと安定していることがある。ずっとグリーンのまま仕様を間違えているテストと同じで、「落ちない」は「正しい」の証明にならないのです。

コスパ: 議事録1本¥1未満〜60分会議でも¥33程度。検証で174回叩いても¥139.68。要約はほぼ無料、コストの主役は翻訳(単価19倍)。

実験コード・ツールはすべて GitHub(azaminat/ojigi) で公開しています。ojigi telephone であなたの会社のプロジェクト名が何世代生き残るか、ぜひ試してみてください。「大福」はダメでした。


(付録)生データ・全世代テキスト・グラフの元データはリポジトリの article-data/ を参照(3実験×3試行の全世代JSON・集計表・グラフ)。種テキストとファクト定義は examples/ に。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?