はじめに
Amazon Connect Customer の「AIエージェント」を使うと、さまざまな業務を自動化できます。たとえば、電話の一次受付やオペレーター支援など、ユースケースは多岐にわたります。
このうち電話の一次受付で AIエージェントを使う場合、AIエージェントはお客さまの声を直接聞いているわけではありません。お客さまの声はまず Amazon Lex が文字に変換し、AIエージェントはその文字を読んで応答しています。つまり、AIエージェントの「耳」は Lex なのです。
私が携わっている案件でも、製造業のお客さま窓口で「製品の型式(例:A-12B3-4C-567)」を AIエージェントに聞き取らせる必要があり、この聞き取りに苦労していました。人は「えー、エーイチニ…」のように話すため、フィラーの「えー」と型式の先頭の「A(エー)」が同じ音として扱われ、先頭の A が抜けたり、逆に余計な a が付いたりしてしまうのです。
本記事では、こうした課題に対する Lex のカスタム語彙によるアプローチと、その効果を電話をかけずに検証する方法をご紹介します。
※ 本記事に登場する型式は、すべてダミーに置き換えています。
本記事でわかること
- Amazon Connect の AIエージェントと Amazon Lex の関係
- Polly・S3・Lex を AWS CLI でつなぎ、電話をかけずに聞き取りをテストする方法
- カスタム語彙を「入れる」ことと「増やす」ことで、それぞれ何が変わるのか
- 検証した語彙を Amazon Connect の AIエージェントに反映する方法
目次
1.Amazon Connect の AIエージェントと Lex の関係
2.検証の全体像
3.動作環境・前提条件
4.実装
5.検証結果
6.Amazon Connect への反映
まとめ
参考
1.Amazon Connect の AIエージェントと Lex の関係
Amazon Connect の AIエージェントとは、生成AIがお客さまやオペレーターと会話して、問い合わせを進める機能のことです。プロンプトやツール、ガードレールなどの項目を設定するだけで、簡単に作成できます。
AIエージェントは、大きく分けて次の 2 種類があります。
- セルフサービス:音声やチャットで、お客さまと自動で会話する AIエージェントです。質問に答えるだけでなく、必要に応じて「ツール」を AI の判断で呼び出し、手続きを自律的に進めることもできます。
- オペレーター支援:お客さまとオペレーターの会話を聞き取り、その流れに応じた回答や次に話すべき手順などを提案する AIエージェントです。旧 Amazon Q in Connect がこれにあたります。
本記事で扱うのは、このうちセルフサービスの AIエージェントです。
以下は、Amazon Connect のセルフサービス AIエージェントで電話を受け付ける際の、音声の流れです。
お客さまから電話がかかってくると、Amazon Connect のコンタクトフローの「顧客の入力を取得する」ブロックで Lex ボットが呼び出されます。Lex はお客さまの音声を文字に変換し、AIエージェントはその文字をもとに、システムプロンプトの指示に従って応答やツールの呼び出しを行います。
実際のコンタクトフローでは、以下のように「顧客の入力を取得する」ブロックで、呼び出す Lex ボットを指定します。
ここで重要なのは、AIエージェントに届くのは、Lex が文字にした結果だけだという点です。たとえば型式の「A-12B3」が「えー12b3」と文字にされてしまうと、AIエージェントは型式の先頭が A であることを知る手段がありません。
そこで役立つのが、Lex の「カスタム語彙」です。カスタム語彙は、Lex ボットに対して「この言葉が出てくるかもしれない」と教える機能で、読み方(phrase)・表示(displayAs)・重み(weight)の 3 列を TSV で登録します。
phrase displayAs weight
エーイチニ A12 3
エーワンツー A12 3
A. 1. 2. A12 2
つまり、Amazon Connect の AIエージェントの聞き取り精度を上げたい場合、プロンプトの調整より手前にある Lex ボットのカスタム語彙 が、最初に手を入れるべきポイントになります。
※ 東京リージョンの標準構成の場合です。米国リージョンの Nova Sonic を使う音声エージェントや、独自の文字起こしを組み込んだ構成は対象外です。
2.検証の全体像
カスタム語彙の効果を確かめるには、Amazon Connect に電話をかけるのが一番直接的ですが、前述のとおり、同じ条件で何百回も試すのは現実的ではありません。そこで、Amazon Connect が呼び出しているのと同じ「Lex の音声認識」の部分だけを切り出して、電話をかけずに検証する仕組みを作りました。
まず、型式と言い方を組み合わせたテストケースを SSML で用意し、Polly で電話相当(8kHz)の音声に変換して S3 に置きます。次に、S3 の音声を 1 件ずつ取り出し、カスタム語彙だけが異なる 3 つの Lex ボットに同じ音声を聞かせます。最後に、返ってきた文字起こしを正解の型式と照らし合わせて集計します。
同じ音声を 3 つのボットに入力しているため、結果の違いはそのまま「語彙の違い」と見なすことができます。今回比較したのは、語彙を登録していないボット(0 件)、運用中の語彙を登録したボット(236 件)、それに「A」で始まる型式の頭の部分を追加したボット(465 件)の 3 つです。
3.動作環境・前提条件
本記事で使用する環境は以下のとおりです。
- リージョン:東京(ap-northeast-1)
- Amazon Connect Customer(AIエージェント有効化済み)
- Amazon Lex V2(ロケール:ja_JP)
- Amazon Polly(ニューラル音声:Kazuha / Tomoko / Takumi)
- Amazon S3
- AWS CLI v2、bash、Python 3
また、以下を前提とします。
- Amazon Connect のインスタンスで AIエージェントが使える状態になっており、コンタクトフローから Lex ボットを呼び出していること
- AWS CLI がインストールされ、
aws loginなどで認証できていること - Lex・Polly・S3 を操作できる権限があること
Amazon Connect の AIエージェントの設定方法については、以下をご参照ください。
4.実装
4-1.テストケースの作成
まずは、Lex に聞かせる発話を用意します。今回は「声(Kazuha / Tomoko / Takumi)」「読み方(イチロクゴのような日本語読み/ワンシックスファイブのような英語読み)」「言い方(そのまま、えーと+型式、えー+間+型式、えー+型式(間なし)、あの+型式、途中に言い淀み)」の 3 つの軸を組み合わせ、216 件のテストケースを作成しました。
AIエージェントが実際に受ける電話を想定し、「えーと」「あのー、型式は」といった前置きや、言い淀みも含めています。読み上げる内容を SSML で記述しておくと、<break> タグで「えー、(間)エー…」のような話し方も再現できます。
case_id,pattern,model_number,reading_style,voice,ssml
s001,ano,A-12B3-4C-567,en,Kazuha,"<speak>あのー、型式は、<break time='300ms'/>エー、ワンツービースリー…です</speak>"
【重要なポイント】
- 比べたい軸は、すべての組み合わせが同じ件数になるようにする:実は最初、「言い淀みは Takumi の声」のように声と言い方を組にしてテストケースを作ってしまい、「声による差」に見えていたものが、実は「言い方による差」だったということがありました。比較したい軸ごとに件数をそろえておくことで、こうした取り違えを防げます。
4-2.語彙だけが異なる Lex ボットの作成
次に、比較用の Lex ボットを作成します。今回は音声認識の部分だけを見たいので、インテントはダミーを 1 つ置くだけにしました。カスタム語彙はロケール単位の設定なので、ロケールの設定(信頼度のしきい値や音声)を Amazon Connect で使っているボットとそろえておけば、語彙の効果を比べられます。
カスタム語彙は、TSV ファイルを zip にしてインポートする形で登録し、ビルド後にバージョンとエイリアスを作成しました。語彙なしのボットは、このインポートを行わずにビルドします。作成した 3 つのボットは以下のとおりです。
この手順では、以下の点に気を付ける必要がありました。
-
インポート用の zip のファイル名は固定:インポート機能を使い、手元で作成したTSVファイルからカスタム語彙を登録する場合
CustomVocabulary.tsv以外の名前だと、「語彙が含まれていない」というエラーでインポートに失敗します。
4-3.Polly で電話相当の音声を作成し、S3 に置く
テストケースの SSML を Polly で読み上げ、音声ファイルを作成します。Amazon Connect に電話で入ってくる音声に近づけるため、出力形式は 8kHz の PCM にしています。作成した音声は、S3 にアップロードしておきます。
aws polly synthesize-speech \
--engine neural --voice-id Kazuha \
--output-format pcm --sample-rate 8000 \
--text-type ssml \
--text "<speak>えーと、<break time='400ms'/>エー、イチニビーサン…です</speak>" \
s001.pcm
aws s3 cp s001.pcm "s3://${BUCKET}/audio/s001.pcm"
アップロードが終わると、S3 には以下のように音声ファイルが並びます。
4-4.S3 の音声を Lex に聞かせる
ここが本記事の肝となります。
Lex V2 には、音声を受け取って文字起こしを返してくれる recognize-utterance という API があります。これを使えば、Amazon Connect に電話をかけることなく、Connect 経由で受けるのと同じ形式の音声を、直接 Lex に渡すことができます。
今回は、S3 の音声一覧を取得し、1 件ずつ取り出して 3 つのボットに順番に聞かせるスクリプトを、xargs で 6 並列にして実行しました。
run_case() {
local key=$1 id tmp
id=$(basename "$key" .pcm)
tmp=$(mktemp)
# recognize-utterance はファイルのパスしか受け取らないので、一度ローカルに落とす
aws s3 cp --quiet "s3://${BUCKET}/${key}" "$tmp"
while read -r name bot_id alias_id; do
aws lexv2-runtime recognize-utterance \
--bot-id "$bot_id" --bot-alias-id "$alias_id" --locale-id ja_JP \
--session-id "vt-$id" \
--request-content-type "audio/lpcm; sample-rate=8000; sample-size-bits=16; channel-count=1; is-big-endian=false" \
--response-content-type "text/plain; charset=utf-8" \
--input-stream "$tmp" \
/dev/null > "out/$id.$name.json"
done < bots.txt
rm -f "$tmp"
}
export -f run_case
# S3 の音声一覧を取り、6 並列で流す
aws s3 ls "s3://${BUCKET}/audio/" | awk '{print "audio/"$4}' \
| xargs -n 1 -P 6 bash -c 'run_case "$@"' _
```text
レスポンスに含まれる文字起こし(`inputTranscript`)は gzip 圧縮+Base64 エンコードされているため、デコードしてから取り出します。この文字列が、Amazon Connect 経由であれば AIエージェントに渡される内容です。
```python
import base64, gzip, json
raw = json.load(open('out/s001.None.json'))['inputTranscript']
text = gzip.decompress(base64.b64decode(raw)).decode().strip('"')
【重要なポイント】
-
--input-streamには S3 の URL を直接渡せない:S3 の URL や標準入力を渡すと、「Blob values must be a path to a file」というエラーになります。一度ローカルの一時ファイルに落としてから渡しましょう。
4-5.結果の判定
最後に、文字起こしと正解の型式を照らし合わせます。Lex は同じ数字でも「12」「十二」「イチニ」のように書き方が揺れるため、そのまま文字列を比較すると、語彙の効果を正しく測れません。
そこで今回は、1 件ずつ次の 3 つに分けて判定しました。
- ○ 正解:数字の書き方、英字の大文字・小文字、記号や空白をそろえたうえで、型式どおりに書けている
- △ 表記違い:「えー」「エー」を A に直すなど、英字の読み方を英字に置き換えると一致する(音としては合っている)
- × 不正解:それでも一致しない(音が聞き取れていない)
△ を設けることで、「音は聞き取れているが、書き方が型式の形になっていない」ケースと、「そもそも聞き取れていない」ケースを分けて数えられるようになります。AIエージェントの立場で考えると、△ はプロンプトや後処理で補える可能性がありますが、× は AIエージェントにはどうしようもない、という違いがあります。
5.検証結果
216 件の音声を 3 つのボットに聞かせた結果は、以下のとおりです。
| 判定 | 語彙なし(0 件) | 現行(236 件) | 拡充(465 件) |
|---|---|---|---|
| ○ 正解 | 3% | 44% | 55% |
| △ 表記違い(音は合っている) | 45% | 19% | 7% |
| × 不正解(音が聞き取れていない) | 52% | 37% | 38% |
結果を見ると、語彙を「入れる」ことと「増やす」ことで、効き方が大きく異なることがわかります。
語彙を入れると、聞き取れる量そのものが増える
語彙なしのボットは、正解がわずか 3% で、不正解も 52% にのぼりました。文字起こしを確認すると、「えービーシー一二三…」のように、型式の途中の数字が抜け落ちているケースが多く見られました。現行の語彙(236 件)を入れると、不正解は 37% まで下がっています。特に日本語読み(イチロクゴ)では、不正解が 66% から 37% へと大きく改善しました。現行の語彙には「エーイチロクゴ → A165」のような日本語読みが多く登録されているため、その読み方の数字を拾えるようになったのだと考えられます。
語彙を増やすと、表記がそろう
一方、現行(236 件)から拡充(465 件)にすると、正解は 44% から 55% に増えましたが、不正解は 37% と 38% でほとんど変わっていません。増えた正解は、△ から移ってきた分です。実際の文字起こしを比べると、現行の語彙では「エーワンシックスファイブ…」とカタカナで返していたものが、拡充した語彙では「aワンシックスファイブ…」と英字で返ってきていました。聞き取った音は同じで、書き方だけが型式の形にそろったということです。AIエージェントから見ると、型式の形で文字が届くようになるため、ツールに渡す値や復唱の精度が上がることが期待できます。
語彙では解決できない苦手もある
型式の途中で言い淀んだケースは、語彙の有無にかかわらず、不正解が 86〜92% とほとんど聞き取れませんでした。なお、声による差は小さく、拡充した語彙での不正解は Kazuha・Takumi が 36%、Tomoko が 40% でした。
こうした語彙で解決できない部分は、AIエージェント側で補うことになります。たとえば、プロンプトで「1 文字ずつ区切っておっしゃってください」と案内させる、聞き取った文字列を製品マスタと照合して最も近い型式を返すツールを用意する、といった対策を組み合わせていく予定です。
6.Amazon Connect への反映
検証で効果を確認できた語彙は、Amazon Connect のコンタクトフローから呼び出している Lex ボットに反映します。手順は、検証用ボットに語彙を登録したときと同じく、インポート → ビルド → バージョン作成です。最後に、コンタクトフローが参照しているエイリアスを新しいバージョンに向け直せば、AIエージェントの受付に反映されます。
エイリアスを向け直す方式にしておけば、コンタクトフローを編集し直す必要はありません。また、問題があった場合も、エイリアスを元のバージョンに戻すだけで切り戻せます。
反映後は、実際に Amazon Connect の番号に電話をかけ、いくつかの型式で AIエージェントが正しく聞き取れているかを確認しておくと安心です。電話での確認は、大量の比較ではなく「最後の確認」として数件行うだけで済むのも、この検証方法のメリットです。
まとめ
本記事では、Amazon Connect の AIエージェントの聞き取り精度を上げるために、入口となる Lex ボットのカスタム語彙の効果を、電話をかけずに検証する方法をご紹介しました。
検証の結果、カスタム語彙は「入れる」ことで聞き取りそのものが良くなり、「増やす」ことで表記がそろうという、段階ごとに異なる効果があることがわかりました。逆に言えば、語彙をやみくもに増やしても、聞き取れる量が増えるとは限りません。AIエージェントの精度に課題を感じたときは、プロンプトを直す前に、まず Lex がどう聞き取っているのかを確かめ、何を目的に語彙を足すのかを意識することが大切だと感じています。
また、今回の「電話をかけずに Lex の聞き取りをテストする」方法は、カスタム語彙に限らず、ボットの設定を変えたときの比較にも応用できます。同じ音声で何百件も試せるので、感覚ではなく数字で判断できるようになるのが大きなメリットです。
Amazon Connect で AIエージェントによる電話受付を構築する際は、ぜひ今回ご紹介した方法で、AIエージェントの「耳」の精度を確かめてみてください!
参考




