顧客アンケートや従業員アンケートの自由記述欄は、選択肢欄と違って放置されやすい。集まるのは「担当者が丁寧だった」「もう少し安ければ良い」のようなばらばらの文で、誰かが全部読んで整理する仕事になる。この整理をAIに任せるのは定番の使い方だが、依頼の仕方を間違えると、出てくる分類結果は毎回違うものになる。
ラベル名だけ渡すと起きること
AIに分類を頼むとき、多くの人はラベルの一覧だけを渡す。たとえば「対応、価格、品質、要望、その他」のような5個のラベル名だ。これだけでも一応の分類結果は返ってくる。ただし、次のような揺れが出る。
- 「担当者の説明がわかりやすかった」と「対応が丁寧だった」が、別のラベルに散る
- 「もう少し安ければ」と「料金に見合っていない」が、片方は「価格」に、片方は「その他」に入る
- 依頼のたびに同じ文が違うラベルに入る
原因は単純で、各ラベルの判断基準がAI側の推測に任されているからだ。ラベル名は短すぎて、「対応」が何を含むのかを一語から読み取ることはできない。
先に用意するのは「見本」
対策は、ラベルごとに「見本」を3〜5文ずつ先に用意することだ。見本は、実際の回答に近い文で書く。
- 対応: 「担当者の説明がわかりやすかった」「電話の受け答えが丁寧だった」「時間どおりに来てもらえた」
- 価格: 「もう少し安ければ良かった」「料金は妥当だと思った」「部品代が思ったより高かった」
見本があると、AIは「名前の定義」ではなく「文の形」を基準に分類する。表現が揺れても、意味が近いかどうかの判断が安定する。
見本を書くときの手がかりは2つある。過去のアンケート回答が溜まっているなら、そこから各ラベルに該当しそうな文を拾うのが確実だ。初回で実データがない場合は、現場の人が「こういう文が来るはず」と手で書く。完璧である必要はなく、外れた文は後から直せる。
「その他」の見方を先に決める
分類対象には「その他」が必要になるが、その他をどう扱うかは先に決めておく。決めておくべきは頻度で、週に1回、その他に入った文だけを人が眺める程度でよい。
その他が増えてくるとき、その中身は「まだ名前が付いていない不満」であることが多い。同じ趣旨の文が繰り返し現れたら、それは新しいラベルの候補だ。新しいラベルを足したら、その見本も3〜5文、その他の中身から拾って書く。
全数確認は不要、抜き取りで足りる
分類結果の確認も全数でやる必要はない。50件に1件の割合で目視確認し、誤りを見つけたら、その文を該当ラベルの見本に足す。これで次回以降の揺れが減る。確認の目的はミスの発見よりも、見本の更新にある。
架空の例: 設備保守会社E社の作業後アンケート
設備保守を手がけるE社(架空)では、作業完了後の顧客アンケートの自由記述が月に数十件溜まっていた。最初は5個のラベル名だけを渡してAIに分類を依頼したが、「対応」に入るはずの文が「品質」に混ざるなど、結果を読むたびに並びが変わっているように見えた。
見直しとして、各ラベルに見本を4文ずつ添えるようにした。すると1回目と2回目で同じ文が同じラベルに入るようになった。ほかにも、その他に「部品代が高かった」のような文が集中していたため、「料金」というラベルを追加し、その他から拾った文をそのまま見本にした。以後、その他に残る文は減ったという設定だ。
この例は運用の形を示すための架空の話だが、直しているのはAIではなく「渡すもの」である。依頼のしかたを整えるだけで、同じAIでも出せる結果の質が変わる。
まとめ
- 自由記述の分類は、ラベル名ではなく「見本」で判断基準を渡すと揃う
- 見本は各ラベル3〜5文、過去の回答から拾うのが確実
- 「その他」は週1で眺め、増えていたら新しいラベルの候補とみる
- 確認は抜き取りでよい。誤りを見つけたら見本に足して更新する
分類の精度は、AIの性能よりも見本の質でほぼ決まる。そして見本にできる文を知っているのは、現場の声を日常的に読んでいる人だ。AIに任せる前の30分を、この見本づくりに使うのが一番割が良い。