アンケートの自由記述をAIで分類する前に、プロンプトより先に決めることがあります。
それは、回答をあとから説明できる形で残すことです。
どの回答を分類したのか
どの設問への回答なのか
どの分類ルールを使ったのか
人間が確認したのか
対象外にした理由は何か
ここがないままAI分類を始めると、レポートは作れても、あとから説明できません。
この記事では、アンケート自由記述をAIで分類する前の列設計を整理します。
AIに渡す前の列
まず、自由記述をそのままAIに渡さないほうがよいです。
最低限、次の列を用意します。
response_id
question_id
question_text
answer_text
submitted_at
respondent_segment
consent_scope
classification_status
classification_version
review_status
reviewer
reviewed_at
exclude_reason
AIが読むのは answer_text だけではありません。
どの設問への回答か、どのセグメントか、どの同意範囲かも分類結果に影響します。
たとえば「高い」という回答だけでは意味が足りません。
料金について高い
導入ハードルが高い
満足度が高い
期待値が高い
設問と文脈がないと、AIはもっともらしい分類を返してしまいます。
分類ラベルを先に固定しすぎない
最初からラベルを固定しすぎると、回答の実態を取り逃がします。
価格
機能
サポート
導入
その他
このくらいの分類は便利ですが、自由記述では「その他」が膨らみます。
初回は、ラベルを2段階に分けます。
primary_theme
secondary_theme
さらに、AIが自信を持てない回答を逃がす列を作ります。
needs_human_review
classification_confidence
classification_note
ここで大事なのは、AIに全部決めさせないことです。
AIは候補を出し、人間がレビューします。
レビュー列を作る
AI分類を業務で使うなら、レビュー列が必要です。
ai_theme
ai_reason
human_theme
human_note
review_status
ai_theme はAIの出力です。
human_theme は人間が確定した分類です。
この2つを分けておくと、あとから次のことができます。
AI分類がどれくらい合っていたか
どの分類でズレやすいか
どのテーマが増えているか
人間レビューが未完了の回答はどれか
AI分類を導入する目的は、分類を自動化することだけではありません。
未処理の回答を減らし、説明できる状態を作ることです。
自由記述を1つの巨大な要約にしない
よくある失敗は、全回答をまとめてAIに渡し、全体要約だけを作ることです。
このアンケート回答を要約してください
これは最初の把握には便利です。
でも、業務判断には足りません。
必要なのは、回答単位の分類です。
response_idごとに分類する
分類理由を残す
低評価や緊急度を別列にする
人間レビュー対象を抽出する
要約は最後でよいです。
先に回答単位の状態を整えます。
低評価と自由記述を分けて見る
アンケートでは、数値評価と自由記述を一緒に見る必要があります。
score
comment
nps_group
sentiment
issue_theme
同じコメントでも、点数によって意味が変わります。
score: 9
comment: もう少し設定が簡単だとよい
score: 3
comment: もう少し設定が簡単だとよい
前者は改善要望かもしれません。
後者は離脱リスクです。
AI分類では、コメントだけでなく点数も渡します。
ただし、個人情報や不要な属性は渡しすぎないようにします。
プロンプトより先に運用を決める
プロンプトは大事です。
でも、その前に運用を決めます。
いつ分類するか
誰がレビューするか
分類結果をどこで見るか
再分類する条件は何か
分類ミスをどう直すか
これがないと、AI分類は一回きりの分析で終わります。
運用にするなら、分類結果は回答レコードに戻します。
classification_status: pending / classified / reviewed / excluded
この状態があると、未分類、要レビュー、確定済みを分けられます。
FORMLOVAで考えていること
FORMLOVAでは、フォーム回答を「集めた後のデータ」として扱います。
回答が届く。
状態がつく。
担当者が決まる。
通知される。
AIが分類候補を出す。
人間が確認する。
レポートに反映する。
この流れがあると、アンケート自由記述も、問い合わせも、採用応募も同じ考え方で扱えます。
アンケートに閉じないVOC分析の受け皿は、こちらにまとめています。
まとめ
アンケート自由記述をAIで分類する前に、次を決めます。
回答ID
設問ID
分類ステータス
AI分類
人間確認
除外理由
レビュー状態
AI分類は、きれいなラベルを付けるためだけのものではありません。
あとから説明できる回答運用を作るためのものです。
アンケート回答AI分析の全体設計は、FORMLOVAの正本記事で整理しています。