「アンケートの回答データ、集計できる形にしておいてもらえますか」
先日そう頼まれて、送られてきたCSVを開いた瞬間、正直うんざりしました。
列名は SC1 SC2 SC3、その先は Q1 Q2 と続きます。値は 1 2 3。列を見ても値を見ても、何のことか分かりません。
意味は別のファイルに書いてありました。コードブックや対応表と呼ばれるものです。
SC1 は「あなたの性別をお答えください」で、値の 1 は男性、2 は女性。読めば分かります。分かるのですが、これを送られてきたCSVに当てはめていくわけです。対応表のほうは100行近くあります。
置換の手順そのものは決まりきっていて、迷うところはありません。ただ、面倒くさいですし、時間もかかります。
「AIデータ」は自分には関係ないと思っていた
ところで、私が所属しているExploratoryという会社は、社名と同じ名前の分析ツールExploratoryを作っています。そこに少し前、「AI データ」という機能が付きました。自然言語で指示すると、AIがデータを取ってきてくれるものです。
一問一答ではなくエージェント形式になっていて、渡したデータの中身をAI自身が確認しながら、どう取り込むのがよいかを提案してきます。
この機能をお客様に紹介するとき、自分が出していたのはこういう例ばかりでした。
- 「東京都の人口データを取得して」
- 「データベースから顧客ごとの過去12か月の売上を取得して」
- 「このWebサイトから商品価格の一覧を取得して」
SQLを書かせるか、外からデータを引っ張ってくるか。そういう機能として紹介していました。
ただ、この日は目の前に46列のCSVがありました。どうせ手を動かすなら先に試してみるかと、2つのファイルをそこに放り込んでみたわけです。
データを放り込むだけで全てが終わってしまった
AI データの画面にデータをドラッグして放り込むと、取り込み方の候補がいくつか並びました。
そこで、「中身を確認して最適なインポート方法を提案」を選択しました。
すると、AIが2つのファイルの関係の整理を始めました。
そして、取り込み方針を5つ提示してきたので、「列名を設問文に変換し、値も回答ラベルに変換する」を選択しただけです。
AIの作業が完了するとプレビュー画面が表示され、コード化されていた列名や値がコードブックをもとに変換されたことを確認できます。
後は保存するだけです。ここまで2〜3分。半日を覚悟していたので、完全に拍子抜けです。
よく見たら、AIはかなり細かいところまで見ていた
うまくいきすぎて逆に怖くなったので、生成されたスクリプトを読みました。
そこでわかったのは、AIが単純な一括置換を行っているわけではない、ということでした。
対応表をあらためて見ると、設問文が入っているのは各設問の最初の行だけで、2行目以降は空欄になっています。
SC3（役職）は4行に分かれていますが、設問文が入っているのは1行目だけです。このまま突き合わせると、2行目以降は設問文を失います。生成されたコードには、この空欄を上の値で埋めてから使う処理が入っていました。
そして、設問のタイプごとに処理を分けていました。
対応表には「質問タイプ」という列があって、SA（単一回答）、MA（複数回答）、NUM（数値）が入っています。
生成されたコードは、これを見て質問タイプごとに処理を分岐させていました。
どちらも、対応表を最後まで読まないと分からないことです。「AIに投げたら勝手にやってくれた」と思っていたら、AIがやっていたのは自分が普段行っている判断そのものでした。
「それ、毎回AIに頼むんですか？」
AIが作るのはデータではなく、データ分析のためのR言語のスクリプトです。
そのため、来月データが差し替わったら、再インポートを押せばそのスクリプトが流れるだけで、AIは動きません。
毎回投げ直す必要も、そのたびに結果がぶれる心配もありません。ここが曖昧だと、結局怖くて業務には使えません。
さらに、この処理はAIデータの「スキル」として保存されています。
次回、似たデータを取り込もうとすると、AIはこのスキルを参照します。一度やったことが次からは前提になるため、より高速に処理を終えられます。
もう前のやり方には戻れない
半日を見込んでいた作業が、2〜3分で終わりました。ただ、戻れないと思った理由はそこだけではありません。
もう一つは、こちらがルールを教えなくても、データを見てルールのほうを見つけてくれたことです。
対応表の設問文が最初の行にしかないことも、設問のタイプによって扱いを変えなければいけないことも、こちらからは何も言っていません。
しかも、やったことはスクリプトとして残ります。来月また同じ依頼が来ても、同じ手順がそのまま流れます。一度きりで消えてしまう手作業とは、そこが決定的に違います。
次に同じようなCSVが送られてきても、もうExcelは開かないと思います。
本格的に学びたい方へ：アンケートデータ分析トレーニング
この記事で書いたのはデータを取り込むところまでですが、その先の集計や分析については、2日間のオンライントレーニングを開催しています。
1日目はクロス集計分析、ウエイトバック集計、仮説検定、データ加工。2日目はクラスタリング、因子分析、テキストデータ分析、レポート作成まで。統計の知識は必要ありません。
自分のデータで試してみたい方へ
本記事の取り込みはすべてExploratoryで行っています。手元のアンケートデータで試したい方は、下記より無料トライアルが可能です。
ぜひ、お試しください！