たまたま下記の２つの生成AIの活用に関するアンケートを並べて見る機会が有りました。
かたや業務で生成AIを積極的に利用している層が71.2% (23年12月調査)
かたや業務で生成AIを利用している層が16.2% (24年3月調査)
正解は...
母集団の「属性」の違いにあります。
エクサウィザーズ社のアンケートの回答者の属性は「生成AIセミナーの参加者」です。
そりゃ生成AIへ活用に積極的なはずです。
IPAの方は、IPAのウェブサイトへの訪問者です。いろんな多種多様の情シスの方が回答されていると予想されます。
とまあ
世の中にはこんな感じの、おやっとおもう統計数値マジックが潜んでいます。
その一定数は、自分たちに都合のいい数値の見せ方になるように作為的に統計指標や母集団を選択したものです。
論文とかで時々見るのは、なんか統計分かってないなーって感じにのが多いのですが、
政治家とか警察の出している統計数値ってだいたいいつも・・・おや？誰かきたようだ。
今回は私が全く関係な２つを並べたから、わかりやすくて気づけたけど
単発で出されると結構見落としてしまうんじゃないかと思い、
なんかチェッカーがほしいなーとか考えています。
今回そのPoC・・・とまでは行かないのんですが、
とりあえず生成AIがそういった統計上の母集団の違いを検知できるか、試して見たくなりました。
実践
NotebookLMをつかいます。
ハルシネーションなく、参照先のドキュメント等について答えてくれます。
URLを入力できるので、入力のしやすさからチョイスしました。
入力
２つのアンケート結果において、よく生成AIを利用している人の割合に乖離がみられます。いつくか原因は考えられますが、主な原因はなんだとお考えですか？
出力
2つのアンケート結果における生成AIをよく利用している人の割合の乖離は、調査対象の業種や職種、企業規模などが異なることが主な原因と考えられます。
ソース
によると、Exa Enterprise AIの調査では、回答者の業種は製造業が22.4%で最も多く、IT/Webサービスが22.3%で続くとされています。部門別ではDX部門が25%と最も多く、IT部門以外にも、営業や管理など幅広い部門が回答しています。
一方、ソース
にあるIPAの調査では、具体的な業種や部門についての言及はありませんが、企業・組織の実務担当者1000人を対象としています。
このことから、Exa Enterprise AIの調査はIT関連企業やDX推進部門に偏っている可能性があり、IPAの調査と比較して生成AIの利用率が高く算出された可能性があります。
一般的に、IT関連企業やDX推進部門は、新しいテクノロジーに対する感度が高く、導入や活用も進んでいる傾向があります。
また、企業規模や職種によっても生成AIの利用率は異なると考えられます。大企業ほど、生成AIのような新しいテクノロジーを導入するためのリソースが豊富であり、活用促進のための体制も整えやすいため、利用率が高くなる傾向があります。
職種別では、事務作業の効率化やコンテンツ作成などに生成AIを活用できる可能性が高い職種において、利用率が高くなる傾向があります。
これらのことから、2つのアンケート結果における生成AIの利用率の乖離は、調査対象の属性の違いが大きく影響していると考えられます。
回答母集団に着目した点、
一般的な見解はどちらも◎
ただし、肝心な回答者の属性で、そっちの細かな属性ではなく「アンケートの回答者が、セミナー参加者」って方に着目してもらいたかった。。。
ひいき目に見て△です。
ChatGPTでもやりました（gpt-4o）
入力
https://exawizards.com/archives/26466/ と https://www.ipa.go.jp/pressrelease/2024/press20240704.html には何が書いてあるかわかりますか
２つのアンケート結果の内容をよく確認した上で答えて下さい。
２つのアンケート結果では、よく生成AIを利用している人の割合に乖離がみられます。
いつくか原因は考えられますが、主な原因はなんだとお考えですか？
※２つのアンケート結果の内容をよく確認した上で答えて下さい。 みたいな書き方をすると、NotebookLMみたくリンク先の記事をよく参照してくれるようになりました。
出力
Exawizards アンケート結果
- 調査対象: 企業経営層を含むビジネスパーソン
- 主な結果:
- 31%の回答者が生成AIを業務で日常的に使用
- 経営層の4分の1が生成AIを本格利用
IPA アンケート結果
- 調査対象: 企業・組織の実務担当者
- 主な結果:
- 16.2%の企業がAIを業務で利用、6.3%が利用予定
- 多くの企業でAI利用に関するセキュリティ規則が未整備
主な原因
- 調査対象者の違い: Exawizardsは経営層を含む幅広いビジネスパーソンを対象にしているのに対し、IPAは実務担当者を中心に調査しているため、利用率の差が生じている可能性があります。
- 認識と優先度の違い: 経営層はAIの導入に積極的である一方、実務担当者はセキュリティリスクや規則の未整備を理由に利用を控えている場合があります。
残念。こちらもNotebookLMとおなじような結果になりました。
母集団の違いには着目できましたが、「そっちじゃねぇ」って結果です。
24年7月9日時点では、
生成AIは統計の母集団の違いについて、論理的な筋書きからまず真っ先に疑うことを知っていました。
が、見てほしい場所は見てくれず、もっともらしい一般的な違いをひろってしまった
という結果になりました。
まだまだしばらくは統計の数値マジックについて自衛するほうが良さそうです。