ビジネス・コンサルタントがChatGPTのようなAIを使うと仕事のアウトプットにどういった影響があるのかという疑問に答えるための実験を、ハーバード、ウォートン、MITといった大学とボストン・コンサルティングが行った結果の発表が最近ありました。
- Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality - リンク
この実験では、アメリカではビジネスコンサル業界でもトップクラスのボストン・コンサルティングから全コンサルの7％にあたる758人の本物のコンサルタントを世界中から集め、その人達を3つのグループに分け、実際に彼らが普段行っているようタスクを行うというテストを行いました。
3つのグループは以下のようになっています。
- ChatGPTを使わないグループ。
- 特に前もって説明を受けることなく、いきなりChatGPTを使い始めたグループ。
- 最初に効率的な使い方に関するガイドを受けた上でChatGPTを使うグループ。
ChatGPTでクオリティの高い答えを得るためには、プロンプトエンジニアリングと呼ばれる、要はどのように質問するかに関するちょっとしたスキルが必要となりますが、その準備をあらかじめしてから臨んだのが3つ目のグループということになります。
そして、この3つのグループに2つのタイプのタスクをこなしてもらうというものです。
1つ目のタイプは、コンセプトから始まる新しいプロダクトのアイデアを構想したり、レポートとして顧客（架空の企業のCEO）に提出するというもので、創造力、分析力、説得力、そして書く力が要求されるタスクです。これはChatGPTが得意だろうと想定されているもので、そういう意味もあってこのレポートでは「フロンティアの内側」と呼ばれているタイプのタスクです。
このタスクの実験の結果、ChatGPTを使った2つのグループは使ってないグループに比べ、12％多くのタスクを完了し、平均すると25％早くタスクを完了し、出されたレポートのクオリティは40％良かったということです。
2つ目は、過去の売上やフィナンシャルに関するデータといった定量データと社内関係者、顧客へのインタビューの結果を分析し、レポートとして顧客（架空の企業のCEO）に提出するというもので、特にデータを分析する力、説得力、そして書く力が要求されるタスクです。こちらは、ChatGPTが期待通りの成果を出すかどうか、現時点ではまだ明らからではないため「フロンティアの外側」と呼ばれているタイプのタスクです。
このタイプのタスクに関しては、ChatGPTを使った2つのグループは使ってないグループに比べ、それぞれ15％、25％ほどスコアが落ちたとのことです。
それでは、もう少し詳しく見てみましょう。
1. フロンティアの内側のタスク
参加したコンサルタントは18のタスクをこなすことが求められ、例えばまだあまり注目されていないある市場に対して新しい靴を売るために10個のアイデアを提案するといった創造力が求められるもの、靴市場を顧客視点でセグメント分けするといった分析能力が求められるもの、新しい製品のプレスリリースを格と言った書く力が求められるもの、従業員に対してなぜこの製品が市場で輝くかを説明するメモを書くといった説得力が求められるものが含められています。
このタスクでは、ChatGPTを使った2つのグループは使ってないグループに比べ、12％多くのタスクを完了し、平均すると25％ほど早い時間で終わらせ、出されたレポートのクオリティは40％良かったということです。
さらに面白いのは、参加したコンサルタントたちをスキルなどの点で上位と下位グループに分けた場合、下位グループでは上位グループに比べより大きな向上が見られるとのこと。上位グループの改善率が17％であるのに対し、下位グループの改善率はなんと43％とのこと！
2. フロンティアの外側のタスク
2つ目の実験では、コンサルタントは顧客の販売チャネルの売上に関するビジネスデータとファイナンシャルデータを分析し、さらに顧客に対するインタビューの結果をレビューすることで、どのチャネルがその会社にとってもっとも大きな成長が見込めるかを判断し、その顧客企業がとるべき戦略を提案するというものです。
この問題を正しく解決するためには、コンサルタントはインタビューの結果から得られたインサイトを元に定量データを分析することが求められます。
このタイプのタスクに関しては、ChatGPTを使った2つのグループはどちらも、使っていないグループ（Control Condition）よりも正確さにおいて低いスコアを出したとのことでした。
ChatGPTを使わなかったグループ（Control Condition）が85％ほどの正解率を出したのに対して、ChatGPTを使ったグループは事前にChatGPTのガイドを受けたグループで70％の正解率、受けていないグループでは60％ほどと低くなっています。
ChatGPTを使ったグループは、ChatGPTを使わなかったグループに比べてそれぞれ15％、25％ほどスコアが落ちたということです。
ここで面白いのは、先程の提案の「正しさ」という評価とともに、提案書の「クオリティ」という評価基準もあり、こちらに関してはChatGPTを使っているグループのほうが良かったということです。
ちなみにこれはボストン・コンサルティングのコンサルタントとビジネススクールのスタッフが10段階評価をつけるというもので、どのチャネル、またはブランドが良いかに関して正しいか間違っているかに関係なく、その提案書のクオリティのみに対する評価です。
これは「ChatGPTは間違っていても正しそうに見える」というよく言われている現象が起きているということでしょう。
まとめ
この実験から学べることは大きく2点あると思います。1つ目はChatGPTのようなAIはスキルの低い人にとってより大きな恩恵があるということです。文章力、説得力、説明能力といった、一般的に業界で長く仕事をするうちに習得されていくスキルは、ChatGPTのようなAIによって大きく補うことができるということです。
以前から言われていたことですが、人間の足りてないスキルや知識を「補う」または「拡張」するためにAIは役に立つというのが明らかになったいい例ではないかと思います。
もう1つの点は、ChatGPTのようなAIには得意なこととそうでないことがあるということで、そのことを知らずに、または忘れてしまって盲目的に使ってしまうのは危険だということです。
そもそも定量データやインタビューの結果は単純に明らかな1つの答えを待っているというわけではありません。インサイトを得ようとしている側、つまりビジネスを担当するもの（この実験の場合は顧客企業のCEO）が何を課題としているのか、何が前提であり、どういった仮説を持っているのか、さらにはすでに持っているドメイン知識によって大きく変わってきます。
こういったタスク、つまり課題設定、前提や仮説の定義といったものはどれもが人間が行うものです。さらに教科書から学べる知識だけでなく、業界で仕事をしていくうちに培っていくまだ言語化されていない知識や感覚を含めた上でのドメイン知識というのも、少なくとも今の時点では人間の方に大きなアドバンテージがあります。
その上で、全てChatGPTに任せたり、ChatGPTが返してくる答えをそのまま信じてしまうのではなく、あるタスクは人間が行い、あるタスクはAIに行わせる、といった判断をしていく必要があるということです。また、AIが作り出す答えを人間がチェックするという作業も欠かせません。
こうしたことに注意しないと、AIを盲目的に使ってしまうことで、結果として間違った提案をしてしまったり、間違った意思決定をしてしまったりということが起きてしまいます。そして、その際に責められるのはAIとなるでしょう。
そこで、「だからAIは使わない」となってしまうのはもったいないですね。先にも述べたように、説得力のある提案書や文章を書いたり、事前調査のために必要な情報を探し出し、アイデア出しのためのパートナーとしても優れている部分もあります。今回の実験でも確認されたように、スキルの低い人にとってはAIを使うことでよりクオリティの高いアウトプットを出すことができます。
私がExploratoryを通していつも言っているのは、データ・ドリブンではなくデータ・インフォームドにならなくてはいけない、つまりデータに踊らされるのではなく、データを使いこなし、自分の問題を解決するために必要なインサイトをデータから導き出し、最後は人間にとって最適な意思決定をしていくことが重要だと。
AIも同じで、AIドリブンとなってしまってAIに踊らされるのではなく、逆にAIを使いこなし、自分の課題解決のために必要なインサイトをAIを使って導き出し、最後は人間が人間にとってより良い意思決定を下していけるようになればいいですね。
以上。
データサイエンス・ブートキャンプ・トレーニング
データサイエンス、統計の手法、データ分析を1から体系的に学ぶことで、ビジネスの現場で使える実践的なスキルを身につけたいという方は、ぜひデータサイエンス・ブートキャンプ・トレーニングへの参加をご検討ください！
ビジネスのデータ分析だけでなく、日常生活やキャリア構築にも役立つデータリテラシー、そして「よりよい意思決定」をしていくために必要になるデータをもとにした科学的思考もいっしょに身につけていただけるトレーニングとなっています。