週末のヤフーニュースで、『キングオブコント』三村マサカズの採点の妙 三村の「90点」が持つ意味 という記事が話題になっていました。記事は、お笑いコンテストでの採点の難しさに焦点を当てたもので、2020年『キングオブコント』において、さまぁ～ずの三村マサカズの採点と審査員コメントを例に、その難しさを解説したものでした。
審査結果の集計の難しさ
この例に限らず、一般に、複数の審査員が採点を行い、その合計点（もしくは平均点）をもって最終的な審査スコアとする方式では、2つの問題点が存在します。1つ目の問題点は、最終的な審査スコアが、採点のばらつきが大きい審査員の結果によって左右されるという点です。極端な場合、9人の審査員が89点、90点の二択で採点し、残りの1人の審査員が90点、100点の二択で採点すると、他の審査員の採点によらず、100点をつけた審査員一人の意見によって最終結果が決定されてしまいます。
もう一つの問題点は、（様々な要因によって）審査員の採点が失敗した場合も、他の採点者と同様、一律に合計計算に加味されるという点です。記事中でも、
審査員残り4人が90点台なのに、自分一人が80点台というのは、たぶん、点数をオープンしたときに、そこそこあせるとおもう。三村マサカズの表情も「あ、やっちまった」とおもってるようにも見えた。
とありました。より一般的なコンテストの場合、審査員の中でも確かな目利き力で採点できる人と、相対的に自信のない状態で審査に臨んでいる審査員がいるため、通常の合計点で審査員の採点を一律に扱うと問題になりそうな場合があることは、想像に難くありません。
CI技術による審査結果の解析
CI（コンセンサス・インテリジェンス）1技術を用いることによって、こうした問題点を解決し、より審査員の総合的な意向を反映した審査結果を得ることができます。これは、政府による補助金審査など、より精密な審査結果を得たい場面で用いられているアルゴリズムで、
- 審査結果の表から、審査員の目利き力を算出
- 審査員の目利き力を考慮した、総合スコア（CIスコア）を計算
という仕組みにより、審査結果を数学的に重み付けした総合スコアを導いています。この技術を使って、2020年『キングオブコント』の審査結果を分析してみます。
まずは審査結果の表を準備します。こちらのページから、ファーストステージの結果を参照しました。審査結果のばらつき（標準偏差）を見ると、ばらつきを大きく採点しているグループ（ダウンタウン松本・バナナマン日村・さまぁ～ず三村）とばらつきを小さく採点しているグループ（さまぁ～ず大竹、バナナマン設楽）に分かれていました。また、各出場者が獲得した合計点を見てみると、1位（ジャルジャル）は突出している一方で、3位から6位（同率5位）までは458〜454点と狭いレンジの中にひしめき合っているようです。
次に、CIアルゴリズムによる分析2を行います。まず審査結果から算出した審査員の目利き力（CI目利き力）を見てみると、さまぁ～ず大竹、バナナマン設楽は上記のばらつきこそ控えめなものの、CI目利き力が高いことから、手堅くパフォーマンスを見極めていることが分かります。ダウンタウン松本、バナナマン日村の両審査員も、採点のばらつきを大きくしながらも着実なジャッジを行っているようでした。一方で、先の記事にも書かれていたさまぁ～ず三村は、今回の審査結果から見るとCI目利き力が低い分析結果となりました。これは記事にも記載されているように、番組進行の都合上、1組ずつ採点しなければならない問題3などによって、周りの審査員と審査が噛み合わなかったことを示唆しています。このように、一見すると判別することが難しい審査員の目利き力をスコアとして数値化・可視化できることは、CI技術のひとつの特徴です（一般の審査では、番組放送のように審査員の仕草、コメントまで着目して洞察することは困難です）。
また、出場者のCI解析による審査スコア（CIスコア）を見てみます。1位のジャルジャルは元の得点が圧倒的だったため、CIスコアも同じように突出して1位となっています。一方で、単純な合計では密集していた3位から6位でしたが、審査員の目利き力を加味したCIスコアでは、3位と4位以降の差は広がり、逆に2位と3位の点数が近接するという結果になりました。ファイナルステージへの進出は3位までであったため、結果としてこれらの3組はファイナルに進むのに相応しかったということが分かりました。
その他、細かく見ると出場者の順位に変動があるようです（滝音：同率8位→9位、ザ・ギース：4位→6位、ニッポンの社長：同率5位→4位）。採点結果の単純合計とCIスコアの比較で、番組を視聴した感覚と合致した部分はあるでしょうか。
終わりに
今回の『キングオブコント』審査に限らず、年末に向けた様々なお笑いコンテスト、スポーツの採点競技など、審査員による採点結果が関わる場面は世の中に数多く存在します。採点結果によっては、目利き力を考慮することで1位が変動する場合もあり得ます。今後も機会がありましたら、話題の審査結果について、審査員の目利き力を加味したCI分析結果を公開していきたいと思います。
VISITS Technologiesでは、CI技術を含め、世の中のイノベーションを創発するテクノロジーを研究・開発する仲間を募集しています。採用やCI技術の適用に関して関心のある方はお気軽にご連絡ください。
-
株式会社VISITS Technologiesが開発、特許取得したアルゴリズム ↩
-
（アルゴリズムについて補足）評価結果から評価者の目利き力を推定し、最善の選択肢を算出する問題は、鶏と卵の関係にあります。つまり「真に最善の選択肢は、評価者の目利き力の重みが分かることによって決めることができる」「評価者の目利き力の重みは、選択肢の真の良し悪しが分かることによって求めることができる」という依存関係を同時に解決しなければなりません。一見するとこれらの両立は不可能のように見えますが、CIアルゴリズムでは、機械学習や音声認識で用いられる反復法アルゴリズムをこの問題に適用し、数学的に最適解を導いています ↩
-
本来のCIアルゴリズムは、自分の採点を提出前に修正可能な環境を想定しています ↩