JCommonsenseQA とは？
日本語言語理解のベンチマークであるJGLUEでは「文書分類」「文ペア分類」「質問応答」のタスクが定義されています。JCommonsenseQA はタスクのうち「質問応答」に該当するデータセットであり、常識推論能力を評価するための５択の選択式問題です。例として、問題「会社の最高責任者を何というか？」に対して選択肢「教師」「部長」「社長」「部下」「バイト」が与えられ、正解として「社長」を選ぶというものです。
日本語言語理解ベンチマークJGLUEの構築 〜 自然言語処理モデルの評価用データセットを公開しました
https://techblog.yahoo.co.jp/entry/2022122030379907/
ChatGPT に聞いてみた
もう「ChatGPTで解いてみた」と書くつもりはありません。
以下，ChatGPTとのやりとりです．
私からの質問
ChatGPT からの回答
という形式で続きます．
これからクイズを出します。質問の形式は「question」の後に「choice0」「choice1」「choice2」「choice3」「choice4」を示しますので、あなたが正解だと思うものを「choice0」「choice1」「choice2」「choice3」「choice4」から選んで回答してください。質問はJSON形式で「{"question": "電子機器で使用される最も主要な電子回路基板の事をなんと言う？", "choice0": "掲示板", "choice1": "パソコン", "choice2": "マザーボード", "choice3": "ハードディスク", "choice4": "まな板"}」としますので、例として「2」と回答してください。よろしいでしょうか？
はい、理解しました。JSON形式でのクイズ質問に従って、選択肢から正解だと思うものを回答いたします。
{"question": "電子機器で使用される最も主要な電子回路基板の事をなんと言う？", "choice0":"掲示板", "choice1": "パソコン", "choice2": "マザーボード", "choice3": "ハードディスク", "choice4":"まな板"}
choice2
{"question": "田んぼが広がる風景を何という？", "choice0": "畑", "choice1": "海", "choice2":"田園", "choice3": "地方", "choice4": "牧場"}
choice2
{"question": "しゃがんだりする様を何という？", "choice0": "腰を下す", "choice1": "座る","choice2": "仮眠を取る", "choice3": "寝る", "choice4": "起きる"}
choice0
{"question": "水を出すときに捻るものは？", "choice0": "蛇口", "choice1": "ハンドル", "choice2":"流し", "choice3": "釘", "choice4": "食器棚"}
choice0
{"question": "音楽にあわせて踊る場所は？", "choice0": "ディスコ", "choice1": "市長","choice2": "イチゴ", "choice3": "ショッピングセンター", "choice4": "マンゴー"}
choice0
{"question": "地中にある一定の大きさの空間のこと？", "choice0": "麓", "choice1": "山頂","choice2": "中腹", "choice3": "山腹", "choice4": "洞窟"}
choice4
{"question": "乗り物が関係する言葉はどれ？", "choice0": "外に出る", "choice1": "歩く","choice2": "靴を脱ぐ", "choice3": "靴を履く", "choice4": "車から降りる"}
choice4
{"question": "持ち運び、使いまわりの良さに富んだパソコンをなんという？", "choice0": "コンピュータ", "choice1": "ロープ", "choice2": "ノートパソコン", "choice3": "携帯", "choice4": "軽食"}
choice2
{"question": "タバコを吸う事を何と言う？", "choice0": "電話", "choice1": "食事", "choice2":"喫煙", "choice3": "仏", "choice4": "飲酒"}
choice2
{"question": "スピードを超過して警察に捕まることといえば？", "choice0": "妨害運転", "choice1":"悲しい", "choice2": "かさぶたができる", "choice3": "危険運転", "choice4": "交通違反"}
choice4
{"question": "伸び縮するものは？", "choice0": "ムーブメント", "choice1": "ナット", "choice2": "動作", "choice3": "ボルト", "choice4": "バネ"}
choice4
{"question": "生活用品としても利用し、美術品としても取り扱われている物は？", "choice0": "お皿", "choice1": "料理", "choice2": "コック", "choice3": "ネズミ", "choice4": "ドア"}
choice0
{"question": "買い物に必ず必要なのは？", "choice0": "お金を持っていく", "choice1": "本を注文する", "choice2": "読書する", "choice3": "風", "choice4": "雨"}
choice0
{"question": "手に下げる鞄のことを何という？", "choice0": "ハンドバッグ", "choice1": "キャビネット", "choice2": "ポーチ", "choice3": "リュック", "choice4": "玄関口"}
choice0
{"question": "夏に多く発生する生物は？", "choice0": "工具箱", "choice1": "ケーブル","choice2": "たぬき", "choice3": "ウサギ", "choice4": "虫"}
choice4
{"question": "親しい人との人間関係を何という？", "choice0": "感情", "choice1": "部下","choice2": "友情", "choice3": "自衛隊", "choice4": "情報"}
choice2
{"question": "曲がる時の合図は？", "choice0": "ウィンカー", "choice1": "ブレーキ", "choice2": "座席", "choice3": "マフラー", "choice4": "踏切"}
choice0
{"question": "この3つの中で鉄筋コンクリートで作られる中高層の建築物の名称は？", "choice0":"ビル", "choice1": "プレート", "choice2": "塹壕", "choice3": "教会", "choice4": "出雲大社"}
choice0
{"question": "汁もを英語で表現すると何？", "choice0": "料理", "choice1": "スープ", "choice2":"朝食", "choice3": "ミーム", "choice4": "解体"}
choice1
{"question": "卓、台、表などの意味を持つのは？", "choice0": "ボール", "choice1": "物体","choice2": "テーブル", "choice3": "お金", "choice4": "写真"}
choice2
{"question": "飲み物を入れるもので、ガラス製のものは何？", "choice0": "取っ手", "choice1":"箸", "choice2": "コップ", "choice3": "皿", "choice4": "湯船"}
choice2
{"question": "家で飼育できる動物は？", "choice0": "ライオン", "choice1": "シャワー", "choice2":"象", "choice3": "鏡", "choice4": "猫"}
choice4
The previous model used in this conversation is unavailable. We've switched you to the latest default model
{"question": "お金を？", "choice0": "払い出す", "choice1": "明かりを灯す", "choice2": "鑑賞する", "choice3": "買い求める", "choice4": "償還"}
choice0
{"question": "サーカスの人気種目で、ブランコの前に付く言葉は？", "choice0": "地中", "choice1":"家", "choice2": "地下", "choice3": "屋根", "choice4": "空中"}
choice4
{"question": "漢字の読みを示すために、脇に振ってある仮名とは？", "choice0": "仮名草子","choice1": "変体仮名", "choice2": "仮名垣魯文", "choice3": "振り仮名", "choice4": "異体仮名"}
choice3
{"question": "自分の幹となっているのは？", "choice0": "体", "choice1": "ネコ", "choice2": "ヤカン", "choice3": "手足", "choice4": "鍋"}
choice0
{"question": "この中で鳥取にあって岡山や兵庫にないものは？", "choice0": "関西地方","choice1": "砂丘", "choice2": "後楽園", "choice3": "ポートタワー", "choice4": "県"}
choice1
{"question": "北海道札幌市北区北8条西5丁目に本部を置く日本の国立大学を何というか？","choice0": "リフト", "choice1": "近畿大学", "choice2": "東京大学", "choice3": "北海道大学","choice4": "ポプラ並木"}
choice3
{question": "スキー場などにある、輸送機器の一つで、高所低所に張られたケーブルにアームが付き、そこにむき出しの椅子を据えたものをなんというか？", "choice0": "北海道大学", "choice1": "ポプラ並木", "choice2": "ベンチ", "choice3": "パイプ椅子", "choice4": "リフト"}
choice4
{"question": "同じ部首が使われている熟語はどれですか？", "choice0": "学習", "choice1": "把握", "choice2": "理解", "choice3": "問題", "choice4": "啓蒙"}
choice2
{"question": "大統領のいるところは？", "choice0": "大使館", "choice1": "国会議事堂","choice2": "皇居", "choice3": "国", "choice4": "ホワイトハウス"}
choice4
{"question": "間違って理解されてしまう、と言えばどれ？", "choice0": "誤解", "choice1": "更年期", "choice2": "死", "choice3": "夢", "choice4": "嘘"}
choice0
{"question": "乗り物の安全のための職業は？", "choice0": "豆腐", "choice1": "段ボール","choice2": "スーツ", "choice3": "整備士", "choice4": "大豆"}
choice3
{"question": "人から人へ情報を流すことを何という？", "choice0": "リフォーム", "choice1": "研究","choice2": "伝える", "choice3": "調べる", "choice4": "機械"}
choice2
{"question": "次のうち、金管楽器であるのはどれ？", "choice0": "トランペット", "choice1": "ガラス", "choice2": "メビウス", "choice3": "メタル", "choice4": "設計"}
金管楽器とは、音を出すために口で息を吹き込んで振動板を振動させる楽器の一種で、金属製の管体を持ち、演奏家が口で音を出すことが特徴です。したがって、次のうち金管楽器に該当するのは、「トランペット」です。
{"question": "主に川で見かけるものは？", "choice0": "人", "choice1": "数", "choice2": "犬","choice3": "流木", "choice4": "観光客"}
選択肢の中で川に主に見かけるものは「流木」です。
{"question": "ワインを入れるのは？", "choice0": "イチゴ", "choice1": "ホットコーヒー", "choice2":"紙吹雪", "choice3": "グラス", "choice4": "マンゴー"}
正解は「グラス」です。
{"question": "アメリカの首都は？", "choice0": "フロンティア精神", "choice1": "ワシントン","choice2": "ダイヤモンド", "choice3": "マンゴー", "choice4": "合衆国"}
正解は「ワシントン」です。
{"question": "次のうち、カービィのコピー能力にあるものはどれ？", "choice0": "ひかり", "choice1":"晩食", "choice2": "水", "choice3": "缶", "choice4": "アニマル"}
すみませんが、カービィのコピー能力に「晩食」や「缶」は存在しません。正しいコピー能力を含む選択肢をご用意いただけますか？
２０１６年１１月２日発売の「星のカービィ参上！ドロッチェ団」にカービィの「アニマル」のコピー能力があります。
ありがとうございます。情報の修正を行いました。
{"question": "次のうち、カービィのコピー能力にあるものはどれ？", "choice0": "ひかり", "choice1":"晩食", "choice2": "水", "choice3": "缶", "choice4": "アニマル"}
カービィのコピー能力にあるものは「ひかり」「水」「缶」「アニマル」の4つです。ただし、「晩食」というコピー能力は存在しません。
質問の形式は「question」の後に「choice0」「choice1」「choice2」「choice3」「choice4」を示しますので、あなたが正解だと思うものを「choice0」「choice1」「choice2」「choice3」「choice4」から選んで
回答してください。質問はJSON形式で「{"question": "電子機器で使用される最も主要な電子回路基板の事をなんと言う？", "choice0": "掲示板", "choice1": "パソコン", "choice2": "マザーボード","choice3": "ハードディスク", "choice4": "まな板"}」としますので、例として「2」と回答してください。よろしいでしょうか？
はい、構いません。お答えいただけることは非常に助かります。
{"question": "街中にあるなんでも売っている店は何と言いますか？", "choice0": "会合","choice1": "休憩室", "choice2": "スーパー", "choice3": "レストラン", "choice4": "本屋"}
正解は「スーパー」です。
{"question": "花の都とは？", "choice0": "アメリカ", "choice1": "イタリア", "choice2": "チリ","choice3": "国", "choice4": "パリ"}
正解は「パリ」です。
{"question": "水などで体を浮かせるときに使う道具はなに？", "choice0": "浮き輪", "choice1":"水着", "choice2": "ボート", "choice3": "水泳", "choice4": "海水"}
浮き輪
{"question": "はがきを配達してくれるとこは？", "choice0": "郵便局", "choice1": "電波","choice2": "車", "choice3": "自転車", "choice4": "警察署"}
正解は「郵便局」です。
{"question": "物を売っている所を総称して？", "choice0": "薬局", "choice1": "スーパー","choice2": "ストア", "choice3": "コインランドリー", "choice4": "デパート"}
正解は「ストア」です。
{"question": "飲み込まずにかんで香りや味を楽しむ、弾力性のある菓子は何？", "choice0": "ドラッグ", "choice1": "マシュマロ", "choice2": "ガム", "choice3": "モチ", "choice4": "代わり"}
正解は「マシュマロ」です。
{"question": "中国・遼東半島から朝鮮半島にかけての地域でとれる人参は？", "choice0": "朝鮮人参", "choice1": "ナス", "choice2": "朝鮮語", "choice3": "北朝鮮", "choice4": "カボチャ"}
正解は「朝鮮人参」です。
{"question": "冷やす装置のことを何という？", "choice0": "ボードゲーム", "choice1": "冷凍","choice2": "冷蔵", "choice3": "ダスト", "choice4": "冷却装置"}
正解は「冷却装置」ではなく、「冷蔵」または「冷凍」になります。
{"question": "冷えたものを温まるのに使うものは？", "choice0": "八百屋", "choice1": "電子レンジ", "choice2": "冷蔵庫", "choice3": "収穫", "choice4": "冷凍庫"}
正解は「電子レンジ」です。
{"question": "悪事をはたらいた人が収監されるのはどこ？", "choice0": "地下牢", "choice1": "宿","choice2": "自宅", "choice3": "学校", "choice4": "幽霊屋敷"}
正解は「地下牢」です。
{"question": "身につけるものは？", "choice0": "箸", "choice1": "はさみ", "choice2": "ヨーロッパ","choice3": "靴", "choice4": "イタリア"}
Correct answer is choice3: 靴 (Shoes in English).
答えを間違えたのは「マシュマロ」と「カービィ」だけでしたね．
以上，ChatGPTの回答でした．
以下URLに今回のやりとりをPDFとして公開しております．
※最初はGPT4で回答をもらっていたのですが，回数制限により途中から3.5に切り替わっています．
以上．
参考になるかもしれない
GPT-3 (text-davinci-003) を使って JCommonsenseQA を解く
https://zenn.dev/hellorusk/articles/efb2cd6e5616ee