ChatGPTにGoogle検索させたけれど、期待した回答が得られなかった事への考察

状況

• 何を期待したのか
  • ChatGPTに2023年の秋に公開される映画とその概要をまとめて欲しい
• 何を試したのか
  • 以下のプロンプトを渡した
    • 2023年秋に公開される映画タイトル挙げて概要を教えて
• 実装
  • ChatGPTにfunction callingでGoogle Custom Search APIを実行できる関数を渡した
    • その関数はレスポンスの中のitem objectをそのままChatGPTに渡す
• 得られた結果
  • シティーハンター以外は存在していない映画が返ってきた
  • 

原因の考察

Google Custom Search APIのレスポンスをそのままChatGPTに渡すべきでない

問い2023年秋に公開される映画タイトル挙げて概要を教えて に対して、ChatGPTはGoogle検索に2023年秋に公開される映画という問い合わせを行った。しかし、Custom Search APIのレスポンス(snippet 属性)は期待 ChatGPTに2023年の秋に公開される映画とその概要をまとめて欲しいを達成するの適した答えを返していない。(あくまでも 2023年秋に公開される映画 を調べるのに適したwebサイトを返してきている)

その結果、以下の文章を用いて"サスペンス映画の神様"という回答も無理くり作ってしまっている。

公開予定の映画作品、上映予定の最新映画の一覧。映画、海外ドラマ、 ... 2023年9月1日公開予定 ... “サスペンス映画の神様”とも称されるアルフレッド・ヒッチコック。

参考: Google Custom Search APIのレスポンスの snippet とは

https://developers.google.com/search/docs/appearance/snippet?hl=ja
https://developers.google.com/custom-search/v1/reference/rest/v1/Search?hl=ja#Result

参考: Google Custom Search APIのレスポンスの item 属性

{
   "items":[
      {
         "kind":"customsearch#result",
         "title":"2023年9月公開予定の映画作品|cinemacafe.net",
         "htmlTitle":"<b>2023年</b>9月<b>公開</b>予定の<b>映画</b>作品|cinemacafe.net",
         "link":"https://www.cinemacafe.net/movies/release/month/202309/",
         "displayLink":"www.cinemacafe.net",
         "snippet":"公開予定の映画作品、上映予定の最新映画の一覧。映画、海外ドラマ、 ... 2023年9月1日公開予定 ... “サスペンス映画の神様”とも称されるアルフレッド・ヒッチコック。",
         "htmlSnippet":"<b>公開</b>予定の<b>映画</b>作品、上映予定の最新<b>映画</b>の一覧。<b>映画</b>、海外ドラマ、 ... <b>2023年</b>9月1日<b>公開</b>予定 ... “サスペンス<b>映画</b>の神様”とも称<b>される</b>アルフレッド・ヒッチコック。",
         "cacheId":"MiZEylNXszMJ",
         "formattedUrl":"https://www.cinemacafe.net/movies/release/month/202309/",
         "htmlFormattedUrl":"https://www.cinemacafe.net/movies/release/month/<b>2023</b>09/",
         "pagemap":{
            "cse_thumbnail":[
               {
                  "src":"https://encrypted-tbn1.gstatic.com/images?q=tbn:ANd9GcSKndwWdxJH9CbujoGB8YKG741ktzhOf2MLzHyheVyAIeBS-MVuK-Sr85rz",
                  "width":"310",
                  "height":"163"
               }
            ],
            "metatags":[
               {
                  "og:image":"https://www.cinemacafe.net/base/images/img_ogp.png",
                  "fb:app_id":"486948414679153",
                  "og:type":"article",
                  "og:site_name":"cinemacafe.net",
                  "cxenseparse:pageclass":"frontpage",
                  "viewport":"width=device-width,initial-scale=1,user-scalable=yes",
                  "og:title":"2023年9月公開予定の映画作品|cinemacafe.net",
                  "cxenseparse:iid-page-name":"movie-list",
                  "og:url":"https://www.cinemacafe.net/movies/release/month/202309/",
                  "og:description":"公開予定の映画作品、上映予定の最新映画の一覧。映画、海外ドラマ、テレビ、最新のエンタメ情報をお届け！\u3000毎月の特集企画、話題のニュース、インタビュー、コラム、試写会プレゼントも！",
                  "cxenseparse:iid-page-type":"映像作品リストページ"
               }
            ],
            "cse_image":[
               {
                  "src":"https://www.cinemacafe.net/base/images/img_ogp.png"
               }
            ]
         }
      },
      {
         "kind":"customsearch#result",
         "title":"2023年公開予定の“注目”映画一覧、洋画・邦画・アニメ・実写化 ...",
         "htmlTitle":"<b>2023年公開</b>予定の“注目”<b>映画</b>一覧、洋画・邦画・アニメ・実写化 ...",
         "link":"https://www.fashion-press.net/news/82617",
         "displayLink":"www.fashion-press.net",
         "snippet":"Jul 19, 2023 ... 公開日：2023年11月3日(金). 「ゴジラ」最新作となる映画が、ゴジラ生誕70周年を迎える2024年に先駆けて公開される。監督・脚本・VFXは、山崎貴が担当\\xa0...",
         "htmlSnippet":"Jul 19, 2023 <b>...</b> <b>公開</b>日：<b>2023年</b>11月3日(金). 「ゴジラ」最新作となる<b>映画</b>が、ゴジラ生誕70周年を迎える2024年に先駆けて<b>公開される</b>。監督・脚本・VFXは、山崎貴が担当&nbsp;...",
         "cacheId":"n7S0JMtJkM4J",
         "formattedUrl":"https://www.fashion-press.net/news/82617",
         "htmlFormattedUrl":"https://www.fashion-press.net/news/82617",
         "pagemap":{
            "cse_thumbnail":[
               {
                  "src":"https://encrypted-tbn0.gstatic.com/images?q=tbn:ANd9GcQMqD-Z6bupr6DSrWeG-3cHR38N80HJhjWl7bUxayLIaCoc1Mr9xoW9yyM",
                  "width":"275",
                  "height":"183"
               }
            ],
            "metatags":[
               {
                  "application-name":"fashion press",
                  "og:image":"https://www.fashion-press.net/img/news/82617/top.jpg",
                  "theme-color":"#FFFFFF",
                  "og:type":"article",
                  "twitter:card":"summary_large_image",
                  "twitter:title":"2023年公開予定の“注目”映画一覧、洋画・邦画・アニメ・実写化作品など",
                  "apple-mobile-web-app-title":"fashion press",
                  "og:title":"2023年公開予定の“注目”映画一覧、洋画・邦画・アニメ・実写化作品など",
                  "csrf-param":"authenticity_token",
                  "og:description":"2023年公開予定の最新映画から“注目映画”を一挙に紹介。ハリウッド映画・洋画・邦画・アニメ・実写化など、注目の話題作をまとめた。庵野秀明最新作の映画『シン・仮面ライダー』や、宮崎駿監督のアニメ映画『...",
                  "twitter:image":"https://www.fashion-press.net/img/news/82617/top.jpg",
                  "fb:app_id":"482010981809098",
                  "twitter:site":"@fashionpressnet",
                  "viewport":"width=device-width, initial-scale=1, shrink-to-fit=no",
                  "twitter:description":"2023年公開予定の最新映画から“注目映画”を一挙に紹介。ハリウッド映画・洋画・邦画・アニメ・実写化など、注目の話題作をまとめた。庵野秀明最新作の映画『シン・仮面ライダー』や、宮崎駿監督のアニメ映画『...",
                  "csrf-token":"9w0vlShltFucltNAbFOLOopoU3lhgyNJNo3Un78ic9ae/ePEJg22Iv4mA8eRn8wlM7132D9THFcZeKeWrdyIUA==",
                  "og:locale":"ja_JP",
                  "fb:admins":"100003365683728",
                  "og:url":"https://www.fashion-press.net/news/82617"
               }
            ],
            "cse_image":[
               {
                  "src":"https://www.fashion-press.net/img/news/82617/top.jpg"
               }
            ],
            "listitem":[
               {
                  "item":"トップ",
                  "name":"トップ",
                  "position":"1"
               },
               {
                  "item":"ニュース",
                  "name":"ニュース",
                  "position":"2"
               },
               {
                  "item":"映画",
                  "name":"映画",
                  "position":"3"
               },
               {
                  "item":"特集",
                  "name":"特集",
                  "position":"4"
               }
            ]
         }
      },
      {
         "kind":"customsearch#result",
         "title":"公開予定スケジュール : 2023年8月 - 映画.com",
         "htmlTitle":"<b>公開</b>予定スケジュール : <b>2023年</b>8月 - <b>映画</b>.com",
         "link":"https://eiga.com/coming/",
         "displayLink":"eiga.com",
         "snippet":"映画作品の公開予定スケジュール一覧。2023年8月公開予定の映画の評価をチェック。公開カレンダーから気になる作品をCheck-inしたり、みんなの評価や満足度が高いもの\\xa0...",
         "htmlSnippet":"<b>映画</b>作品の<b>公開</b>予定スケジュール一覧。<b>2023年</b>8月<b>公開</b>予定の<b>映画</b>の評価をチェック。<b>公開</b>カレンダーから気になる作品をCheck-inしたり、みんなの評価や満足度が高いもの&nbsp;...",
         "cacheId":"oxaQL8k5ECEJ",
         "formattedUrl":"https://eiga.com/coming/",
         "htmlFormattedUrl":"https://eiga.com/coming/",
         "pagemap":{
            "cse_thumbnail":[
               {
                  "src":"https://encrypted-tbn2.gstatic.com/images?q=tbn:ANd9GcRwe9Z191qKZum0qLpf9VewqX3WvMh8oVXG0pC3Uo3e78pOtZLOVOWU7I8u",
                  "width":"200",
                  "height":"200"
               }
            ],
            "metatags":[
               {
                  "og:image":"https://eiga.k-img.com/images/shared/rectlogo_eigacom.png",
                  "theme-color":"#044899",
                  "og:type":"article",
                  "twitter:card":"summary",
                  "og:site_name":"映画.com",
                  "og:title":"公開予定スケジュール : 2023年8月 - 映画.com",
                  "og:description":"映画作品の公開予定スケジュール一覧。2023年8月公開予定の映画の評価をチェック。公開カレンダーから気になる作品をCheck-inしたり、みんなの評価や満足度が高いものから気になる映画を見つけよう - 映画.com",
                  "fb:app_id":"145954668916114",
                  "twitter:site":"@eigacom",
                  "viewport":"width=device-width,user-scalable=no,initial-scale=1.0,minimum-scale=1,maximum-scale=1,viewport-fit=cover",
                  "url-validation":"13111d521f19171b5151460d100c0c18",
                  "og:locale":"ja_JP",
                  "og:url":"https://eiga.com/coming/",
                  "format-detection":"telephone=no"
               }
            ],
            "cse_image":[
               {
                  "src":"https://eiga.k-img.com/images/shared/rectlogo_eigacom.png"
               }
            ]
         }
      },
      {
         "kind":"customsearch#result",
         "title":"「劇場版シティーハンター 天使の涙(エンジェルダスト)」公式サイト ...",
         "htmlTitle":"「劇場版シティーハンター 天使の涙(エンジェルダスト)」公式サイト ...",
         "link":"https://cityhunter-movie.com/",
         "displayLink":"cityhunter-movie.com",
         "snippet":"最強の敵と、最後の戦いへ－ 「劇場版シティーハンター 天使の涙(エンジェルダスト)」 9月8日(金)公開.",
         "htmlSnippet":"最強の敵と、最後の戦いへ－ 「劇場版シティーハンター 天使の涙(エンジェルダスト)」 9月8日(金)<b>公開</b>.",
         "cacheId":"2YTmygadzdQJ",
         "formattedUrl":"https://cityhunter-movie.com/",
         "htmlFormattedUrl":"https://cityhunter-movie.com/",
         "pagemap":{
            "cse_thumbnail":[
               {
                  "src":"https://encrypted-tbn0.gstatic.com/images?q=tbn:ANd9GcTPihilvjUf9UjaiX92uZ08FSZ1TXj4Tr2p7Ycs-0zIIXzxaBx5mNIOxzf-",
                  "width":"310",
                  "height":"163"
               }
            ],
            "metatags":[
               {
                  "og:image":"https://cityhunter-movie.com/og_ch2023_3.png",
                  "og:type":"website",
                  "twitter:title":"「劇場版シティーハンター 天使の涙(エンジェルダスト)」公式サイト | 9月8日(金)公開",
                  "twitter:card":"summary_large_image",
                  "theme-color":"#000000",
                  "og:site_name":"「劇場版シティーハンター 天使の涙(エンジェルダスト)」公式サイト",
                  "twitter:domain":"https://cityhunter-movie.com/",
                  "og:title":"「劇場版シティーハンター 天使の涙(エンジェルダスト)」公式サイト | 9月8日(金)公開",
                  "og:description":"最強の敵と、最後の戦いへ－ 「劇場版シティーハンター 天使の涙(エンジェルダスト)」 9月8日(金)公開",
                  "twitter:image":"https://cityhunter-movie.com/og_ch2023_3.png",
                  "apple-mobile-web-app-status-bar-style":"black-translucent",
                  "viewport":"width=device-width",
                  "twitter:description":"最強の敵と、最後の戦いへ－ 「劇場版シティーハンター 天使の涙(エンジェルダスト)」 9月8日(金)公開",
                  "apple-mobile-web-app-capable":"no",
                  "mobile-web-app-capable":"no",
                  "og:url":"https://cityhunter-movie.com/",
                  "format-detection":"telephone=no,address=no,email=no"
               }
            ],
            "cse_image":[
               {
                  "src":"https://cityhunter-movie.com/og_ch2023_3.png"
               }
            ]
         }
      },
      {
         "kind":"customsearch#result",
         "title":"映画『鬼太郎誕生 ゲゲゲの謎』続報解禁！新ビジュアル公開 ...",
         "htmlTitle":"<b>映画</b>『鬼太郎誕生 ゲゲゲの謎』続報解禁！新ビジュアル<b>公開</b> ...",
         "link":"https://www.toei-anim.co.jp/kitaro/news/2022030601.php",
         "displayLink":"www.toei-anim.co.jp",
         "snippet":"Mar 6, 2022 ... さらに、2023年秋に劇場公開決定！ 2018～2020年まで放送されていたTVアニメ「ゲゲゲの鬼太郎」第6期をベースに映画化される映画『鬼太郎誕生 ゲゲゲ\\xa0...",
         "htmlSnippet":"Mar 6, 2022 <b>...</b> さらに、<b>2023年秋</b>に劇場<b>公開</b>決定！ 2018～2020年まで放送されていたTVアニメ「ゲゲゲの鬼太郎」第6期をベースに<b>映画</b>化<b>される映画</b>『鬼太郎誕生 ゲゲゲ&nbsp;...",
         "cacheId":"WqHG1HB_bHUJ",
         "formattedUrl":"https://www.toei-anim.co.jp/kitaro/news/2022030601.php",
         "htmlFormattedUrl":"https://www.toei-anim.co.jp/kitaro/news/2022030601.php",
         "pagemap":{
            "cse_thumbnail":[
               {
                  "src":"https://encrypted-tbn3.gstatic.com/images?q=tbn:ANd9GcQ4-uigO_qBm0BgLhH-qFoFI9OchORrfdjQbIWhQ5Gbu4m2vH8yCa0xci8",
                  "width":"189",
                  "height":"267"
               }
            ],
            "metatags":[
               {
                  "og:image":"https://www.toei-anim.co.jp/kitaro/assets/img/news/2022030601.jpg",
                  "og:type":"website",
                  "twitter:card":"summary_large_image",
                  "twitter:title":"映画『鬼太郎誕生 ゲゲゲの謎』続報解禁！新ビジュアル公開！『鬼太郎誕生 ゲゲゲの謎』は 2023年秋 劇場公開 決定！",
                  "og:site_name":"「ゲゲゲの鬼太郎」-東映アニメーション",
                  "og:title":"映画『鬼太郎誕生 ゲゲゲの謎』続報解禁！新ビジュアル公開！『鬼太郎誕生 ゲゲゲの謎』は 2023年秋 劇場公開 決定！",
                  "og:description":"公開された谷田部透湖描き下ろしによる映画『鬼太郎誕生 ゲゲゲの謎』の第3弾ビジュアルでは、謎に包まれていた鬼太郎の父の全身の姿が遂に明らかに！ 座敷牢の中で煙草を吸う鬼太郎の父と、その後ろで言葉を交わしているかのように一緒に煙草を吸う謎の男の正体は…！？",
                  "twitter:image":"https://www.toei-anim.co.jp/kitaro/assets/img/news/2022030601.jpg",
                  "viewport":"width=device-width, user-scalable=no",
                  "twitter:description":"公開された谷田部透湖描き下ろしによる映画『鬼太郎誕生 ゲゲゲの謎』の第3弾ビジュアルでは、謎に包まれていた鬼太郎の父の全身の姿が遂に明らかに！ 座敷牢の中で煙草を吸う鬼太郎の父と、その後ろで言葉を交わしているかのように一緒に煙草を吸う謎の男の正体は…！？",
                  "og:locale":"ja_JP",
                  "og:url":"https://www.toei-anim.co.jp/kitaro/news/2022030601.php",
                  "format-detection":"telephone=no,address=no,email=no"
               }
            ]
         }
      }
   ]
}

問題への対応方法案

課題への対処は以下が考えられます。

• snippet を利用せずにGoogle Custom Search APIが提案したページの内容をクローリングする
  • 未検証
• プロンプトを調整してGoogle Custom Search APIの回答で意図に沿っていない回答を落とさせる
  • プロンプトを詳細化して目的に合っていない情報を落とさせるようにする
  • 　　

最後に

今後も OpenAI を使ったアプリ開発に関してレポートしていきます。励みになるので良かったらフォロー、いいねをお願い致します。