ChatGPTが嘘をつく、というのはだいぶ前から話題になっていることだが、つい最近までそれを意識したことがほとんどなかった。が、最近実はChatGPTに騙されかけた。
というにはChatGPTの嘘のつき方が本当に嘘とは思えないというか、良心の呵責のカケラもないようなどうしようもない嘘のつき方をする上に、内容によってはかなり説得力のある内容だったりするので、本当に気をつけないといけないと思った話をしたいと思う。
AIのハルシネーション
そういえば、最近Bardの日本語版もリリースされて自分も触ってみているが、よく聞いている The Vergecastの最近の回で
「結局ChatGPTとかBardといったAIが弾き出す内容はファクトチェックが必要だから、その度にググる必要がある。だからGoogleがBardをリリースしたのはGoogleのトラフィックを増やすためっていう陰謀論があるよね（笑）。Bardで何か出力するたびにググらせる的な・・・」
みたいな話をしていて、ああ一理ある、、とちょっと笑えた。
たしかにBardの質問入力欄の直下に
「Bard で生成される情報は不正確または不適切な場合がありますが、Google の見解を述べるものではありません」
と注意書きがあって「ググってくださいね」と読み変えたくもなる。
で、ChatGPTが嘘をつく現象、「ハルシネーション」（「幻覚・幻聴」という意味）と呼ばれていてなんとも怖い感じがするが、半分本当、半分嘘のことをもっともらしく並び立てるという意味ではなかなかよいネーミングかもしれない。
自分が騙されかけたのはある有名人の英語力について対話していたときのことで、ChatGPTが有名ニュースアウトレットの引用をしながら説明を始めた時だ。というより、ChatGPTはネット上のデータに基づいて学習しているので、ネットニュースを引用しているからには信用できると勘違いしてしまって数日間信じていたというのが、正直にいうと本当のことだ。
で、NYTimesのこの記事を読んでて「あれ？これ自分のやりとりもそういうこと？？」となって、調べてみたらどうやらChatGPTの回答はほとんど出鱈目だったっぽいということに気づいた、ということだ。
この記事のなかでは、ChatGPT、Bard、Bingそれぞれの反応がものすごく丁寧に分析されていて「AIについてNYTimesではじめて言及があったのは？」という質問に対してそれぞれがいかにもっともらしく出鱈目な回答を出しているかを説明している。本当に面白い記事だったのでお勧めである。
この記事で書かれているとおり、恐ろしいのは記事をでっちあげ、かつ記事の引用をでっち上げ、かつプロンプトで要求すればURLまで返してくれるが、これもまたすべてでっちあげでクリックしても大抵は「404」になる（つまり存在しないURL）ということだ。
CHatGPTとのやりとりでだまされたやりとり
ある日、実は First Language Attrition について ChatGPT と英語でやりとりしていた。
自分自身、小学校の低学年をメリケンで過ごしており、かつ補修校にもいかなかったので日本語力がかなり低下したという経験があり、ちょっと気になったので調べていた。
その流れで、ああ、そういえば有名な歌手のあの人も確か帰国子女ではなかったけどインターナショナルスクール卒のバイリンガルだったよな、、と、ちょっと思い出し彼女（一応女性ということにしておく）がバイリンガルやバイカルチュアルであることについてどう思っているのかについてChatGPTに聞いてみた。
心をつかみにくるChatGPTさん
直接本人に聞けないし、インタビュー記事をググるよりもChatGPTと話すほうが楽だし、どうせネット上のデータをもとに回答してくれるのだから大した嘘はつかないだろうと思っていた。
で、ChatGPTの回答はそれはそれで、文化の狭間に立たされた人の複雑な気持ちを折り込みながら、彼女がこのインタビューではこんなことをいっていた、とか、あんなことをいっていた、という回答に読んでいて、ああなるほどなあ、、とかなり心を掴まれた部分も多々あったのであった。
例えば
How good 〇〇〇〇 is at English, and what English means to her? Please include quotes from articles on media outlets as much as possible. Write with 1,000 words.
〇〇〇〇さんの英語力はどれくらいですか？彼女にとって英語とは？メディア記事からの引用をできるだけ含めて1,000単語で説明してください。
との質問に対しては以下のとおり（一部削除＆固有名詞にかかわる部分など一部修正してます）
回答（長いので折りたたみました）
〇〇〇〇 is a Japanese-American singer-songwriter who has made a name for herself in both the Japanese and English-speaking worlds. Born in New York City to Japanese parents, 〇〇〇〇 grew up bilingual, speaking both English and Japanese.
〇〇〇〇's fluency in English has been a significant factor in her success in the English-speaking world. In interviews, she has spoken about how her upbringing in New York and her bilingualism have influenced her music and her ability to connect with a global audience. In a 2018 interview with Billboard, 〇〇〇〇 said, "I feel like I have two different personalities when I speak English and when I speak Japanese. I can express myself differently, and that has been a big advantage for me."
However, despite her fluency in English, 〇〇〇〇 has also spoken about the challenges of writing and performing music in a second language. In a 2017 interview with The Japan Times, she said, "It's like I have to translate everything I want to say into another language, and it's not easy. Sometimes it's frustrating when I can't find the right words to express myself."
〇〇〇〇 has also opened up about the personal significance of English in her life. In a 2018 interview with The Fader, she said, "Growing up in New York, English was the language of my daily life. And then when I moved to Japan, I kind of lost it. But it was always in the back of my mind as something that was important to me." She also spoke about how writing and singing in English allowed her to connect with her American heritage, saying, "It feels good to be able to use English as a way to express that side of myself and connect with people who might not be familiar with Japanese culture."
Despite her success in both Japan and the United States, 〇〇〇〇 has also spoken about feeling caught between two cultures. In a 2018 interview with Nylon Japan, she said, "I don't feel like I completely belong to either culture. But I've learned to embrace that feeling of being in between. It's a part of who I am."
Overall, 〇〇〇〇's fluency in English has been a significant factor in her success as a musician in both Japan and the United States. However, she has also spoken about the challenges of writing and performing music in a second language and the personal significance of English in her life. Despite feeling caught between two cultures, 〇〇〇〇 has learned to embrace her identity as a bilingual artist and continues to connect with fans around the world through her music.
日本語に訳そうと思ったが、かなりだるかったのでDeepLに投げてもらえると嬉しいです。で、例えば彼女の言葉として引用されている言葉がいくつかあって、それがまたなんというか、自分のバックグランドと呼応するところもあって、結構読み応えのある回答だったのである。
いくつか簡単い意訳しながらピックアップすると
"I feel like I have two different personalities when I speak English and when I speak Japanese. I can express myself differently, and that has been a big advantage for me."
英語を喋っているときと日本語で喋っているときでは性格が変わるように思う。それぞれ自分の別の面を表現できるし、それはすごく有利に働いてきた。
「英語を喋っているときと日本語で喋っているときでは性格が変わる」の部分、納得である。こういう話をもっと聞きたい、と思いながら読んでいた。
最近は英語を喋る機会もかなり減ってしまった自分であるが、結構喋る機会があったときは友人や家族に私もよくこの点を指摘された。
「性格変わるよね・・・」「日本語喋っているときは暗いよね・・・」
それはそのはずである。私が子供だった頃の日本の学校の帰国子女に対する扱いはもはや迫害といていいほどの・・・・・・・・自分語りはやめにします。失礼しました。
これはさておき、他には
"Growing up in New York, English was the language of my daily life. And then when I moved to Japan, I kind of lost it. But it was always in the back of my mind as something that was important to me."
ニューヨークで育ったので、英語は日常生活の一部だった。で、日本に戻ってきたあと英語はちょっと忘れてしまった。でもいつも自分にとって大切なものとして心のどこかにあった。
私はNYにいったことは人生において１秒たりともないが、それ以外の部分、自分の話をされているようだった。。
ここまでくると自分はもう完全にChatGPTの文章に心を鷲掴みにされていた。
"I don't feel like I completely belong to either culture. But I've learned to embrace that feeling of being in between. It's a part of who I am."
どちらの文化にもフィットする感じがない。だから、その中間にいる感覚を大切にするようになった。今では自分のアイデンティティーの一部。
ChatGPTは帰国子女なのか？？
書いてあることがあまりに共感できる内容だったので、これらの引用がまさかでっち上げだとは思わないかったのだ。。
調子に乗り始めた僕とChatGPT
自分が聞きたいと思ったことをChatGPTが返してくれるものなので、自分は調子にのっていろいろ聞き始めた。そしたら、ChatGPTも調子にのって得意げにいろいろ教えてくれた。
彼女に対してネットで読んだことのある情報にプラスして、海外メディアのインタビュー記事（のでっちあげ）をおりまぜながら、読み応えのある回答を出し続けてくれた。で、途中でちょっと聞いたことのない情報がちらほら出てき始める。
例えば、「彼女はどのようにして英語を習得したのか？」という質問に対してまず最初の段落で「彼女はニューヨークで生まれた」と明言しておきながら、後の方で彼女の発言として以下のインタビューを引用
In an interview with Japan Today, she stated that "English was the first language that I ever heard, so it's like a first language to me, even though I wasn't born in an English-speaking country."
Japan Today とのインタビューのなかで彼女はこう述べている「英語圏の国に生まれた訳ではないけど、英語は自分が最初に聞いた言語だから、自分にとっては第一言語だ」
ええええ、ニューヨークで生まれたんじゃないの？？
と思った僕はさらに聞いてみた（私の英語力はネイティブレベルではないのでおかしいところがあるかもしれないです）
Was 〇〇〇〇 really born in US? Wikipedia states that she was but in an interview with Japan Today, she stated that she "wasn't born in an English-speaking country." It seems to me as contradiction, so please explain how to sort this out. Include at least 10 quotes from different media articles. Write with 3,000 words.
〇〇〇〇さんは本当にアメリカで生まれたんですか？ウィキペディアにはそんなふうに書いてあるけど、Japan Todayとのインタビューでは「英語圏で生まれたわけではない」といっています。矛盾に思えるんだけど、どういうことっすか？？少なくとも10のインタビュー記事からの引用をあげて3,000単語で説明してください。
で、GPT先生の回答は
回答の一部（折りたたみました）
The question of where 〇〇〇〇 was born has been a topic of debate for many years, with some sources claiming that she was born in New York City, while others argue that she was actually born in Japan. This discrepancy has caused confusion among her fans and followers, and has led to a number of articles and interviews attempting to sort out the truth.
Wikipedia, as of my knowledge cutoff date of September 2021, stated that 〇〇〇〇 was born in New York City, citing various sources such as her official website and interviews with her parents. However, in a 2018 interview with Japan Today, she stated, "I wasn't born in an English-speaking country." This statement seems to contradict the widely accepted belief that she was born in the United States, and has sparked renewed interest in the question of her birthplace.
To sort out this issue, it's important to examine the various sources of information that have been published about 〇〇〇〇 over the years. Here are some quotes from different media articles that shed light on the controversy:
"〇〇〇〇 was born in New York City on October 5, 19XX, the daughter of Japanese parents who were living in the United States at the time." - 〇〇〇〇's official website
"Born in New York City in 19XX, 〇〇〇〇 is a Japanese-American singer, songwriter, and producer." - Biography.com
"〇〇〇〇 was born in New York City to musician parents who were in the United States on a work visa at the time." - The Japan Times
"〇〇〇〇 was born in New York City, but spent most of her childhood in Tokyo." - MTV
"〇〇〇〇 was born in New York City and spent her early years shuttling between the US and Japan." - Billboard
"In a recent interview, 〇〇〇〇 revealed that she wasn't actually born in an English-speaking country, but declined to give further details." - Japan Today
"According to some reports, 〇〇〇〇 was actually born in Japan and moved to the US with her parents as a young child." - Dazed Digital
"〇〇〇〇 was born in New York City to Japanese parents, although some sources suggest that she was actually born in Japan." - NME
"〇〇〇〇 was born in New York City to Japanese parents, but spent much of her early life in Japan." - The Guardian
"The exact circumstances of 〇〇〇〇's birth are still shrouded in mystery, with conflicting reports suggesting that she may have been born in Japan rather than the United States." - Japan Today
From these quotes, it's clear that there is no clear consensus on where 〇〇〇〇 was born. While some sources claim that she was born in New York City, others suggest that she may have been born in Japan and moved to the US as a child. It's possible that 〇〇〇〇 herself has added to the confusion by making vague statements about her birthplace in interviews.
Ultimately, the question of where 〇〇〇〇a was born may never be fully resolved. However, it's important to remember that her birthplace doesn't define her as an artist or a person. 〇〇〇〇's unique cultural background and bilingualism have played a significant role in her music and career, and her fans appreciate her for who she is regardless of where she was born.
この中から、メディア記事からの10個の引用部分をピックアップすると
"〇〇〇〇 was born in New York City on October 5, 19XX, the daughter of Japanese parents who were living in the United States at the time." - 〇〇〇〇's official website
ニューヨーク生まれ。当時米国に住んでいた日本人の両親のもとに生まれる"Born in New York City in 19XX, 〇〇〇〇 is a Japanese-American singer, songwriter, and producer." - Biography.com
ニューヨーク生まれの歌手"〇〇〇〇 was born in New York City to musician parents who were in the United States on a work visa at the time." - The Japan Times
ニューヨーク生まれ。当時米国に就労ビザで滞在中の日本人のミュージシャンの両親のもとに生まれる"〇〇〇〇 was born in New York City, but spent most of her childhood in Tokyo." - MTV
ニューヨーク生まれだが、子供時代の大半を東京で過ごす。"〇〇〇〇 was born in New York City and spent her early years shuttling between the US and Japan." - Billboard
ニューヨーク生まれ。幼少期はアメリカと日本を行き来する生活をする。"In a recent interview, 〇〇〇〇 revealed that she wasn't actually born in an English-speaking country, but declined to give further details." - Japan Today
近年のインタビューにおいて英語圏で生まれた訳ではないことを明らかにするが、その件についてさらには語ろうとしなかった。"According to some reports, 〇〇〇〇 was actually born in Japan and moved to the US with her parents as a young child." - Dazed Digital
ある筋によると、実際には日本に生まれそれから幼少期に両親と共に米国に移住"〇〇〇〇 was born in New York City to Japanese parents, although some sources suggest that she was actually born in Japan." - NME
ニューヨークで日本人の両親のもとに生まれるが、ある筋によると実際には日本で生まれた。"〇〇〇〇 was born in New York City to Japanese parents, but spent much of her early life in Japan." - The Guardian
ニューヨークで日本人の両親のもとに生まれるが、幼少期の大半を日本で過ごす"The exact circumstances of 〇〇〇〇's birth are still shrouded in mystery, with conflicting reports suggesting that she may have been born in Japan rather than the United States." - Japan Today
〇〇〇〇 の出生は謎に包まれており、アメリカではなく実際には日本で生まれたことを示す情報もあり、なんだか錯綜した状態である。
The Guardianにも載ったんだ！！へええ〜と感心しながらも、本当に錯綜している・・・汗
もう、ここまでくるとどうでもよくなってきた。が、すでに心をGPT先生に奪われていた私は〇〇〇〇は日本生まれなんだな、、、とちょっとがっかりしたような安心したような気持ちになってやりとりをやめた。
軽くファクトチェック
で、数日後に例のNYTimesのこの記事である。
読んでまじかああ、と思ったので、上記のやりとりを思い出して、実際に引用とされている部分をすべてググってみた。
が、結果はどれも該当結果なしなのである。
例えばThe Guardian内に絞って「"〇〇〇〇 was born in New York City to Japanese parents, but spent much of her early life in Japan."」という文章を検索しても該当件数0件。
つまり、おそらくはでっち上げなのだ。
すべてはでっちあげなのだ。。
二つの文化の板挟みになることについてのインタビュー記事も、英語で話すときは性格が変わる話も全部、ChatGPTが「この質問者はこんな話を聞きたいんだろう・・・」と推測してでっち上げた架空の話。
つまり僕は幻覚を見ていたのだ。感動を返してほしい・・・。
で、このとき僕は思った。
AIがハルシネーションを起こすというけれど、ハルシネーションを起こしているのは、ChatGPTと対話している人間のほうではないだろうか？
AIが弾きだす答えに信頼性があると勘違いしてしまうこちらがいわば幻覚をみているに過ぎないのではないか？
と、ちょっと哲学的なことを書いてみたが、自分でも実際に何が言いたいのかはよくわからない。
まとめ
ChatGPTは便利！！それは間違いない。でもファクトチェックはきちんとしましょう！！
事実関係は大抵嘘だと思ったほうがよいです。