AI より詳しくなくても、AI の回答を疑うことはできるか。AI がそれらしい答えをしてくると「そうなんだ~」で済ませてしまう問題、納得してしまう問題。全く分からない分野について知識で勝負するのは無理なのでどうすれば AI に対抗できるのか考えています。
結果 AI の答えを検証することをさせられていると感じます。お仕事にしても AI の提案をもとにサービスを組み立て試し、趣味にしても AI の勧める音楽を検証するように試し聞きし、などなど。
知識がなくても検証する方法はあります。ポイントは「量」ではなく「構造」で見ること。
検証の切り口
- 内的整合性: 前半の主張と結論が矛盾していないか。論理の飛躍がないか。
- 具体性 vs 曖昧さ: 固有名詞・数字・条件が具体的な部分は検証しやすい。「一般的には」「場合による」が多い部分は要注意。
- 対抗質問: 「なぜBじゃないのか」と聞く。理屈が一貫しているか、聞くたびにブレないか確認。
- 弱点を聞く: 「この提案が失敗するケースは?」とAI自身に反論させる。反論の質でも精度が見える。
- 自分の得意分野で"クセ"を掴む: 詳しい分野でAIがどこで外すかを観察し、その感覚を未知の分野にも転用する。
- 複数回・複数AIに聞く: 言い方を変えて聞く、別のAIにも聞く。一致する部分は信頼度UP、ブレる部分が怪しい境界線。
- 一点だけ外部検証: 全部は無理でも、一番調べやすい事実(固有名詞・引用元)だけ検索する。
知識で勝負するのではなく、AI の答えから「確かめられること」を一つ取り出して、現実にぶつける、ということをしばらくやってみています。
-
生成AI利用ガイドライン - 京都産業大学
- AIの回答を結論ではなく検討・判断の素材として扱い、鵜呑みにせず一次情報などでファクトチェックすることを推奨している。
-
AIを使いこなす力とは何か - お茶の水女子大学附属中学校
- AIを使いこなす力として「批判的に吟味する」「情報を取捨選択する」「AIと自分の思考を区別する」などを整理している。
-
卒論・修論作成における生成AI活用状況に関する調査 - 広島大学
- AIの出力を信頼できる文献と照合する、一次文献やURLを自分で確認するなど、実際の利用者による検証方法が紹介されている。
以上、100 日を目指し IT エンジニアのお仕事と、AI を雑多に考えてみています。
人に対するバイアスを取り除くには、どうすればいいと思う? #ポエム - Qiita
「仕事ができる人」って、結局どんな人だと思う? #ポエム - Qiita
早く答えることと、正しく答えること、どちらが大事だと思う? #ポエム - Qiita
「分かりません」と言えることも、技術力だと思う? #ポエム - Qiita
難しいことを簡単に話すのも、エンジニアリングだと思う? #ポエム - Qiita
どんな人を見ると「技術力が高そう」と感じる? #ポエム - Qiita
エンジニアの技量って、どうやって測ればいいと思う? #ポエム - Qiita
「IT に詳しい人」と「IT エンジニア」は、何が違うと思う? #ポエム - Qiita
「便利屋」と「エンジニア」の境界線はどこにあると思う? #ポエム - Qiita
「何も作らないこと」が最善のエンジニアリングになることはある? #ポエム - Qiita
問題を解くことと、問題そのものを小さくすること、どちらが大事? #ポエム - Qiita
「とりあえず調べます」と言える人は、なぜ強いと思う? #ポエム - Qiita
あえて即答しないほうがいいのは、どんなとき? #ポエム - Qiita
技術的には正しいのに、うまくいかないのはなぜだと思う? #Security - Qiita
一回の失敗から「この人はダメ」と判断しないためには、どうすればいい? #ポエム - Qiita
知っていることを全部説明しないことも、技術だと思う? #ポエム - Qiita
質問が上手い人は、何を見ていると思う? #ポエム - Qiita
ベテランの「なんか変だ」は、どこから来ると思う? #ポエム - Qiita
IT エンジニアにとって「経験」って何だと思う? #ポエム - Qiita
複雑なものを紐解くことも、エンジニアの仕事だと思う? #ポエム - Qiita
AI に全部聞けるのに、それでも勉強する必要はあると思う? #ポエム - Qiita
AI の答えを「答え」ではなく「最初の仮説」と考えると、何が変わる? #ポエム - Qiita
AI が 3 秒で答えると、自分の能力が小さく感じるのはなぜだと思う? #ポエム - Qiita
なぜ私たちは「速く流暢に答える人 = 頭がいい」と感じるんだろう? #ポエム - Qiita
AI に「それ本当?」と言えるようになるには、何が必要だと思う? #ポエム - Qiita
AI を鵜呑みにしないためには、どのくらい自分にも知識が必要? #ポエム - Qiita
AI と「議論する」って、どういうことだと思う? #ポエム - Qiita
AI にわざと反対意見を言わせると、何が見えてくる? #ポエム - Qiita
AI に「この回答の前提は?」と聞くと、何が分かる? #ポエム - Qiita
AI の答えを短期・長期で考え直すと、結論は変わる? #ポエム - Qiita
AI に「この案で困る人は?」と聞くと、何が見えてくる? #ポエム - Qiita
AI の答えが正しくても、採用しないほうがいいことはある? #ポエム - Qiita
AI 時代になって、勉強はむしろ難しくなったと思う? #ポエム - Qiita
「分かった」と「分かった気がする」は、どうやって見分ければいい? #初心者 - Qiita
AI に説明してもらったあと、自分では何を確認すればいい? #ポエム - Qiita