1. はじめに
最近、私は個人研究で生成AIを活用している。
その中で、GoogleのGeminiを使う機会があった。
今回、文献指定（または章指定）を伴う調査を依頼した際に、予想以上に不正確な要約や誤った引用に遭遇した。
一方でChatGPTでは、少なくとも文献全体の概要を把握しているように見える場面があった。
また、些細な条件の違いで回答拒否に遭遇することもあり、「最新だから万能」というわけではないことを実感した。
2. 意外だったこと
世間では、
- 最新モデル
- 長いコンテキスト
- 高性能
というイメージが強い。
私自身も、
「大量の文献を扱うならGeminiが有利ではないか」
と思っていた。
しかし実際には、
- 文献の実在確認が必要
- 出典の検証が必要
- 引用の再確認が必要
という、ごく基本的な確認作業は欠かせなかった。
これはGeminiに限らない。
ChatGPTでも起こるし、他の生成AIでも起こる。
生成AIは「検索エンジン」ではなく「文章生成システム」であることを改めて認識した。
3. 一方でGeminiの良さもある
今回の経験でGeminiに失望したかというと、そうでもない。
むしろ、
- 発想が鋭い
- 視点が独特
- 大量の情報を整理するのが得意
という長所を再認識した。
特に議論の叩き台を作る能力は高い。
時々、
「その観点は思いつかなかった」
という回答を返してくる。
これは人間同士のブレインストーミングに近い価値がある。
4. AIごとの個性が見えてきた
使っていて感じるのは、各AIには個性があることだ。
- ChatGPT：対話や説明が得意、書籍の情報も多く記憶している
- Gemini：情報整理や発想が得意、データ検索がうまい
- Claude：コーディング支援が非常に強力、高い、1日の回数制限があり、少ない
- Grok：リアルタイム情報や独特の切り口が特徴、ｘアプリにいるのがなんか嫌
どれか一つが絶対的に優れているというより、
「どのAIに何を担当させるか」
が重要になってきている。
私自身が特に驚いたのはClaudeだった。
Mauiアプリケーションのコード生成では、ChatGPTやGeminiが苦戦する場面でも、かなり完成度の高いコードを一気に生成した。
もちろん万能ではない。
利用回数の制限もあり、毎日の利用には工夫が必要だ。
それでも、
「コードを書かせる」
という用途においては非常に強い印象を受けた。
5. ちょっとした笑い話(Grok)
AIごとに個性があるとは書いたが、使っていると本当に性格の違いを感じる。
ChatGPTは比較的落ち着いて説明してくれることが多い。
Geminiは時々鋭い視点を出してきて、
「なるほど、その見方はなかった」
と思わせてくれる。
一方でGrokは、なぜかX（旧Twitter）を見に行きたがる。
少し聞いただけなのに、
「Xではこのような議論があります」
「Xの投稿によると」
「X上の反応を見ると」
という流れになりやすい。
また、ある社会的な話題について相談した際には、まずXで反応を見たり、意見を発信したりする方向の提案が返ってきたこともあった。
もちろんリアルタイム情報を扱うという強みの裏返しなのだろう。
ただ、使っている側としては、
「いや、今回はTwitterの話じゃないんだが……」
となることもある。
AIごとに得意分野だけでなく、妙な癖まで見えてくるのは面白いところだと思う。
6. 制約を意識した瞬間
今回、制約について考えるきっかけになった出来事があった。
私は時々、童謡や有名な曲の替え歌を作って遊んでいる。
その流れで、軍事用語が含まれる替え歌を作ろうとしたことがあった。
もちろん軍事解説でもなければ、危険行為の話でもない。
単なる言葉遊びである。
しかしGeminiは途中で回答を停止してしまった。
おそらく、
・替え歌
・ジョーク
・軍事用語
という文脈ではなく、
「軍事用語が含まれている」
という部分を強く検知したのだと思う。
安全性を重視する設計としては理解できる。
ただ利用者としては、
「いや、そういう話じゃないんだけどな」
と苦笑いする場面でもあった。
生成AIを使っていると、このような場面に時々遭遇する。
AIは人間のように文脈を理解しているように見える。
しかし実際には、安全性やリスク管理のための様々な判定が組み込まれている。
今回の出来事は、
AIの能力の限界というより、
AIサービスとして運用する難しさを感じた経験だった。
もちろん、こうした制約には理由がある。
多くの利用者が利用するサービスである以上、安全性や法的リスクへの配慮は欠かせない。
一方で、利用者が自由に試行錯誤したい場合、その制約が壁になることもある。
その点で興味深いのがローカルLLMである。
ローカルLLMにも性能や運用コストの課題はあるが、モデルや設定を利用者自身で管理できる。
少なくとも現在のところ、クラウドサービス固有の制約から離れて実験できる数少ない選択肢の一つだと感じている。
今回の検証では、文献内容に基づく評価と、会話文脈から推測された評価が混在する傾向が見られた。特に複数の記事を扱った際、一方の記事の論点が他方の記事の評価に混入するケースがGeminiで確認された。これは大規模言語モデルに見られるハルシネーションや文脈補完の一種である可能性がある。
7. Anthropic Mythos(検証型AI)への期待
現在、私はAnthropic Mythosにも注目している。
まだ公開されていないため、性能評価や他の生成AIとの比較を行う段階ではない。
しかし、その思想や方向性には大きな興味を持っている。
私自身はオブジェクト指向の歴史や設計思想に関心がある。
近年のAIは、
- コード生成
- 要約
- 情報検索
に強い。
一方で、
- なぜその設計思想が生まれたのか
- どの方法論がどの方法論へ影響を与えたのか
- オブジェクト指向黎明期の各手法は何を目指していたのか
- 設計思想同士はどのような関係にあるのか
といった構造的な分析は、まだ十分に開拓されていないように感じる。
私がMythosに期待しているのは、単なる回答生成ではない。
知識や概念同士の関係性を整理し、その構造を見える形にすることである。
もしその方向へ進化するのであれば、
- オブジェクト指向方法論の比較
- 設計思想の系譜分析
- ソフトウェア工学史の整理
- 概念モデルの検証
といった用途で活用してみたい。
現在の生成AIが「回答」を中心に発展しているとすれば、
私がMythosに期待しているのは「構造の理解」である。
知識を答えるAIではなく、
知識の構造を理解し分析するAI。
そんな存在になれば、とても面白いと思う。
8. これからに期待したい
私は今回の経験で、
「AIはまだ発展途上だ」
という当たり前の事実を再認識した。
だからこそ面白い。
Geminiにも課題はある。
ChatGPTにも課題はある。
Claudeにも課題はある。
Grokにも課題はある。
ローカルLLMにも課題はある。
そしてMythosにも、これから乗り越えるべき課題があるだろう。
しかし数年前には考えられなかったレベルまで到達しているのも事実だ。
だから私は、
Geminiも応援したい。
ChatGPTも応援したい。
Claudeも応援したい。
Grokも応援したい。
ローカルLLMも応援したい。
そしてMythosも応援したい。
生成AIの競争は、どこか一社が勝つためだけのものではない。
それぞれが異なる強みを伸ばしながら発展していくことで、人間はより良い道具を手にすることができる。
そんな未来を少し楽しみにしている。