毎回やっていた手作業
大事なことをChatGPTに聞きます。答えをコピーしてClaudeを開き、貼り付けて「これは正しい? 足りない点は?」と打ちます。そのあと2つの画面を行き来して、どこは両方が同じ見解で、どこは片方しか支持していないのかを見極めます。
別の会社のAIによるセカンドオピニオンは、1つのAIだけでは見落としうることを本当に拾ってくれるので、私はこれを毎日手作業でやっていました。ただ、この作業は遅く、急いでいるときほど真っ先に省いてしまいます。そして、そういうときこそ必要なのです。
そこで、iPhoneにやらせることにしました。名前は Duo。オープンソース(https://github.com/vadimchernets/poly-duo)で、操作はワンタップです。署名付きファイルを自分で扱わなくて済むように、日本語の案内でiPhoneにワンタップで入れられるページも用意しました:https://polyhelper.ai/ja/duo/
何が返ってくるか
ChatGPTが答えます。Claudeはその答えを読み、検証し、間違いを直します。約1分後、結果が画面とクリップボードに届き、iCloud Driveが使えるときはMarkdownジャーナルにも保存されます。冒頭は3つの短いブロックです。
- 両者が一致:頼ってよい部分
- 食い違う点:一次情報に当たるべき部分
- 自分で確認:2分で終わるチェックリスト
その下にチェック済みの回答全文が続きます。
肝心なのは真ん中のブロックです。2社の2つのモデルがどこで食い違うかという地図は、そのまま行動に使えます。なめらかにまとまった1段落には、それができません。
スマホでは初めての仕組み
PCでは、AIをつなぐ試みは以前からありました。ブラウザ拡張、有料のAIハブ、API構成などです。しかしスマホで、無料で、2つのAIの間に何も挟まない形のものは、これまでありませんでした。
iOS 18以降、ChatGPTアプリとClaudeアプリは自分たちのショートカットアクション Ask ChatGPT と Ask Claude を公開しています。Duoはこの2つを1つのショートカットの中でつなぎます。この1点で、ほかの特徴がすべて説明できます。
- スマホ上で動く。 Duo自身の通信はありません。ネットワーク通信は、2つの公式アプリがそれぞれの会社と通信するもの(とiCloudの同期)だけです。
- 自分のアカウントで動く。 無料アカウントで足ります。すでにPlusやProを使っているなら、2社のそれぞれのプランで使えるモデルが追加費用なしで連携します。
- 当方のサーバーもAPIキーもPCも不要。 アクションボタン、背面タップ、Siri、ロック画面に置けば、「セカンドオピニオン」ボタンになります。
1分かける価値がある場面
Duoは、間違いが高くつく質問のためのものです。
- 署名前の契約条項
- これから支払う取引先
- リリース直前のコード
- 実行に移す前のお金や健康の質問
- 取り消せないメール
- 転職のオファー(給料は上がるが通勤は長くなる)
重要な回答を2つのAIで照合する習慣は、すでに多くの人が手作業で実践しています。Duoは、タブの行き来をなくしたその習慣です。
4つのモード、4つの場面
初日に必要なのは、デフォルトのCritiqueだけです。ほかに11のモードがワンタップで選べ、それぞれ選ぶ前にメッセージ消費量(✉バッジ)が表示されます。
Critique(批評):「これは正しい?」 ChatGPTが下書きし、Claudeが検証して改善版を返します。冒頭は先ほどの3ブロックです。取引契約の一節を貼り付けて、解約条項が実際に何を約束させるのかを聞くと、1つの回答に加えて、弁護士に確認すべき点の短いリストが付きます。消費は、自分のプランから3メッセージです。
Dispute map(争点マップ):「食い違いを見せて」 2つが一致する点、しない点、検証可能な主張を整理します。結論は押しつけません。資料を1つも読む前に、何が争点なのかを正確に把握するのに向いています。
Debate until agreement(合意まで討論):「決められない」 ChatGPTが立場を取り、Claudeが反論し、どちらかが折れるまで最大3ラウンド続きます。最後に、合意した点、まだ争われている点、あなたが決めるべき点が示されます。正解のない問い、よく論じられた答えしかない問いのためのモードです。
Synthesis(統合):「両方のいいとこ取り」 2つのAIが互いに見ないまま回答します。一方が土台になり、もう一方は足りない点だけを足します。長い回答を2つ読まなくても、網羅性が手に入ります。
どれを選ぶか迷ったら、Auto が質問を読んで1つ提案します。
Trio:無料キーで加わる3社目
2つの声が同じ死角を共有することもあります。Trio は3社目のモデルを加えます。Claudeの検証のあと、質問と2つの回答を読み、両者が見落としたことだけを、Claudeの回答の下の独立したブロックで指摘します。
次のサービスの無料キーが使えます。最初にNVIDIA(Kimi K3、GLM-5.3、DeepSeek V4.1 Flash)、次にGoogle AI Studio(Gemini)、GroqまたはOpenRouterです。キーはiCloud Driveに保存され、ショートカットの中には入りません。そのため、ショートカットを共有してもキーは共有されません。
仕組み
- ショートカットは1つ。12のモードは辞書で振り分けているので、新しいモードの追加は、コピーではなくエントリを1つ足すだけです。
- プロンプトは
locales/のプレーンテキストです。ショートカットはそこから生成され、リポジトリには11のロケール(日本語、中国語、アラビア語、ヒンディー語を含む)があります。 -
tools/verify.pyは署名済みの.shortcutを展開し、ソースと一致するかを検証します。インストールするものは、読めるものと同じです。 - Apache-2.0。
背景にある研究
Duoは、NeurIPS 2026のワークショップに採択された2本の論文と、併走研究のデータの再分析に基づいています。(1) 自己確信は弱いシグナルです(TAEワークショップ、doi:10.5281/zenodo.23197651)。16モデルの盲検コレクション(2026年7月末)のうちAPI経由の9モデル(claude-haiku-4-5、gpt-5-mini、gemini-3.6-flash、grok-4-fast、deepseek-chat、qwen-plus、kimi-k3、glm-4.5、mistral-small-latest)では、自己申告の確信度が自身の正否を予測するAUROCは0.53〜0.79でした。事前に定めた主パネル(CN:DeepSeek、Alibaba、Moonshot)では、盲検で聞いたモデルとの一致度が0.83で、自己確信の0.55を上回ります(Δ +0.29。正誤ラベルを使わない再コーディングでは0.775対0.545)。(2) 検証はまず盲検でなければなりません(ワークショップ「Who Verifies the Agents?」、doi:10.5281/zenodo.23197641)。2026年7月のAPI検証者6モデル(Anthropic、OpenAI、Google、DeepSeek、Alibaba、Moonshot)による探索的な同調アームでは、盲検で反対していた検証者が、同じ答えを同僚の答えとして見せられると38.5%(168/436)で支持に回りました。Duoの「Synthesis」と「Side by side」モードは、両方の答えを盲検で取得します。同じ論文で、母集団全体にとっての難易度が最も高い五分位において、2026年7月のAPIパネル(各ラボ1モデル。論文中では「frontier」と呼ばれていますが、9モデル中8つは廉価〜中位クラス)は106問で342個の答えを繰り返し、当初の採点では1つも正解がありませんでした。(3) 併走研究の公開済み主力モデルウェーブのデータの事後再分析(2026年10月26日。各ラボ1つの主力モデル、2026年8月5日時点):gpt-5.6-sol + claude-fable-5のペア、SimpleQA 1,459問、盲検回答、決定的同値性で一致したときだけGPTの答えを出力。カバレッジ69.6%、出力した答えの正答率98.1%(985/1,004)[97.2, 98.9]、GPT単独は95.3%。確信を持った誤りの率(確信度80以上、確信を持った答えに対する割合)は、GPTで4.6% → 1.9%、Claudeで10.3% → 2.8%;両主力モデルが確信を持って同じ誤りを犯したのは、問題のわずか1.0%(15/1,459)。WVAの106問(7月のモデルには難問)では、主力ペアは37問で一致し、34問で正解でした。同じラボの中位ペア(gpt-5-mini + claude-haiku-4-5、2026年7月):カバレッジ8.6%、出力した答えの正答率36.6%、106問では0/13。より強いペアは、あらゆる実用面で勝ります。カバレッジ×8、出力した答えの精度37% → 98%、出力した答えのうち確信を持った誤りが共通する割合8% → 1.5%。ChatGPT Plus/ProとClaude Pro/Maxなら、Duoはそれらのプランで最も強力なモデルを追加費用なしで動かします。上の数値は2026年8月5日時点のペアのものです。
限界:SimpleQAは公開されており、gpt-5.6-solは答えの61.6%で正解文字列をそのまま再現します。106問では単独で95.2%が正解、64.2%で正解文字列を再現しており、7月のモデルには難問でも、このモデルには難問ではありません。ゲートが除去するGPTの確信ある誤りの割合は、中位ペアのゲート(92.3%)より小さい(70.8%)です。主力対中位は2つの測定点です(月が異なり、GPTの推論強度はmediumとminimal)。ペアの数値は盲検先行のモードに当てはまり、ClaudeがChatGPTの答えを見るCritiqueには当てはまりません。WVAのゼロは母集団全体の難易度では成り立ち、パネル自身のモデルを除いた難易度(leave-panel-out)では、ブロックをまたぐパネルでは残ります(0/116)が、全体の集計では残りません(78/354)。WVAの手作業による正解の再判定で見つかった妥当な答えを正解とみなすと、このゼロは最大でも13/342になります(リフト0.98倍)。同調アームの逆プロンプト対照は、ローカルの6モデルで行いました。TAEのUSパネルでは、集計した自己確信が上回りますが(0.84対0.70)、これはモデル間の効果です(順位正規化後は0.67)。Claudeはアプリのデフォルトモデルで、ChatGPTはmodel: autoで動き、有料プランではそのプランのモデルが選ばれます。現在の主力モデルはまだ測定していません。データと論文:github.com/vadimchernets/papers · polyhelper.ai/research
モデルの階段(併走研究の公開済みデータの事後再分析、2026年10月26日、doi:10.5281/zenodo.22166995。NeurIPSワークショップ論文の成果ではありません)。同じSimpleQA 1,459問、両モデルとも盲検で、決定的同値性で一致したときだけGPTの答えを出力。中位ペア gpt-5-mini(推論 minimal)+ claude-haiku-4-5(2026年7月):カバレッジ8.6%(125)、出力した答えの精度36.6%(45/123)(GPT単独は11.7%)、確信を持った誤りは確信を持った答えの85.4% → 61.1%、最難五分位で0/14、WVAの106問で0/13。主力ペア gpt-5.6-sol(推論 medium)+ claude-fable-5(2026年8月5日):カバレッジ69.6%、出力した答えの精度98.1%(985/1,004)[97.2, 98.9](単独は95.3%)、確信を持った誤りは4.6% → 1.9%、両モデルが同じ確信ある誤りを犯したのは問題のわずか1.0%(15/1,459)で、出力した答えのうち1.5%(中位ペアは8.0%)。100問あたりの正しい出力は67.5対3.1。対応のあるブートストラップ(主力 − 中位):出力した答えの精度 +52.8…+70.0ポイント、カバレッジ +58.5…+63.7ポイント。データ収集後に作った新しい2段階の100問では、主力ペアは32問で一致し、29問で正解でした(そこではGPTの推論は none)。この階段の動機は併走研究にあります。3大消費者向けAIプロダクトのデフォルト階層は主力階層より下にあり、消費者向けAI利用者のうちプレミアムに課金しているのは約3%です(Menlo Ventures、2025)。また対応のあるパイロット(gemini-3.1-pro、233問)では、提供元デフォルトの推論予算と低い予算で、精度は76.4%対75.1%(McNemar p = 0.648)、申告された確信度は+3.1ポイント(Wilcoxon p < 0.0001)、ECEは悪化(0.100対0.082)、コストは2.1倍でした。予算を増やして買えたのは確信度で、正答率の向上は検出されていません。これらのデータでは、相互チェックの信頼性はチェックという行為ではなく、ペアの階層の性質です。プランとの対応(2026年10月26日時点、claude.com/pricing、help.openai.com/en/articles/20001354 と /9793128、ChatGPTリリースノート、未測定):ChatGPT Free/Go — Luna(GPT-6 Lunaは10月8日から順次展開)、Plus — GPT-6 Sol、Pro 100/200ドル — 最も深いモードのGPT-6 SolとGPT-6 Pro(Astra)、Claude Free — Sonnet 5.5、Pro — Opus 5.5(Fableは使用クレジット)、Max — Fable 5.1。測定したペアの両ライン(Sol、Fable)は ChatGPT Plus/Pro + Claude Max で使えます。月額20ドルのプラン2つでGPT-6 SolとOpus 5.5が使えますが、ペアとしては未測定です。Duoでは、ChatGPTは auto、Claudeはアプリで選択したモデルで動きます。次の測定:各社のプラン階段にわたって、新しい問題セットで同じ盲検プロトコルを実施し、回答したモデルをデバイス上に記録します。
限界:測定点は2つで、曲線ではありません(月が異なり、GPTの推論強度は minimal 対 medium、SimpleQAへの接触度も異なります。gpt-5.6-solは答えの61.6%で正解文字列をそのまま再現します)。claude-haiku-4-5は1,459問のうち476問への回答を拒否しており、これが中位ペアの低いカバレッジの原因です。GPTのゲートが除去する確信ある誤りの割合は、主力で70.8%、中位で92.3%です。「主力」というラベルだけでは何も保証されません(2026年8月の主力11モデルで11.4〜95.4%)。推論予算の結果は単一モデルのパイロットで、低い予算と提供元デフォルトの比較であり、デフォルトを超える予算は未検証です(推論をオフにするとgpt-5.6-solは部分サンプルで92.0%から46.3%に低下しましたが、温度の変更と交絡しています)。無料プランや月額20ドルプランのペア、現在の主力モデルは測定していません。
試してみる
- iPhoneで https://polyhelper.ai/ja/duo/ を開き、Duoをタップします。ショートカットアプリが開くので、「追加」をタップします。開かない場合は、ページにある英語版を追加してください。
- 初回の実行では、ChatGPT、Claude、クリップボードについて確認が出るたびに「常に許可」をタップします(4〜6回)。
- セカンドオピニオンに1分かける価値のある質問をしてみてください。
必要なのは、iOS 18以降(iPhone 14で問題なく動きます)と、ログイン済みのChatGPTアプリ、Claudeアプリです。Android版のDuoはGoogle Playで無料です:https://play.google.com/store/apps/details?id=ai.polyhelper.a1
ソース(Apache-2.0):https://github.com/vadimchernets/poly-duo
インストールして、今週抱えているいちばん厄介な質問(契約書、オファー、diff)を投げてみてください。次にどのモードを足すべきか、コメントで教えてもらえたらうれしいです。もっと良くできるプロンプトがあれば、issueを開いてください。
実用的なコツをひとつ。実行中は画面に触れないでください。タップするとショートカットが止まります。
Vadym Chernets、独立系AI研究者(PhD)。AIの評価と検証に関する2本のポスターが、NeurIPS 2026のワークショップに採択されています:https://neurips.cc/virtual/2026/178299 · https://neurips.cc/virtual/2026/loc/sydney/173020



