ChatGPT+PaLM+Claudeを使った合議制システムReConcileを試してみる

ReConcile（俗称MAGIシステム？）を試す

最近話題になった複数のLLMを使った俗称MAGIシステムを使ってみたので構築手順まとめ

生成AIが一般に注目され始めたあたりから、MAGIシステム的な活用方法はいろいろな人が試しているが、決定的に興味を持ったのはソフトバンクグループ孫会長のこのプレゼン
AIは「AGI」へと進化し、今後10年で全人類の叡智の10倍を超える

GPTの中 にキャラクターをいくつか作って、キャラクター同士でディベートさして、僕が審判役で見ながら時々ちゃちゃを入れるというやり方で議論がガンガン進んでいく

YouTubeにも動画があがっているようなので、興味がある方はご覧あれ
【ロングバージョン】ＡＩを世界一活用する企業に　ソフトバンクＧの孫氏が講演

ちょうどこんなリリースを見た後だったので、実際どうなのか試してみた流れ（・・・そしてまだ結論には至っていない）
GPT-4、Bard、Claude2などの異なるLLMが円卓を囲み議論した結果の回答は品質が高いとの検証報告。円卓ツールも公開

引用元の論文にも記載があるが、こちらのレポジトリで公開されているので便利。早速セットアップしてみる

git clone https://github.com/dinobby/ReConcile.git

git環境がセットアップされていない場合は、事前にgitをインストールしておく

sudo apt-get install git

インストールフォルダに移動して、pipでインストールできる

sudo pip install -r ./requirements.txt

Windows環境では、インストール時にC++ extentionをコンパイルするために、Microsoft Visual C++ 14.0 またはそれ以上のバージョンが必要になるようなので留意
環境によっては下記のインストールが必要となりそう
Microsoft C++ Build Tools

git clone したReconcileのルートディレクトリに、以下の内容で.envファイルを作成する

OPEN_AI_API_BASE = "..."
OPEN_AI_API_VERSION = "..." 
OPEN_AI_API_KEY = "..."
PALM_API_KEY = "..."
CLAUDE_COOCKIE1 = "..."
CLAUDE_COOCKIE2 = "..."
CLAUDE_COOCKIE3 = "..."
CLAUDE_COOCKIE4 = "..."
CLAUDE_COOCKIE5 = "..."

OpenAI APIとPALM APIにアクセスするためにAPIキーをここに設定する

Claudeからは非公式Claude-APIを使って結果を取得する仕組みらしい
CLAUDE_COOKIESには、Chromeなどブラウザの開発ツールなどで参照できるCookie値を取得してセットする

5つまで設定できて、制限に達したら5つまで順次使うような仕様に思えるが、そんなDOSアタックようなことして大丈夫なのか。いつかバンされそうなので、用途にあわせて修正したほうが良いのかもしれない。。

参考: Getting started with Claude
参考: Claude-API

以下のコマンドで実行できる

python run.py --num_samples 100 --dataset SQA

--num_samplesは生成するサンプル数を指定、--datasetは使用するデータセットを指定する。現在、データセットとして[“SQA”, “GSM8k”, “ECQA”, “AQuA”]が選択できる

データセットはdatasetフォルダに含まれていて、それぞれのデータセットは以下のソースから取得される

StrategyQA: https://github.com/eladsegal/strategyqa
ECQA: https://github.com/IBM/ecqa
GSM8K: https://github.com/openai/grade-school-math
AQuA: https://github.com/google-deepmind/AQuA

システムの出力はoutputフォルダに保存される。出力ファイルには、質問、正解、生成された回答などの情報が含まれる。

システムの詳細な仕組みや評価については、以下の論文を参照との事

@article{chen2023reconcile,
title={ReConcile: Round-Table Conference Improves Reasoning via Consensus Among Diverse LLMs},
author={Chen, Justin Chih-Yao and Saha, Swarnadeep and Bansal, Mohit},
journal={arXiv preprint arXiv:2309.13007},
year={2023}
}

参考: ReConcile: Round-Table Conference Improves Reasoning via Consensus among Diverse LLMs

参考文献：

• GPT-4、Bard、Claude2などの異なるLLMが円卓を囲み議論した結果の回答は品質が高いとの検証報告。円卓ツールも公開

2023年10月時点