はじめに
初めましての人もそうでない人もこんにちは！
中華まんが美味しい季節になってきましたね！
まぁ外にはあまり出ないので食べる機会は非常に少ないですが・・・
今回はチキチキ「生成AI オセロ最強決定戦」を開催します！
開催理由は数多くある生成AIがあり生成AI同士で戦わせたらどうなるのか純粋に気になったからです！
オセロにした理由は開発しやすそうだったからという理由です
気が向いたら他のゲームの対戦もしてみたいですね！
オセロ勝負をさせるAIモデル
- エントリーナンバー1：Gemini
- エントリーナンバー2：Dify(GPT-4o-mini)
- エントリーナンバー3：Llama3
この3つのモデルを使用していきたいと思います！
ChatGPTではなくDifyを使用する理由はお金がかかってしまうためです！
今回はCludeは使う予定はありませんが参考までに載せておきます！
印象元：https://doubleknot.co.jp/blog/2024/09/08/ai-comparison/
実装したい機能
- 使用するモデルを選択
- 勝負毎に学習を重ねる
- 実際にオセロ勝負している様子を見せる
それでは頑張っていきます！
作ってみた
今回の記事で全てのコードを載せたかったですが少々ここに載せるには少々長くなるので後ほど載せるGithubURLから見ていただければ幸いです。
(本音を言うとめんどくさいです...)
技術スタックはReactとTypeScriptとPythonを用いて開発を行いました！
完成画面
さて、とりあえず完成できました！
それでは対戦していきましょう！
試合方法
- 2つのモデルを選択する
- 10回戦わせる
- 10回戦ったらサーバーを再起動して学習履歴をリセット
- 別のモデルを選択して以下同文
これらを繰り返してオセロ最強を決めていきたいと思います！
試合開始
1巡目：Dify vs Llama
これでは第1ゲームを開始します！
自動で進んでしまうため途中の画像にはなってしまいますがこのように動作させることができます！
第1ゲームの結果
これは...圧倒的ですね...
この調子で続けて結果を見ていきましょう！
第2ゲーム
どんでん返しがきましたね！今度は大差でllamaが勝ちました！
第3ゲーム
第4ゲーム
第5ゲーム
第6ゲーム
第7ゲーム
第8ゲーム
第9ゲーム
第10ゲーム
| dify | llama | |
|---|---|---|
| 1回目 | ⚪️ | ⚫️ |
| 2回目 | ⚫️ | ⚪️ |
| 3回目 | ⚪️ | ⚫️ |
| 4回目 | ⚪️ | ⚫️ |
| 5回目 | ⚪️ | ⚫️ |
| 6回目 | ⚪️ | ⚫️ |
| 7回目 | ⚫️ | ⚪️ |
| 8回目 | ⚪️ | ⚫️ |
| 9回目 | ⚪️ | ⚫️ |
| 10回目 | ⚪️ | ⚫️ |
最終成績: dify 8勝 - llama 2勝
圧倒的ですね...(2回目)
それでは次の試合はGemini vs Difyで対戦していきましょう！
サーバーを再起動して学習データをリセットします！
2巡目：Gemini vs Dify
第1ゲーム
第2ゲーム
第3ゲーム
第4ゲーム
第5ゲーム
引き分け！？
引き分けの処理やっていなかったなぁ
処理上はdifyの勝ちとなっていますが引き分けとしてカウントします！
第6ゲーム
第7ゲーム
第8ゲーム
第9ゲーム
第10ゲーム
| 回戦 | dify | gemini |
|---|---|---|
| 1回目 | ⚪️ | ⚫️ |
| 2回目 | ⚪️ | ⚫️ |
| 3回目 | ⚫️ | ⚪️ |
| 4回目 | ⚪️ | ⚫️ |
| 5回目 | - | - |
| 6回目 | ⚪️ | ⚫️ |
| 7回目 | ⚫️ | ⚪️ |
| 8回目 | ⚫️ | ⚪️ |
| 9回目 | ⚫️ | ⚪️ |
| 10回目 | ⚫️ | ⚪️ |
最終成績: dify 4勝5敗1分 - gemini 5勝4敗1分
予想外のことがありましたが今回の勝負はGeminiの勝ちとなりました！
ある程度予想はつきますが最後にgeminivsllamaと勝負をしていきたいと思います！
3巡目：Gemini vs Llama
第1ゲーム
第2ゲーム
第3ゲーム
第4ゲーム
第5ゲーム
第6ゲーム
第7ゲーム
第8ゲーム
第9ゲーム
第10ゲーム
| llama | gemini | |
|---|---|---|
| 1回目 | ⚫️ | ⚪️ |
| 2回目 | ⚫️ | ⚪️ |
| 3回目 | ⚫️ | ⚪️ |
| 4回目 | ⚫️ | ⚪️ |
| 5回目 | ⚪️ | ⚫️ |
| 6回目 | ⚪️ | ⚫️ |
| 7回目 | ⚫️ | ⚪️ |
| 8回目 | ⚪️ | ⚫️ |
| 9回目 | ⚫️ | ⚪️ |
| 10回目 | ⚪️ | ⚫️ |
最終成績: llama 4勝6敗 - gemini 6勝4敗
こんな感じの結果になりました！
総対戦成績
| LLM | 勝利数 | 敗北数 | 引分数 | 勝率 |
|---|---|---|---|---|
| dify | 12 | 7 | 1 | 63% |
| gemini | 11 | 8 | 1 | 58% |
| llama | 6 | 14 | 0 | 30% |
※勝率は引き分けを除いた試合数で計算。
| dify | gemini | llama | |
|---|---|---|---|
| dify | - | × | ○ |
| gemini | ○ | - | ○ |
| llama | × | × | - |
戦績
Gemini：2勝0敗
Dify：1勝1敗
Llama：0勝2敗
まとめ
- dify(GPT-4o-mini)は対llamaでは強いが、geminiには若干苦戦
- geminiは安定した強さを見せ、両対戦で勝ち越し
- llamaは両対戦で苦戦し、最も成績が振るわない結果
終わりに
今回の記事はいかがだったでしょうか？
llamaが成績が振るわない結果となりましたがかなり善戦した戦いもあるため非常に見応えのある試合がたくさんありました！
実際に動いている様子もぜひ見せたかったですがかなり重くなってしまうため残念です
見ている分にはそこそこ面白かったです！
なので、もし機会があればオセロ以外にも将棋だったりチェスなどもやっていきたいと思います！
またどこかの記事でお会いしましょう！
GithubURL
準備が出来次第載せます...