はじめに

初めましての人もそうでない人もこんにちは！

中華まんが美味しい季節になってきましたね！
まぁ外にはあまり出ないので食べる機会は非常に少ないですが・・・

今回はチキチキ「生成AI オセロ最強決定戦」を開催します！

開催理由は数多くある生成AIがあり生成AI同士で戦わせたらどうなるのか純粋に気になったからです！

オセロにした理由は開発しやすそうだったからという理由です
気が向いたら他のゲームの対戦もしてみたいですね！

オセロ勝負をさせるAIモデル

エントリーナンバー1：Gemini
エントリーナンバー2：Dify(GPT-4o-mini)
エントリーナンバー3：Llama3

この3つのモデルを使用していきたいと思います！

ChatGPTではなくDifyを使用する理由はお金がかかってしまうためです！

今回はCludeは使う予定はありませんが参考までに載せておきます！

印象元：https://doubleknot.co.jp/blog/2024/09/08/ai-comparison/

実装したい機能

使用するモデルを選択
勝負毎に学習を重ねる
実際にオセロ勝負している様子を見せる

それでは頑張っていきます！

作ってみた

今回の記事で全てのコードを載せたかったですが少々ここに載せるには少々長くなるので後ほど載せるGithubURLから見ていただければ幸いです。
(本音を言うとめんどくさいです...)

技術スタックはReactとTypeScriptとPythonを用いて開発を行いました！

完成画面

さて、とりあえず完成できました！
それでは対戦していきましょう！

試合方法

2つのモデルを選択する
10回戦わせる
10回戦ったらサーバーを再起動して学習履歴をリセット
別のモデルを選択して以下同文

これらを繰り返してオセロ最強を決めていきたいと思います！

試合開始

1巡目：Dify vs Llama

これでは第1ゲームを開始します！

自動で進んでしまうため途中の画像にはなってしまいますがこのように動作させることができます！

第1ゲームの結果
これは...圧倒的ですね...
この調子で続けて結果を見ていきましょう！

第2ゲーム
どんでん返しがきましたね！今度は大差でllamaが勝ちました！

第3ゲーム

第4ゲーム

第5ゲーム

第6ゲーム

第7ゲーム

第8ゲーム

第9ゲーム

第10ゲーム

	dify	llama
1回目	⚪️	⚫️
2回目	⚫️	⚪️
3回目	⚪️	⚫️
4回目	⚪️	⚫️
5回目	⚪️	⚫️
6回目	⚪️	⚫️
7回目	⚫️	⚪️
8回目	⚪️	⚫️
9回目	⚪️	⚫️
10回目	⚪️	⚫️

最終成績: dify 8勝 - llama 2勝

圧倒的ですね...(2回目)
それでは次の試合はGemini vs Difyで対戦していきましょう！

サーバーを再起動して学習データをリセットします！

2巡目：Gemini vs Dify

第1ゲーム

第2ゲーム

第3ゲーム

第4ゲーム

第5ゲーム
引き分け！？
引き分けの処理やっていなかったなぁ
処理上はdifyの勝ちとなっていますが引き分けとしてカウントします！

第6ゲーム

第7ゲーム

第8ゲーム

第9ゲーム

第10ゲーム

回戦	dify	gemini
1回目	⚪️	⚫️
2回目	⚪️	⚫️
3回目	⚫️	⚪️
4回目	⚪️	⚫️
5回目	-	-
6回目	⚪️	⚫️
7回目	⚫️	⚪️
8回目	⚫️	⚪️
9回目	⚫️	⚪️
10回目	⚫️	⚪️

最終成績: dify 4勝5敗1分 - gemini 5勝4敗1分

予想外のことがありましたが今回の勝負はGeminiの勝ちとなりました！

ある程度予想はつきますが最後にgeminivsllamaと勝負をしていきたいと思います！

3巡目：Gemini vs Llama

第1ゲーム

第2ゲーム

第3ゲーム

第4ゲーム

第5ゲーム

第6ゲーム

第7ゲーム

第8ゲーム

第9ゲーム

第10ゲーム

	llama	gemini
1回目	⚫️	⚪️
2回目	⚫️	⚪️
3回目	⚫️	⚪️
4回目	⚫️	⚪️
5回目	⚪️	⚫️
6回目	⚪️	⚫️
7回目	⚫️	⚪️
8回目	⚪️	⚫️
9回目	⚫️	⚪️
10回目	⚪️	⚫️

最終成績: llama 4勝6敗 - gemini 6勝4敗

こんな感じの結果になりました！

総対戦成績

LLM	勝利数	敗北数	引分数	勝率
dify	12	7	1	63%
gemini	11	8	1	58%
llama	6	14	0	30%

※勝率は引き分けを除いた試合数で計算。

	dify	gemini	llama
dify	-	×	○
gemini	○	-	○
llama	×	×	-

戦績
Gemini：2勝0敗
Dify：1勝1敗
Llama：0勝2敗

まとめ

dify(GPT-4o-mini)は対llamaでは強いが、geminiには若干苦戦
geminiは安定した強さを見せ、両対戦で勝ち越し
llamaは両対戦で苦戦し、最も成績が振るわない結果

終わりに

今回の記事はいかがだったでしょうか？
llamaが成績が振るわない結果となりましたがかなり善戦した戦いもあるため非常に見応えのある試合がたくさんありました！
実際に動いている様子もぜひ見せたかったですがかなり重くなってしまうため残念です

見ている分にはそこそこ面白かったです！
なので、もし機会があればオセロ以外にも将棋だったりチェスなどもやっていきたいと思います！

またどこかの記事でお会いしましょう！

GithubURL

準備が出来次第載せます...