Google Gemma-7bを試しました。

先週Googleが商用利用可能なOSSLLM「Gemma」を公開しました。
Hugging Faceが公開したベンチマークスコアによると、Mistral-7BやPHI-2を上回っています。

私も試してみました。
英語のモデルですが、まずは日本語で質問してみることにしました。
「エネルギー業界の最適化ユースケースを教えて」と質問したところ、複数回試した結果、最も良い回答は以下となります。質問は理解しましたが、回答は英語、日本語、韓国語が混在している状態でした。

英語で聞いたら特に問題なく回答が生成されました。

あと日本語で質問すると、時々”RuntimeError: probability tensor contains either inf, nan or element < 0”のエラーが発生します。調べてみたところ、パラメーターの設定が原因のようですが、質問の文面を少し変更するとエラーがなくなることもあります。やはり日本語支援しないためにエラーが頻発する傾向にあるようです。

他にも色々基本的な質問を試しましたが、試した感想としては、Mistral-7bと大きな違いを感じることはありませんでした。
ただ、今後Gemmaを基にした日本語の継続学習LLMやfinetuningモデルも公開されると思いますので、それには期待しています。

⇩Huggingfaceで簡単にfine-tuningもできますので、次回試してみたいと思います。

興味ある方: