この記事では、ニュースが出てきたので、速攻でGemma 2の270億パラメータ版をインストールします。
この記事は、前に、Zennに書いた記事「Open WebUI + Llama3 (8B)をMacで動かしてみた」の追加編をQiitaに投稿したものです。
先に前編をお読み下さい。
追記
2024/06/28 13:58: Ollamaを最新版にアップデートしないと、Gemma 2は動かないようです。
環境
蒸し暑い気温 (???)
Mac mini (M2 Pro, 10コアCPU, 32GBメモリ)
内蔵ディスクから起動
用語
Open WebUIとは
Llama3やGemma 2などを簡単に動かせるようにした「Ollama」を、
画面で操作できるようにするソフトです。
インストール方法は前編をお読み下さい。
なんと前回よりも賢い、いろんな機能が追加されていました！
Gemma 2とは
Googleが発表して、なんとオープンソースで公開されているAIです。
90億パラメータ版と270億パラメータ版があります。
本記事の「:27b」と書いてあるところを消すと、90億パラメータ版に対応させられます。
結論 (先取り)
異次元。
使う
準備する
前編を読み、AIのモデルをダウンロードする (モデルごとに初回のみ)の前まで進めて下さい。
AIのモデルをダウンロードする (モデルごとに初回のみ)
Admin Panel
メニューからAdmin Panelを開きます。
Settings/Models
Settingsにアクセスし...
Modelsを開きます。
モデル名を入力
赤線のところにgemma2:27bと入力します！
いざ会話！
会話してみます！
...え？
日本語できてるぅー！
では質問「Rustを使ってフィボナッチ数列を各コードを書いて下さい。」
無理でしょうね。
(...まだあります)
...えーーーー！
(270億パラメータだと遅いけれど、しっかりしてる)
感想
ローカルで動くものではないと思う。
結論
異次元。