概要
Ollamaというソフトを使って
WindowsPCで簡単に生成AIを動かす方法を紹介します。
背景
ちょっとLLM（大規模言語モデル、生成AI）を動かそうと
Ollamaというソフトのページを見ていたんですが、
なんかWindowsバージョンがダウンロードできるのを見つけてしまいました。
「あれ？もしかしてこれ、Windowsでも動くんか？」
と思ってダウンロード・インストールしたら
めっちゃ簡単にLLM（今回はGemma2）動いたんで紹介します。
多分、特になんの設定もせず、
10分くらいで動作させることできると思います。
実行環境
OS
・Windows 11 Home
マシン
・ASUSで買ったGPUノート「Core i5-12450H君」
・CPU：intel Core i5-12450H
・メモリ：16GB
・GPU：GeForce RTX 3050 Laptop 6GB
Gemma2を動かすための方法
めっちゃかんたん。まじでこれだけ。
・ステップ1：Ollamaをダウンロードする
・ステップ2：Ollamaをインストールする
・ステップ3：PowerShellでOllamaを実行してGemma2を指定する
ステップ1：Ollamaをダウンロードする
Ollamaのホームページ（ https://ollama.com ）からソフトをダウンロードします。
ダウンロードボタンを押す
Windowsバージョンを選んでダウンロード
ステップ2：Ollamaをインストールする
ダウンロードしたOllamaをインストールします。
ダウンロードしたOllamaSetup.exeを実行する
こいつをダブルクリックしてください。
インストール画面で「Install」を選択する
「Install」ボタンを選択してください。
インストールが終わるのを待つ
自動でインストールが終わります。
インストールが終わると自動でウインドウが閉じます。
これでOllamaが使えるようになりました。
ステップ3：PowerShellでOllamaを実行してGemma2を指定する
PowerShellを起動する
普通にPowerShellを起動してください。
PowerShellに「ollama」と打つ
ollamaというコマンドを打つと、コマンドの使い方が表示されます。
この表示があればもうollamaを利用して
Gemma2などのLLMモデルをダウンロード・実行することができます。
Gemma2を起動する
次のコマンドを打つと、
Gemma2モデルがダウンロードされ、起動します。
ollama run gemma2
質問や会話をする
>>>と文書入力画面がでるので、
Gemma2に質問や相談をしてみましょう。
ここでは、アニメに対する質問をしています。
会話を終了する
会話を終了するときは、
キーボードの「Ctrlボタン＋Dボタン」を同時押ししてください。
【発展】色々なモデルを実行してみる
Ollamaはいろいろな大規模言語モデルに対応しています。
メジャーなところだと、llamaとかphi3とかmistralとか。
マイナーなのもたくさん対応しているようです。
・Ollamaで動かせるモデル一覧：https://ollama.com/library
マシンやOSによって、
動く・動かないあると思いますが、
Windowsマシンで気楽にいろいろなLLMを試せるのは素晴らしいですね。
感想
今回、OllamaのWindows版が目についたのでちょっと動かしてみましたが、
Windowsで超簡単にLLMを動かせました。
思った以上に何もしなくても動いてすごい！
最近は便利な世の中だとほんとにびっくりしました！！
（Pythonとかパスとかくらいは覚悟していたのに何もせずに動いた）
楽なのでしばらくは、
これをおもちゃに遊ぼうと思います。
うちのマシンはゲーム用の普通のGPUがついてますが、
・このマシンでどの大きさのモデルまで動くのか？
・GPU有り無しで速度がどう変わるのか？
とか試して遊ぼうと思います。
最後に広告
本業の方の広告になってしまうのですが、
会社関係で「メタバース・デジタルツイン講座」やってます。
今年は名古屋・大阪・東京の3拠点で開催してます。
メタバース・デジタルツインに興味のある人はぜひよろしくお願いします。
https://www.kcc.knowledgewing.com/icm/srv/course-application/init-detail?cd=FLM&pcd=FLMC&cscd=UMT01L