Ollamaインストール
OllamaというローカルLLMが有名らしいです
もう1つ有名なものとして"LM Studio"があるらしいですが、GUIベースなので勉強兼今後の連携も考えてOllamaを選択
まずは、Ollama公式サイトから Download for Windows で setup.exe をインストール
モデル選択
インストールが終わるとGUIベースのウィンドウが表示されました
恐らくこの画面からモデルを選択出来ましたが、経験の為に律儀にコマンドプロンプトからやっていきます
Ollamaがインストールされていることを確認する為
ollama --version
を実行。よく分かりませんがバージョン0.24.0がインストールされている様です
"Llama 4 Scout"というパラメータ数が17B（MoE 109B）のモデルを選択しました
日本語にも柔軟に対応し、無難なモデルらしいです
Metaが開発しているらしく、それ自体を初めて知りました
ollama run llama4
というコマンドを実行しインストール開始
かなり容量が重いです
尚、以下のコマンドは実行出来ませんでしたが、記録の為に残しておきます
他の方のブログでは実行出来た様ですがバージョンで仕様が変わったのかも？
ollama run llama4-scout
ollama run llama4:17b
凡ミス
先程の "Llama 4 Scout" というモデルは67GBで、インストールには2時間弱程掛かりました
しかし、調べ不足でメモリが足りないことが発覚
約55GB必要だったようです...
ollama rm llama4
諦めて上記のコマンドを実行し "Llama 4 Scout" は削除
モデル再選択
"qwen2.5-coder" というモデルを選択
Alibaba系の Qwen チームが出しているコード特化LLMだそうです
今後AIコーディングした後の復習等に使おうと思います
ollama run qwen2.5-coder:7b
上記のコマンドを実行し、インストール
"Llama 4 Scout"に比べてあまりに軽い
ちなみに性能を左右するパラメータ数は
- Qwen2.5-Coder 7B → 約7B
- Llama 4 Scout → 約109B
だそうです
約15倍の差がありました
動作確認
ちなみにollamaは起動コマンドとインストールコマンドが同じでした
ollama run qwen2.5-coder:7b
なので、インストールに使った上記のコマンドを実行
C:\Users\xxxx>ollama run qwen2.5-coder:7b
>>> ローカルLLMについて教えて
ローカルLLM（大規模言語モデル）とは、ユーザーのデバイス（PCやスマートフォンなど）にインストールされたAI言語モデルを
指します。このモデルは、ユーザーが直接実行し、そのデバイス上でテキスト生成や翻訳、質問回答などの作業を行うことができ
ます。
ローカルLLMの主な特徴：
1. 独立性：インターネットに接続されない場合でも機能できます。
2. 高速さ：データをクラウドから取得せずに迅速に応答できます。
3. 移動性：スマートフォンなど携帯可能なデバイスで使用可能。
4. セキュリティ：個人情報の暗号化や制御が容易。
ただし、ローカルLLMには以下のような課題も存在します：
1. データ量：一部のモデルは大量の学習データが必要であり、ユーザーのデバイスに保存するための容量制限がある。
2. コスト：高性能な計算リソースが必要で、コストがかかる場合があります。
一般的な用途：
- 文章作成や編集
- 言語翻訳
- マンガや漫画の生成
- 簡単な質問への回答
ローカルLLMは、クラウドベースの大規模言語モデルと比較して、プライバシー保護、データ制御、移動性などの観点から、特定
の状況で有用なツールと言えます。ただし、その性能と機能はクラウドモデルに比べて一部制限があることに注意が必要です。
ローカルLLMにローカルLLMを説明させて動作確認完了
日本語の入力に対応し、返答の日本語に違和感もないですね