Ollama（オラマ）を使うと、驚くほど簡単にローカル環境でLLM（大規模言語モデル）を動かすことができます。
以下の手順で進めれば、数分でチャットを開始できます。
- Ollamaのインストール
まずは公式サイトからインストーラーをダウンロードして実行します。
- Ollama公式サイト にアクセス。
- Download ボタンをクリックし、OS（macOS, Windows, Linux）に合わせたインストーラーをダウンロード。
- インストーラーを実行してインストールを完了させます。
- モデルのダウンロードと起動
インストールが終わったら、コマンドプロンプト（Windows）やターミナル（Mac/Linux）を開いて、以下のコマンドを入力するだけです。
例：Llama 3を動かす場合
ollama run llama3
- 何が起きるか： モデルのダウンロードが始まり、完了するとそのままターミナル上で対話（チャット）が始まります。
- 日本語に強いモデルを使いたい場合： ollama run gemma2 や ollama run aya（GoogleやCohereのモデル）もおすすめです。
- 基本的な操作コマンド
ターミナルで対話中に使える便利なコマンドです。
- /bye: チャットを終了して終了します。
- /list: インストール済みのモデル一覧を表示します。
- ollama pull [モデル名]: 実行せずにダウンロードだけ事前に行います。
- ollama rm [モデル名]: 不要になったモデルを削除します。
- 自分専用の「カスタムモデル」を作る
特定の指示（システムプロンプト）を与えた自分専用のモデルを作成することも可能です。
-
Modelfile という名前のファイルを作成し、以下のように記述します。
FROM llama3
PARAMETER temperature 0.7
SYSTEM "あなたは優秀なエンジニアです。回答は常に簡潔に、日本語で行ってください。" -
ターミナルで以下のコマンドを実行して作成します。
ollama create my-ai -f Modelfile -
作成したモデルを起動します。
ollama run my-ai
さらに便利に使うには
ターミナルでの操作だけでなく、ブラウザでChatGPTのように使いたい場合は、「Open WebUI」 などのツールを組み合わせるのが一般的です。
###プロキシ
システム環境変数にhttp_proxyとhttps_proxyを追加してパスを通してみてください。