環境構築からCUIでの実行まで
タイトル通りです
ubuntu上でLlama3の対話環境を動かすまでの手順を紹介します
dockerを使用しています
「ローカルマシンで試しにLLMを動かしてみたい！」
という方は参考にしてみてください
推奨ハードウェアスペック(非公式)
Llama3には
・80億パラメータ(8B)
・700億パラメータ(70B)
の大きく２パターンのモデルが存在します
それぞれローカルで動かす場合の必要スペックは異なります
-
RAM:
Llama3 8B: 少なくとも16GB
Llama3 70B: 少なくとも64GB
-
GPU VRAM:
Llama3 8B: 少なくとも8GB
Llama3 70B: 少なくとも8GB
※CUDAの使えるNVIDIA GPUが望ましい
-
Disk Space:
Llama 3 8B: 約4GB
Llama 3 70B: 20GB以上
実行環境
ホストOS環境:
OS: Ubuntu22.04
docker version: 26.1.0
dockerコンテナの環境:
docker環境構築に使用したdocker fileは以下の通りです。
# 使用するubuntuのバージョンを指定
FROM ubuntu:20.04
# 必要コマンドをインストール
RUN \
apt update && \
apt -y upgrade && \
apt install -y curl wget sudo
# ユーザー("user_Llama3")を作成
RUN useradd -m user_Llama3
# ルート権限を付与
RUN gpasswd -a user_Llama3 sudo
Llama3実行までの流れ
dockerイメージの作成 〜〜 llama3の実行までを順を追って説明していきます
①dockerイメージの作成
docker file(個々人で設定)を含んだフォルダー内で、以下のコマンドを実行します。
# dockerfileからイメージを作成
sudo docker build -t <image_name> .
②dockerコンテナの作成、起動
# コンテナの作成
sudo docker run --name <container_name> <image_name> tail -f /dev/null
③dockerシェルの起動
docker exec -it <container id> /bin/bash
これでdocker固有の設定は完了です。
④dockerシェル上で以下のコマンドを実行し、"ollama"をインストールします
curl -fsSL https://ollama.com/install.sh | sh
⑤ollama serveの実行
ollama serve
上記のコマンド実行後、このシェルは"開いたまま"にして
もう一つdocker環境内のシェルを開きます。
※ollama githubによると、デスクトップ版のollamaを使っていない場合、
このコマンド実行が必要となるようです
⑥新しいdockerシェルを開き、下記のいずれかのコマンドを実行
# llama3 8B(80億パラメータを実行したい方はこちら):
ollama run llama3
or
# llama3 70B(700億パラメータはこちら):
ollama run llama3:70b
これでモデルのダウンロードが開始します。
"ollama serve"を実行せずにダウンロードしようとすると
"Error: could not connect to ollama app, is it running?"
というエラーが出ます。
CUI上でこのように初回のみのモデルダウンロードが始まったら作業は終了です。
あとはダウンロードが終われば自動的に対話モードに移行します。
実際の画面
実際のllama3ダウンロード中の画面：
llama3との対話画面：
Llama3と無事に会話することができました
※対話環境を終了したい場合は
ctrl + z
で終了できます
対話を開始するときは
"ollama run llama3"(ollama run llama3:70b)
を実行すれば開始できます
おわり
以上がLlama3の対話環境をCUI上で実行する為の手順となります。
おつかれさまでした！
その他参考記事
推奨環境について：
https://anakin.ai/blog/how-to-run-llama-3-locally/
コンテナの環境構築で参考にしたサイト：
https://qiita.com/SZZZUJg97M/items/dbdc784b92bde56cde3b
ollamaのダウンロード元：
https://ollama.com/download
ollama公式ドキュメント：
https://ollama.com/library/llama3