環境構築からCUIでの実行まで

タイトル通りです
ubuntu上でLlama3の対話環境を動かすまでの手順を紹介します
dockerを使用しています

「ローカルマシンで試しにLLMを動かしてみたい！」
という方は参考にしてみてください

推奨ハードウェアスペック(非公式)

Llama3には
・80億パラメータ(8B)
・700億パラメータ(70B)

の大きく２パターンのモデルが存在します

それぞれローカルで動かす場合の必要スペックは異なります

RAM:
Llama3 8B: 少なくとも16GB
Llama3 70B: 少なくとも64GB

GPU VRAM:
Llama3 8B: 少なくとも8GB
Llama3 70B: 少なくとも8GB
※CUDAの使えるNVIDIA GPUが望ましい

Disk Space:
Llama 3 8B: 約4GB
Llama 3 70B: 20GB以上

実行環境

ホストOS環境:

OS: Ubuntu22.04
docker version: 26.1.0

dockerコンテナの環境:

docker環境構築に使用したdocker fileは以下の通りです。

# 使用するubuntuのバージョンを指定
FROM ubuntu:20.04

# 必要コマンドをインストール
RUN \
    apt update && \
    apt -y upgrade && \
    apt install -y curl wget sudo

# ユーザー("user_Llama3")を作成
RUN useradd -m user_Llama3

# ルート権限を付与
RUN gpasswd -a user_Llama3 sudo

Llama3実行までの流れ

dockerイメージの作成〜〜 llama3の実行までを順を追って説明していきます

①dockerイメージの作成

docker file(個々人で設定)を含んだフォルダー内で、以下のコマンドを実行します。

# dockerfileからイメージを作成
sudo docker build -t <image_name> .

②dockerコンテナの作成、起動

# コンテナの作成
sudo docker run --name <container_name> <image_name>  tail -f /dev/null

③dockerシェルの起動

docker exec -it <container id> /bin/bash

これでdocker固有の設定は完了です。

④dockerシェル上で以下のコマンドを実行し、"ollama"をインストールします

curl -fsSL https://ollama.com/install.sh | sh

⑤ollama serveの実行

ollama serve

上記のコマンド実行後、このシェルは"開いたまま"にして
もう一つdocker環境内のシェルを開きます。

※ollama githubによると、デスクトップ版のollamaを使っていない場合、
このコマンド実行が必要となるようです

⑥新しいdockerシェルを開き、下記のいずれかのコマンドを実行

# llama3 8B(80億パラメータを実行したい方はこちら):
ollama run llama3

# llama3 70B(700億パラメータはこちら):
ollama run llama3:70b

これでモデルのダウンロードが開始します。

"ollama serve"を実行せずにダウンロードしようとすると
"Error: could not connect to ollama app, is it running?"
というエラーが出ます。

CUI上でこのように初回のみのモデルダウンロードが始まったら作業は終了です。
あとはダウンロードが終われば自動的に対話モードに移行します。

実際の画面

実際のllama3ダウンロード中の画面：

llama3との対話画面：

Llama3と無事に会話することができました

※対話環境を終了したい場合は
ctrl + z
で終了できます

対話を開始するときは
"ollama run llama3"(ollama run llama3:70b)
を実行すれば開始できます

おわり

以上がLlama3の対話環境をCUI上で実行する為の手順となります。
おつかれさまでした！

その他参考記事

推奨環境について：
https://anakin.ai/blog/how-to-run-llama-3-locally/

コンテナの環境構築で参考にしたサイト：
https://qiita.com/SZZZUJg97M/items/dbdc784b92bde56cde3b

ollamaのダウンロード元：
https://ollama.com/download

ollama公式ドキュメント：
https://ollama.com/library/llama3

Llama3の環境構築からCUIでの実行まで