Amazon LinuxにDeepSeekとOllamaサービスをデプロイ

環境の準備

• 操作システム: Amazon Linux 2023
• ストレージ計画: データディスクを/mnt/dataにマウント。
• ハードウェア要件: NVIDIA GPU (基本ドライバのインストールが必要)

---

一、ディレクトリ構成の規画

下記のコマンドで標準化されたアプリケーション用ディレクトリを作成します。

# 標準化アプリケーション用ディレクトリ作成
sudo mkdir -p /mnt/data/{apps/{cuda,ollama},cache/dnf,tmp}

# ディレクトリの用途
# /mnt/data/apps/cuda      - CUDA Toolkit主プログラム
# /mnt/data/apps/ollama    - Ollamaモデルストレージ
# /mnt/data/cache/dnf      - DNFパッケージマネージャーキャッシュ
# /mnt/data/tmp            - 一時ファイル保存用

---

二、環境変数の設定

CUDA ToolkitとOllamaの環境変数を設定します。

# CUDA環境の設定
echo 'export CUDA_HOME=/mnt/data/apps/cuda' >> ~/.bashrc
echo 'export PATH=$CUDA_HOME/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc

# Ollama環境の設定
echo 'export OLLAMA_MODELS=/mnt/data/apps/ollama/models' >> ~/.bashrc
echo 'export TMPDIR=/mnt/data/tmp' >> ~/.bashrc

# 設定を透過させる
source ~/.bashrc

---

三、DNFの設定の最適化

DNFパッケージマネージャーの設定を変更します。

# DNF設定ファイルの変更
sudo tee /etc/dnf/dnf.conf <<'EOF'
[main]
gpgcheck=1
installonly_limit=2
clean_requirements_on_remove=True
best=True
skip_if_unavailable=True
keepcache=1
cachedir=/mnt/data/cache/dnf
EOF

---

四、NVIDIAドライバのインストール

# CUDAリポジトリの追加
sudo dnf config-manager --add-repo=https://developer.download.nvidia.com/compute/cuda/repos/amzn2023/x86_64/cuda-amzn2023.repo

# 依存コンポーネントのインストール
sudo dnf install -y dkms kernel-devel kernel-modules-extra

# NVIDIAドライバパッケージのインストール
sudo dnf install -y nvidia-driver nvidia-driver-cuda

---

五、CUDA Toolkitのインストール

# インストーラーのダウンロード
cd /mnt/data/apps/cuda
wget https://developer.download.nvidia.com/compute/cuda/12.6.3/local_installers/cuda_12.6.3_560.35.05_linux.run

# 静的インストール
sudo ./cuda_12.6.3_560.35.05_linux.run \
  --toolkit \
  --toolkitpath=/mnt/data/apps/cuda \
  --samples \
  --samplespath=/mnt/data/apps/cuda/samples \
  --silent

インストールの確認

nvcc --version
nvidia-smi

---

六、Ollamaサービス

システムサービス用のコンフィグファイルを作成します。

# Ollamaインストール
curl -fsSL https://ollama.com/install.sh | sh
mkdir -p /mnt/data/apps/ollama
# systemdサービスファイルの作成
sudo tee /etc/systemd/system/ollama.service <<'EOF'
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
Environment=OLLAMA_MODELS=/mnt/data/apps/ollama/models
Environment=NVIDIA_VISIBLE_DEVICES=all
Environment=CUDA_VISIBLE_DEVICES=0
ExecStart=/usr/local/bin/ollama serve
Restart=always
User=ec2-user

[Install]
WantedBy=multi-user.target
EOF

# サービスを有効化して起動
sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama

---

七、デプロイ確認

Ollamaを使用したAIモデルの操作方法

このブログでは、Ollamaを使用してAIモデルを管理および実行する方法について紹介します。具体的な例を使用して、モデルのプル、リスト表示、および実行方法を示します。

1. モデルのプル

まず、以下のコマンドを使用してOllamaのリポジトリからdeepseek-r1:7bモデルをプルします：

ollama pull deepseek-r1:7b
ollama list

2. 会話モードで起動

ollama run deepseek-r1:7b

---

注意事項

1. ストレージ規画: 将来的な拡張を容易にするため、LVMの使用を推奨します。
2. GPUモニタリングの設定: プロダクション環境ではGPUの監視が重要です。

sudo dnf install -y nvidia-smi top

1. 一時ディレクトリの定期クリーニング: 不要な一時ファイルを定期的に削除します。

find /mnt/data/tmp -type f -mtime +7 -delete