Apptainer(旧 Singularity)を使って簡単にOllamaでローカルLLMを動かす方法

はじめに

スパコンやクラスタ環境ではApptainerが標準的に使用されています。ApptainerとOllamaを使うことで簡単にローカルLLMを動かすことができたので、手順を残します。TSUBAMEなどのスパコンを使う場合はインタラクティブキューを使用しましょう。

準備

• Apptainerが導入されたマシンにログインします
• メモリ容量の多いGPUマシンがいいです
• 2セッション以上同時にログインできた方がいいです(tmuxでも可)

実行(Apptainerを使う場合)

1. Ollamaのコンテナをダウンロードしてollama_latest.sifを取得します

   cd /your/working/directory/
   apptainer pull docker://ollama/ollama
   

2. Ollamaのサーバーを起動します(GPUを使用する場合は--nvが必要です)

   apptainer run --nv ./ollama_latest.sif
   

3. 新しいセッションでログインして、Ollamaを実行します。ここから好きなモデルを選びます

   cd /your/working/directory/
   ./ollama_latest.sif run llama3.1
   

おわり

以上の手順でApptainerとOllamaを使って簡単にローカルLLMが実行できます。Ollamaは複数GPUに自動でモデルを分散してくれるので、8GPU環境などでllama3.1:405bを動かすことも簡単にできます。