概要

LLM初心者が、グラボ貧弱Win10のノートPCで軽量LLMが動くのか試してみた
手順はほとんど下記の通り。全手順を知りたい方はリンク先参照

コマンドプロンプトで簡単に実行できるが、あえてWin上でWSL2使ってLinux環境立てて実行した
ハマったところや、実際触ってみた感想などを記録に残してみる

Ollamaは本来Windowsならコマンドプロンプトを使用して インストール＋たったの2コマンドだけで簡単に構築可能。
今回は①最新モデル（執筆時点）で標準サポートではない特殊なLLMを使っていること、②著者が初心者でよく分かってなかったこと、以上の2点故に通常より回りくどい手順になっている。なので、初心者の方が『とりあえずローカルで気軽にLLM触ってみたい！』という場合は、まずは下記リンク先のような通常の手順で触れてみることをお勧めする。

環境、バージョンなど

マシンリソース

OS：Windows10 Home 22H2
CPU：Intel Core i7-11370H
RAM：16GB
GPU：Intel Iris Xe Graphics

グラボはCPU内蔵型のヘコヘコスペックで、要求リソース高いゲームなんかだと画面がフリーズすることもよくあった。果たしてLLMは動くのか...？

WSL環境

WSL 2.2.4.0
Ubuntu　24.04LTS

使用するLLM

Llama-3-ELYZA-JP-8B

Meta社のLlama-3-8Bをベースに、追加学習を行い日本語の入出力性能向上にフォーカスした軽量LLM。GPT-3TurboやClaude 3 Haikuに匹敵するレベルとのこと。（プレス記事）

それではやってみよう

Ollmaインストール

Ubuntuのターミナルを開き、コマンド実行

$ sudo snap install ollama

helpのコマンドを打って、正しくインストールされたか見てみる

$ ollama --help
Large language model runner

Usage:
  ollama [flags]
  ollama [command]
...

オプションの例が表示されればOK

Git LFSの導入

今回DLしたいモデル「Llama-3-ELYZA-JP-8B」は、軽量LLMながらそれでも4.92GBとデカい。
Hugging faceのリスト（下記画像）にもマークがあるように、大きいサイズのファイルを含むリポジトリは通常Git LFSを使って管理するらしく、 ローカルにクローンする側も同様にGit LFSを導入しないといけないらしい。

Githubのページを参考に導入。

$ curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
$ sudo apt-get update
$ sudo apt-get install git-lfs
$ git lfs install

LLMモデルのクローン

元記事にもあるように約5GBと大容量なので注意。

$ git clone https://huggingface.co/elyza/Llama-3-ELYZA-JP-8B-GGUF

以後は、元記事と同じ手順で進めた。エディタでModelfileを作成し、ollamaモデルの作成、実行。

LLM実行結果

キチンと動いてくれた。 応答速度はGPT-3.5と同じぐらい？リソースはメモリが怪しいぐらいで、フリーズしたりすることもなし。合格点だろう。
軽量がウリなので仕方ないが、やはりGPT-4oと比べるとまだまだハルシネーションは多かった。

ちなみに

この「Llama-3-ELYZA-JP-8B」、今見たら 公式でサポートしていた 。最初に手を動かす前にちゃんとチェックしような・・・
余計な手間をかけただけの無駄な時間になってしまったが、まあ色々学べたので勉強代ということで。

感想

これまでLLMの推論は、チャット形式のGUIや、大手クラウド提供のLLMサービスをAPI叩いて利用することが多かったので、グラボしょぼいノートPCでローカルで実際に動いたのはなかなか感動した。
恥ずかしいことに、元記事主様の実行環境がMacOSだったので「UNIX環境要るのか～」と勝手に謎の勘違いをしてWSL2を使用したが、冒頭でも述べたように WindowsでOllama使うならフツーにコマンドプロンプトでやった方が楽だし早い。