導入
「手元のWindows PCで、ネットに繋がず、かつGPUも使わずにLLMを動かしたい」
そんな願いを叶えるべく、Liquid AIが公開した日本語に強い軽量モデルLFM2.5-1.2Bを、推論エンジンllama.cppで動かすまでの手順をまとめました。
特徴として、専門的な機材がなくても、プログラミング環境さえあれば数十分で「自分専用のAI」が手に入ります。
実行環境
- Windows 11 24H2
- Visual Studio 2022 Comuniy
用語解説
LFM2.5 (Laptop Friendly Model)
Liquid AIが開発した、軽量な大規模言語モデル（LLM）です。
1.2B（12億パラメータ）というサイズは非常にコンパクトで、その名の通りラップトップPCやエッジデバイス（Raspberry Pi等）での動作に最適化されています。本記事においてはこのモデルのnstructバージョン(多言語対応版)を使用します。日本語対応版もリリースされていますが、多言語対応版でも十分に日本語に対応しており、かつ動作が安定していることから、こちらを選択しています。
llama.cpp (llm.cpp)
C/C++で記述された、LLMを動作させるための非常に軽量な推論エンジンです。
WindowsやMac、Linuxなど多くの環境に対応しており、特にGPUがなくてもCPUだけで高速に動くように、SIMD命令などを用いた高度な最適化が施されているのが最大の特徴です。
GGUF形式
LLMの巨大なデータを、一つのファイルにまとめて配布するためのフォーマットです。
llama.cppで読み込むために設計されており、モデルを「量子化（ビット数を落として軽量化）」することで、PCのメモリ消費を劇的に抑えることができます。
具体的なやり方
インストールの所要時間が長いものから順番に進めていきます。
1. ビルド環境の構築（Visual Studio 2022）
WindowsでC++のプログラムをコンパイルするために、まず道具を揃えます。
-
Visual Studio 2022 Communityをインストールします。
上記URLの「Evergreen bootstrappers」という項目にあるテーブルから、Vertion17.14のCommunityを選択してください。
-
インストーラーの「ワークロード」タブで [C++ によるデスクトップ開発] にチェックを入れます。
-
右側の詳細オプションで [Windows 用 C++ CMake ツール] と [Windows 11 SDK] が選択されていることを確認し、インストールを実行します。
※ここが一番時間がかかります。
2. モデルファイル（GGUF）のダウンロード
エンジンを動かすための「脳」をダウンロードします。
- Hugging Faceなどで
LFM2.5-1.2B-Instruct-GGUFを検索します。
LFM2.5-1.2B-Instruct-GGUFリンク - 任意のモディファイルをダウンロードします。
今回はバランスの良い量子化版であるLFM2.5-1.2B-Instruct-Q4_K_M.ggufをダウンロードしました。
3. llama.cpp ソースコードの取得
コマンドプロンプト、またはパワーシェルなどで以下のコマンドを実行します。
(特に実行場所について指定はありませんが、2bite文字を含む階層は推奨しません。最も安定なのはユーザディレクトリ直下だと思います。)
git clone [https://github.com/ggerganov/llama.cpp](https://github.com/ggerganov/llama.cpp)
cd llama.cpp
# (仮にmodelsという階層がなかった場合、以下を実行)
mkdir models
先程ダウンロードした .gguf ファイルは、この models フォルダの中に移動させておくと管理が楽です。
このコマンドが実行できない場合、「git」が導入されていません。gitの記事などをみて、「git clone」が実行できるようにしてください。
4. llama.cpp のビルド
スタートメニューから 「x64 Native Tools Command Prompt for VS 2022」(x64 Native tools Commandでも出てきます)を探し、管理者権限で開いて以下のコマンドを順に打ちます。
cd path\to\your\llama.cpp # クローンした場所へ移動
mkdir build
cd build
cmake ..
cmake --build . --config Release
最後に「0 個のエラー」と出れば成功です。build\bin\Release フォルダに llama-cli.exe が生成されます。
5.実行例
実際にWindows 11のCPUのみで動かしてみます。 Windowsの標準ターミナルは文字コードがShift-JISなので、UTF-8に切り替えてから実行ると安定します。(初回実行時、内部的に文字化け判定して中国語などで返答が帰ってきます。未だに課題です。)
:: 文字コードをUTF-8に切り替え
chcp 65001
:: 実行ファイルのある場所へ移動
cd ..\llama.cpp\build\bin\Release
:: 推論実行
llama-cli.exe -m "..\..\..\models\LFM2.5-1.2B-Instruct-Q4_K_M.gguf" -p "こんにちは" -n 256 -t 8
各オプションの意味
-m: モデルファイルへのパスです。
-p: 最初の質問（プロンプト）です。
-n 256: AIが最大で何文字（トークン）答えるかを指定します。
-t 8: 使用するCPUの「スレッド数」です。お使いのPCのCPUコア数に合わせて調整してください（基本8のままでOKです）。
実行がうまくいくと、以下のように返事が帰ってきます、
対話モードから抜け出すときはCtrl^Cで抜けることが可能です。
6.まとめ
Windows 11環境でも、ビルド環境さえ整えればLLM「LFM2.5」をネイティブ環境で動かせることが分かりました。 実行環境は実はGPU非搭載のノートパソコンです。「AI＝クラウドや高性能GPUが必要」という常識が少しづつ変わっているのを肌に感じる、非常にポテンシャルの高いモデルです。
今後は自作している対話AIにこいつを組み込んでみる予定です。