LLMレシピ
自家製ローカルAIの牛肉煮込み
材料
| 料理の材料・道具 | LLMで用意するもの |
|---|---|
| まな板 | Mac Studioなどの実行用PC。今回はユニファイドメモリ64GBを想定 |
| 牛肉 | 日本語と英語が得意な、4bit量子化済みLLM |
| ブロッコリー | チャットアプリ「LM Studio」 |
| じゃがいも | RAG。必要な資料を探して、LLMに渡す仕組み |
| ソース | 自分の資料やQAデータ。追加学習にも、RAGで参照する資料にも使える |
| ブロッコリーの味付け | システムプロンプト。回答の口調や役割、守ってほしいルール |
| 味見用のスプーン | 評価用の質問と正解例 |
| 盛り付け皿 | 画像を扱えるマルチモーダルモデルや画像生成モデル。画像の入力・出力に使う |
1. まな板を用意します
PCの空き容量とメモリを確認します。
大きな牛肉を買っても、まな板に載らなければ調理できません。モデルも、PCで扱える大きさを選びます。
画像を扱う場合は、画像対応モデルや画像生成モデルが動くかも確認します。テキストだけのモデルに、画像を見たり描いたりする機能が自動で追加されるわけではありません。
2. ブロッコリーを用意します
チャットアプリのLM Studioをインストールします。
今回は、チャット画面とモデルを動かす機能を、このアプリに任せます。
3. 牛肉を仕入れます
日本語と英語が得意な、4bit量子化済みのモデルをダウンロードします。
ここで、約1時間の煮込み待ち――という気分で、お茶でも飲みましょう。
実際の待ち時間は、モデルの容量と回線速度次第です。長く待っても、ダウンロード中にモデルが追加学習するわけではありません。
買ってきた牛肉は、すでに下ごしらえ済み。モデルも、すでに大量のデータで学習されています。
4. 牛肉を鍋に入れます
ダウンロードしたモデルを、LM Studioで読み込みます。
モデルファイルは保存庫、メモリは調理中の鍋のようなもの。読み込んで初めて、回答を作るために使えます。
まずは「こんにちは」と話しかけ、動くことを確認します。
5. ブロッコリーに味を付けます
システムプロンプトを設定します。
例えば、こんな味付けです。
あなたは日本語と英語で回答するアシスタントです。
専門用語は初めて出てきたときに説明してください。
結論を先に述べ、分からないことは分からないと答えてください。
これは、その場の振る舞いを指定する味付けです。モデルの重みを学習し直す操作ではありません。
6. ソースを作ります
自分の資料やQAデータを整理します。
古い情報や重複を取り除き、質問と回答の対応を確認します。ソースに間違いがあれば、完成した料理の味にも影響します。
画像を追加したい場合は、画像ファイルや画像付き資料も整理します。画像の内容を検索・参照したいなら、画像そのものに加えて、説明文やOCRで読み取った文字を用意すると扱いやすくなります。
7. じゃがいもとソースを合わせます
資料を参照して回答させたい場合は、RAGを使います。
資料を扱いやすい大きさに分け、質問に関係する部分を探し、LLMに渡します。
画像を見せて質問したい場合は、画像入力に対応したマルチモーダルモデルを使います。画像を説明したり、画像内の文字を読んだりできます。ただし、モデルによって対応する画像形式や得意な作業が異なります。
ソースを毎回必要な分だけ添えるのがRAG。牛肉そのものへ味を染み込ませるようにパラメータを調整するのが追加学習。
今回は、まず資料を添える方法から始めます。資料を読み込ませただけで、モデルが永久に覚えたとは考えません。
8. イラストを添えます
イラストを追加する方法は、大きく二つあります。
一つ目は、画像をLLMに見せる方法です。料理の写真や図を添えて、「この画像を説明して」「画像内の文字を読み取って」と質問します。この場合は、画像入力に対応したマルチモーダルモデルが必要です。
二つ目は、LLMにイラストを作らせる方法です。「牛肉煮込みの作り方を説明する、親しみやすいイラストを作って」のように指示します。この場合は、画像生成モデルを使います。テキストを得意とするLLMだけでは、画像を直接生成できないことがあります。
画像生成モデルを追加すると、画像用の保存容量と実行メモリが必要になります。テキスト用モデルと画像生成モデルを同時に動かす場合は、鍋をもう一つ用意するようなものです。
9. 味見します
日本語と英語で質問します。
同じ内容を両方の言語で聞いて、答えの意味が変わらないか、資料を正しく使えているかを確認します。
画像を使う場合は、画像を正しく説明できるか、画像内の文字を読み違えていないか、指示どおりのイラストを作れるかも確認します。
味見には、調整に使っていない質問も用意しましょう。いつもの質問だけ答えられても、ほかの質問に対応できるとは限りません。
10. お好みで多言語を追加します
中国語、韓国語、タイ語も使いたくなったら、まず今のモデルで試します。
すでに得意なら、そのまま使えます。同じモデルで使う言語を増やしても、言語数の分だけメモリが増えるわけではありません。
苦手なら、翻訳モデルを別に添える方法もあります。ただし、鍋をもう一つ使うように、追加モデルを動かす分のメモリが必要です。
11. 盛り付けて完成です
チャット画面から質問を入力し、自分の資料を使った回答を受け取ります。
必要に応じて画像を添付したり、回答に合うイラストを生成したりします。
これで、自家製ローカルAIの出来上がり。
調理時間：ダウンロードと設定の時間＋納得するまでの味見。画像を使う場合は、画像モデルの準備時間も追加。
一度で味が決まらなくても、資料と味付けを少しずつ調整して、自分の用途に合う一皿に育てていきましょう。
