はじめに

前回はLLMを動かすだけで終わりました。
UIの設定項目があまりにも多い＆用語がLLM初心者には何が何だかわからず、初期設定からいじる気がしなかったためです。
今後もごりごりLLM触るつもりなので、腰を据えてひとつひとつ調べていこうと思います。

1.6.1のバージョンだとヘッダータブがこんな風になってるので、
今回はmodelタブの設定項目について調べます。

modelの調査

そもそもmodelタブって何が目的なの？

LLMモデルの選択と、モデルに対してのパラメータ設定が目的のようです。

最低限の使い方だけ知りたい

最低限となると、

モデルをダウンロードする
モデルをロードする

になります。

1. モデルをダウンロードする

赤枠のところにHugging Face(LLMのモデルなどを公開しているAIプラットフォーム)のLLMモデル名を入力して「download」ボタンを押します。

LLMモデル名は、
Hugging Face上の以下のボタンを押せば取得できます。

2. モデルをロードする

「Model」のプルダウンで、ダウンロードしたモデル名が表示されるようになりました。
モデルを選択したうえで、お隣の「Load」ボタンを押せばチャットでモデルが利用可能になります。
いちいちLoadボタン押すのが面倒な人は、チェックボックス「Autoload the model」にチェック入れればプルダウン選択で自動でロードされるっぽいです。

設定値の意味を知りたい

Model loader

Model loaderプルダウンには何かいろいろあります。
いくつか調べてみましたが、どうやらLLMモデルを利用する際に使うライブラリらしく、ランタイムみたいな理解でいいんでしょうか？
Model loaderを変えるとその下の設定項目群の構成が変わるので、ユーザー目線だと「LLMのパラメータを制御するやつ」くらいにとらえておけば良さそうです。

この記事で全部書き出そうとすると長くなりすぎるので、別記事でまとめようと思います。

LoRA(s)

そもそもLoRAってなんぞ？と調べてみたけどよくわからなかったです。
とりあえずLLMモデルに学習させるための手法の１つ、という理解までで良さそう？

じゃあこのLoRA(s)のプルダウンで選択するものってなんやねんって調べてたら以下の記事に行き着きました。

要するに、

Trainingタブのページにて、選択したモデル(ここだとcyberagent_open-calm-3b)に対して、特定のデータセットで学習させる
学習が終わると、学習した結果がLoRAモデルとして「loras」フォルダに出力される
modelタブページのLoRA(s)プルダウンで出力されたLoRAモデルを選択することで、LoRAモデルをふまえた出力をLLMモデルがしてくれるようになる

ということのようです。

あとがき

LoRA(s)について調べるだけで半日かかりました...道のりは険しい。
次回はModel loaderの詳細についてまとめようと思います。