0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

LFM3の6モデルとベンチマークの読み方、LFM3-1.7B(公式Q8_0)をBionicで通常会話させた記録

0
Posted at

LFM3の6モデル・ベンチマーク・ローカル検証の解説

執筆:あきらパパ / 確認日:2026-10-29(JST)/ 実機検証:2026-10-28

この記事では次の4つを区別しています。

  • メーカー発表:Liquid AIの説明と、Liquid AI自身の測定。筆者は再現していません。
  • ローカル観測:筆者の1台の環境で確認したこと。
  • 独自調整:本検証で使った通常会話専用テンプレート。BionicやLiquid AIの公式推奨ではありません。
  • 未検証:確かめていないこと。

1. LFM3の新しい点(メーカー発表)

  • 共通基盤LFM3-1.7B-Baseから、用途別の6モデルを構成(Baseは6つに数えない)
  • 文字・視覚・音声・統合に加え、生成しない判定モデル(d1系)を同じファミリーに含む
  • 旧2.6Bモデル比でパラメータ35%減、事前学習22Tトークン
  • 文字モデルの文脈長は256K

公式ブログは2026-10-27表記です。公式Xの発表投稿は2026-10-28に確認しました(反響の量は調べていません)。

2. 用途別6モデル(メーカー発表)

LFM3ファミリーの6モデルと共通基盤

正式型番 実パラメータ 入力 出力 役割 文脈長(仕様) 本記事での検証
LFM3-1.7B 1.73B 文字 文字 文章、ツール呼び出し 256K 通常会話・単回長文生成(Q8_0)
LFM3-VL-2B 1.92B 文字・画像・動画 文字 視覚入力の理解 128K 未検証
LFM3-Audio-2B 2B(総数) 文字・音声 文字・音声 音声対話(18言語の音声) 32K 未検証
LFM3-Omni-2B 2.17B(総数) 文字・画像・動画・音声 文字・音声 複数モーダルの統合 32K 未検証
d1-2B 1.92B 文字・画像・動画 型付き判定・抽出、確率 判定・抽出 128K 未検証
d1-Omni-2B 2.17B 文字・画像・動画・音声 型付き判定・抽出、確率 判定・抽出(会話モデルではなく、音声出力なし) 128K 未検証
  • 型番の2Bは厳密な総数ではありません(Bは10億)。
  • 文脈長はトークン上限(入力+出力)です。256Kは日本語256,000文字の保証でも、完全な記憶でもありません。
  • d1系の確率は、モデルの判定の寄り具合を示す値で、正解の保証ではありません。
  • 公式は文字モデルをagentic codingや複雑な多段推論には推奨しておらず、知識に依存するタスクは検索との併用を案内しています。

3. アーキテクチャ(メーカー発表)

三つの読み方と24層

24層の内訳は、gated short convolution 13層(近くの並び)、sliding-window attention 5層(256トークンの窓内の関係)、global attention 6層(全体の関係)です。

4bitで文字モデル約1GBというのもメーカー説明です。約1GBは必要RAMの総量ではなく、KVキャッシュとランタイムの分が加わります。本記事で使うQ8_0(1.85GB)とも別の数字です。

4. ベンチマーク(メーカー測定)

LFM3-1.7B、LFM2.5-2.6B、Qwen3.5-9Bのベンチマーク比較

以下は、Liquid AIが自社のモデルカードに掲載した測定値です。第三者の再現でも、筆者の再測定でもありません。

4-1. 各ベンチマークが見ているもの

ベンチマーク 見ているもの
LiveClaw OpenClawを使うエージェント課題の達成
BFCL V4 正しい関数・引数を選ぶツール呼び出し
MCP-Atlas ツールを伴う長い課題
SWE-bench Verified 実リポジトリの課題修正(OpenCode経由)
LiveCodeBench v6 プログラミング問題のコード生成
IFEval 検査可能な指示条件を守れるか
GPQA Diamond 専門的な科学の難問
RULER 128K 長い入力内の情報を扱えるか

4-2. 8指標×6モデル

すべて高いほどよい指標です。

ベンチマーク LFM3-1.7B LFM2.5-2.6B MiniCPM5-2B Gemma4-E4B Qwen3.5-4B Qwen3.5-9B
LiveClaw 45.60 14.70 30.37 20.36 19.94 35.77
BFCL V4 71.39 55.89 62.65 48.25 55.12 62.83
MCP-Atlas 32.57 16.45 26.38 6.19 41.37 42.67
SWE-bench Verified (OpenCode) 43.40 18.00 34.80 0.50 41.20 51.20
LiveCodeBench v6 73.46 60.57 70.52 71.00 61.99 69.86
IFEval 96.66 95.39 87.83 90.02 92.52 92.08
GPQA Diamond 63.37 57.78 65.15 57.88 75.76 80.40
RULER 128K 65.56 1.15 37.96 18.82 84.63 87.11

4-3. 評価条件

項目 条件
精度・実行 全モデルBF16/vLLM
最大context LFM3-1.7B・Qwen3.5-4B・Qwen3.5-9B:262,144/LFM2.5-2.6B・MiniCPM5-2B・Gemma4-E4B:131,072
サンプリング 原則 temperature 0.6、top_p 0.95
BFCL V4 greedy、最大出力32,768 tokens
LiveClaw OpenClaw、最大出力8,192 tokens
SWE-bench Verified OpenCode、最大250 turn
MCP-Atlas 最大256 turn

ハーネスやturn上限、モデル別のcontext上限に差があるため、完全に同一条件の比較とは言えません。

4-4. 読み方

  • 同じ行のモデル同士だけを比べます。 異なるベンチマークの点数は尺度も意味も違うので、横に比べません。全指標を一律に「正答率」とも読みません。
  • 差を性能の倍率に変換しません。
  • LFM2.5-2.6B比:8指標すべてで上回ります。IFEvalの差(96.66対95.39)は小さめです。
  • Qwen3.5-9B比:上回るのはLiveClaw(45.60対35.77)、BFCL V4(71.39対62.83)、LiveCodeBench v6(73.46対69.86)、IFEval(96.66対92.08)。下回るのはMCP-Atlas(32.57対42.67)、SWE-bench Verified(43.40対51.20)、GPQA Diamond(63.37対80.40)、RULER 128K(65.56対87.11)です。
  • Qwen3.5-4B比:MCP-Atlas、GPQA Diamond、RULER 128Kで下回り、他の5指標で上回ります。
  • MiniCPM5-2B比:GPQA Diamond以外の7指標で上回ります。
  • Gemma4-E4B比:8指標すべてで上回ります。SWE-bench 0.50やMCP-Atlas 6.19のような極端な値は、ハーネスやcontext上限の差の影響が切り分けられていないため、単独で実力の結論にしません。
  • 表全体の平均は、性質の違う指標の非加重平均になるため、万能な順位としては使いません。

読めること:メーカー条件(BF16)では、LFM3-1.7Bはツール呼び出し・エージェント課題・指示条件の指標で高いスコアです。

読めないこと:日本語会話の品質、安全な自動操作、量子化版(Q8_0やQ4_0)での同等性、長文の実用精度。また、コード問題を正しく解くことと、自律的に開発を完遂することは別です。公式も文字モデルをagentic codingには推奨していません。

4-5. VL・Audio・Omni・d1(メーカー発表)

公式ブログでは、視覚系62評価の単純平均として、LFM3-VL-2B(実パラメータ1.92B、型番2B)が71.4、Gemma4 12Bが71.7、GPT5.6 Lunaが73.4、Gemini3.5 Flash Liteが70.0と示されています。このテスト集合では近い結果ですが、あらゆる画像質問に同じ強さとは言えません。

Audioは18言語の音声対話、Omniは画像・音声の統合、d1は生成せず型付き判定と確率を返す役割です。文字モデル以外の5モデルは本端末で未検証です。

4-6. 速度の数値について

公式の端末速度比較はQ4_0/llama.cpp/context 32Kの条件です。本記事の測定(10章)はQ8_0の単回測定なので、公式値とは比較しません。

5. 検証環境(ローカル観測)

項目 値
端末 Apple M4 Max/64GB
アプリ Bionic 1.1.9(build 6)
ランタイム Metal llama.cpp 2.65.1(Bionic側の版数)
モデル LiquidAI/LFM3-1.7B-GGUF の LFM3-1.7B-Q8_0.gguf
サイズ 1,846,238,496 bytes(1.85GB)
整合性 SHA256が公式LFSと一致。GGUF内のchat_templateも公式と一致

ランタイムの2.65.1はBionic側の版数で、llama.cpp本体のGitHubリリース番号(参照したのはb11938)とは別の番号です。llama.cppのmasterに src/models/lfm3.cpp が存在することも確認しました。Liquid AIのllama.cpp導入ガイドは例に旧LFMのものが混ざっているので、古いビルド番号の例をLFM3対応版として読まないよう注意してください。

参照(確認日2026-10-28):

6. モデルの選択と読み込み

公式配布からロード、短い3問、用途判断までの流れと通信の境界

公式GGUFをダウンロード済みである前提です。Bionic公式ガイドのモデルの項と筆者の観測にもとづく流れです。

  1. モデル選択で「Local」を選ぶ
  2. 配布者が LiquidAI、ファイルが LFM3-1.7B-Q8_0.gguf であることを照合する
  3. 既存のQ8_0を選び、loadする

非公式の変換版は対象外です。サイズとSHA256を、Hugging Faceのファイルページの値と照合します。

# 公式GGUFを既に持っている前提の例です。本記事の制作中にこのコマンドは実行していません
shasum -a 256 LFM3-1.7B-Q8_0.gguf

7. 調整前に起きたこと(ローカル観測)

  • Bionicが渡す作業用指示・環境情報・ツール定義に反応し、単純な質問でも存在しないフォルダの探索を繰り返しました。
  • 最初の短い会話テストが通っても、通常会話で安定する保証にはなりませんでした。
  • System Promptの変更とThinking offだけでは解消しませんでした。
  • 調整前には、中国語の混入や指定した文数を守らない応答も見られました。

8. 通常会話専用テンプレート(独自調整)

各設定欄へ到達する正確なメニュー階層は記録していないため、記載しません。画面の項目名や配置はバージョンで変わる可能性があります。他端末での再現は未検証です。

8-1. 変更前に原本を保存する

  1. モデル設定のプロンプトテンプレート(Jinja)欄の内容を全文コピーし、手元に別ファイルとして保存します。元に戻すときの最優先の原本です。
  2. これから変える設定項目の現在値を控えます。スクリーンショットには個人のパスなどが写ることがあるので、手元だけで保管してください。

8-2. 独自テンプレートの処理内容

本検証で使ったテンプレートの全文は、この記事では配布しません。公式テンプレートは次のURLで確認できます。

独自テンプレートは、公式のChatML形式を土台に次の処理をしています。

  • tools=[] にして、ツール定義を渡さない
  • 新しい短い日本語のsystemを入れる
  • 履歴から、userと、ツール呼び出しを含まないassistantだけを取り出す
  • user本文に </environment> があれば、最後の区切りより後ろだけを残す
  • enable_thinking=false

結果として、ツール定義・環境情報・作業用指示(既存のsystem/developer指示)の3つを会話に渡しません。

通常会話専用です。 作業用指示とツール文脈を保持しないため、ファイル操作・コーディング・自動操作などのエージェント用途には使わないでください。また </environment> の処理はすべてのuser messageにかかるので、本文にこの文字列を含めると、それより前の内容が失われることがあります。

8-3. 推論設定

項目 値
Temperature 0.1
top_k 50
repeat penalty 1.1
Thinking off
context length 8192
GPU offload 24
max concurrent predictions 1
Unified KV Cache off
Context Checkpoints 0

テンプレートと各設定のどれがどれだけ効いたかは切り分けていません。全項目が必須とは言えません。

8-4. 適用と確認

  1. shellをoffにして、モデルを再ロードします。
  2. 新しい会話で、9章の質問を順に送ります。

9. 結果(ローカル観測)

独自調整の前後と、残る誤答・未検証

※図の会話例は簡略表記です。図の除外情報の3つめは作業用指示です。各設定の因果は未分離です。

質問 応答 判定
五十音順で、あ・い・う・えの次 お 正答
(続けて)では、その次 おの次はか 正答(文脈を保持)
空が青い理由 レイリー散乱について日本語で回答 内容は妥当
あ、い、う、え、の次は? 的外れな返答 誤答が残る

4問とも探索ループは出ませんでした。ただし「回答が返る」「正答する」「用途に合う」は別々に判断する必要があります。

10. 長文生成の単回測定(ローカル観測)

5章の環境と8章の設定のまま、新しい会話で「日本語の物語を10,000文字以上、全20章で」と指示しました。

項目 値
測定日 2026-10-28
出力文字数 5,276文字(Pythonの len()、改行・見出し込み)→ 10,000文字の指定は未達
入力トークン 149
出力トークン 3,471
生成速度 139.56 tokens/秒
生成時間 24.86467秒
入力処理込みの時間 24.97247秒
TTFT(最初のトークンまで) 0.10781秒
停止理由 eosFound(モデルが自発的に終了)

測定方法:lms の prediction.output.stats の値とサーバーログを照合しました。直後に自動で走った会話タイトル生成(別の出力、22.53秒)は含めていません。

  • 1回だけの測定で、この環境・この設定に限った数字です。
  • 上限による打ち切りではなく、指定の半分ほどでモデル自身が書き終えています。
  • 物語の内容の正確さと、全20章の指定を守ったかは評価していません。

出典:筆者の検証記録(非公開)

採用を判断するときは、自分の用途に近い短い実務サンプルで、正答と指定条件を確かめてから使ってください。

11. 失敗したときの切り分け

症状 確認すること
フォルダ探索が続く テンプレートが置き換わっているか、shellがoffか、再ロードしたか
設定を変えても挙動が同じ 再ロード後の新しい会話で試しているか
曖昧な質問で外れる 「五十音順で」のように条件を具体的に書く。それでも外れる場合は用途に合わない可能性
作業系の指示が効かない 仕様どおり(8-2の制約)。作業用途には使わない
原因がわからない 次章の手順で元に戻す

12. 元の設定に戻す

  1. テンプレート欄に、8-1で保存した原本を貼り戻します。これを最優先にしてください。
  2. 保存していない場合に限り、公式の chat_template.jinja(8-2のURL)を使えます。読者自身の設定のバックアップではなく、版が違えば手元のGGUFの内蔵テンプレートと一致しない可能性があります。
  3. 8-1で控えた値に各設定を戻し、モデルを再ロードして新しい会話で確認します。

GGUFファイル自体は変更していないので、再ダウンロードは不要です。

13. ライセンスと通信

  • 重みの公開は、無条件の商用利用許可ではありません。LFM Open License v1.0 の第1条・第5条に、年間売上1,000万米ドルを基準とする条件があります。該当し得る場合は原文を読み、必要なら別契約を確認してください。
    https://huggingface.co/LiquidAI/LFM3-1.7B/blob/main/LICENSE
  • ローカル実行でも、検索・API・ツール接続を使えば通信が発生します。

14. 未検証

メーカーのベンチマークの再現、長文の内容精度と全20章の遵守、文脈長の全長、速度の再現性と他条件での速度、消費電力、通信遮断状態での動作、音声・画像・動画、自動操作、他端末での再現。LFM3-1.7B以外の5モデルは試していません。

出典(確認日2026-10-29)

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?