はじめに
こんにちは！株式会社NeurestXの溝部です。
最近、TypeSafe AIが発表した「Jev」をはじめとする 「意思決定モデル（Decision Model）」 が注目を集めています。今回検証するCloudflareの「Clef-Flash」も、このJevと同じ設計思想で作られたオープンソースの意思決定モデルです。
意思決定モデルとは
これまでのLLMやVLMは、入力された画像やプロンプトに対して、1トークンずつ順番に文字を生成していく仕組みが一般的でした。それに対して、JevやClef-Flashのような意思決定モデルは、テキスト生成を一切行わないのが最大の特徴です。入力するデータと一緒にあらかじめ用意した選択肢を渡すと、各選択肢の確率を直接出力してくれます。文字を生成する待ち時間がないため、従来のVLMと比べて低遅延で動作します。
今回の検証内容
この**「低遅延で確率を出力する」という意思決定モデルの特徴が、リアルタイムな制御でどれくらい有利に働くのかを確かめるため、今回はゲームエンジンの「Godot」**で作った自律走行シミュレータを使って比較検証を行いました。
比較するのは以下の2つのモデルです。
- Qwen3.5-9B：Alibaba Cloudが公開している9BサイズのVLM
- Clef-Flash：Qwen3.5-9Bをベースに、Cloudflareが意思決定モデルとしてファインチューニングしたモデル
Clef-FlashはQwen3.5-9Bをベースに作られているため、どちらもパラメータサイズは同じ9Bです。ベースとなるモデルの性能が同じ状態で、 「テキストを生成する従来のVLM」 と 「確率だけを出力する意思決定モデル」 を同じコースで走らせたときに、走行性能にどれくらい差が出るのかを比較してみました。
具体的には、車のカメラの画像だけを入力してAIに運転を任せ、同じ条件でコースを走らせたとき、推論速度や走りの安定性にどのような違いが出るのかを確認しました。
検証環境
今回は、完全なローカル環境で検証を行うため、以下のデスクトップPC環境を使用しました。
- CPU: Intel Core i7-14700F
- GPU: NVIDIA GeForce RTX 4070 (VRAM 12GB)
- RAM: 32GB
- シミュレータ: Godot
- 推論サーバ: llama.cpp
推論には llama.cpp を使用し、量子化フォーマットはいずれも Q4_K_M の GGUF モデルを使用しています。モデルは 「Clef-Flash（ggml-org版）」 と 「Qwen3.5-9B（unsloth版）」 を使用しました。
Godotで作ったシミュレータから、車のフロントカメラ画像を毎ステップAIに送り、返ってきた指示に従ってハンドルやアクセルをリアルタイムに動かす仕組みとなっています。
走行結果の比較
車の最高速度や加速力、ハンドルの曲がりやすさなどの車両設定をすべて同じ条件に揃えて、Clef-FlashとQwen3.5-9Bをそれぞれ走らせてみました。
実際に2つのモデルを走らせた比較動画がこちらです。左がClef-Flash、右がQwen3.5-9Bです。
それぞれの計測結果は以下のようになりました。
| 計測項目 | Clef-Flash | Qwen3.5-9B |
|---|---|---|
| 結果 | 完走 | リタイア |
| 平均推論時間 | 242.6ms | 704.2ms |
動画や計測結果から分かるように、Clef-Flashは一度も壁にぶつかることなく、スムーズに1周を完走しました。
1回あたりの推論時間が約240msと短いため、1秒間に約4回のペースで細かくハンドルを修正できています。また、Clef-Flashは選択肢ごとの確率が数値で返ってくるため、その割合を使ってハンドルの曲がり具合やアクセルの強さを滑らかに調整できます。 結果として、カーブに入っても急ハンドルにならず、コースに沿って安定して走行できました。
一方で、Qwen3.5-9Bは最初のカーブで曲がりすぎてしまい、コース内側の壁にぶつかって止まってしまいました。
Qwen3.5-9Bも、カーブの手前で「右に曲がる」という判断自体は正しく出せていましたが、今回はテキストで出力された選択肢をそのまま操作に変換しているため、Clef-Flashのように確率を使って曲がり具合や加速の強さを細かく調整するのが難しく、「右」と判断するとハンドルを最大まで切ってしまいます。
さらに、次の推論結果が返ってくるまでに約0.7秒かかるため、ハンドルを大きく切ったまま走り続けてしまい、内側に曲がりすぎて壁に突っ込む形となりました。ぶつかったあとはカメラの目の前が壁で真っ白になり、コースが見えなくなってそのまま直進し続けています。
おわりに
今回は、自律走行シミュレータを構築し、意思決定モデルのClef-Flashと、そのベースモデルであるQwen3.5-9Bを比較しました。
同じ9Bサイズのモデルでも、テキスト生成を行わずに選択肢の確率を直接出力する意思決定モデルは、判断の速さだけでなく操作の強弱を滑らかに調整できる点でも、今回のようにリアルタイムに状況が絶えず変化するタスクで大きな強みがあることを確認できました。
皆さんもぜひ「Clef-Flash」などの意思決定モデルをローカル環境で動かして、いろいろなタスクで試してみてください。
参考リンク