DatabricksでPhi-4-mini-reasoningを試す

ローカルLLMは同じ時期にまとめて出すというルールでもあるのか。。。
いろいろ試してみたいものが続々でてきます。

導入

Microsoft社から大規模言語モデル(MS社の定義だとSmall Language Modelです)であるPhi-4の新モデル、Phi-4-reasoningシリーズが公開されました。
Phi-4-reasoning、Phi-4-reasoning-plus、Phi-4-mini-reasoningという3つのモデルがリリースされています。これらはReasoningモデルであり、最初に思考をした後に最終回答を返すモデルです。
特に数学的推論に最適化されているようです。

各モデルの特徴は以下のようになります。

• Phi-4-reasoning:
  • 140億パラメータの推論特化型オープンウェイトモデル
  • 複雑な推論タスクで大規模モデルに匹敵する性能
  • OpenAI o3-miniからの推論デモを用いた教師付き微調整で訓練
• Phi-4-reasoning-plus:
  • Phi-4-reasoningの機能を強化
  • 強化学習によりさらに訓練され、推論時に1.5倍多くのトークンを使用
  • より高い精度を実現
• Phi-4-mini-reasoning:
  • より小型の推論モデル
  • 数学的推論に最適化
  • 中学校からPh.D.レベルまでの100万以上の多様な数学問題で訓練

面白そうでしたので、いつものようにDatabricks上で動かしてみようという記事になります。
検証はDatabricks on AWS、ノートブックはGPU(g5.xlarge)の専用モードクラスタ、DBRは16.4 LTS ML(Beta)を利用しました。

モデルの読み込み～エンドポイントへのデプロイまで

正直、内容は以下とほぼ同じです。(若干、ライブラリのアップデートをしているくらい）
そのため、モデル構築からデプロイまでの処理やコードについては以下記事を参照ください。ここの記事では割愛します。

なお、今回は公開された3モデルのうち、Phi-4-mini-reasoningを利用しました。
3BモデルのSLMです。128Kという比較的大きなコンテキスト長をサポートしています。

Playgroundから試す

Playgroundから試してみます。

ストップトークンが標準だとうまく効いていなかったこともあって、custom_inputs経由で以下のようにLLMのパラメータを設定しています。

「Databricksについて、説明して」と指示して見ましょう。

ちょっと日本語はイマイチかな。。。

とはいえ、数学計算に最適化されたモデルですので、数学の問題を解かせてみます。
問題はこちらから拝借しました。

思考過程が英語のせいか回答が英語になっていますが、正解です。

おわりに

Microsoft社のPhi-4-mini-reasoningモデルをDatabricks Model Serving上にデプロイして簡単に試してみました。

MITライセンスで使えるオープンウェイトのReasoningモデルです。
小規模モデルですが、性能は十分に見えますね。

プロプライエタリモデルでは当たり前になりつつあるReasoningモデルがオープンウェイトモデルでも標準になりつつありますね。
思考時間の分レイテンシは大きくなりますが、高度な数学問題などを正しく解くという用途においては非常に有用なモデルだと思います。

というか、学生時代に欲しかったなあコレ。。。