この記事では"How to Use"ではなく"What is This"に着目しています。実際にLLMを使う方法(OllamaやLM Studioでの利用方法)は紹介していません。
今回紹介するモデル
NVIDIA-Nemotron-Nano-9B-v2-Japanese
NVIDIA-Nemotron-Nano-9B-v2-Japanese
モデル概要
ベースモデル: NVIDIA-Nemotron-Nano-12B-v2-Base(NVIDIA-Nemotron-Nano-9B-v2)
コンテキストサイズ: 1M
パラメータ数: 30B-A3B
使用VRAM: 7~8GB(Q4_K_M)
公式対応言語: 英語、日本語
想定用途: 統合モデル
感想
- 特別な特技があるわけではないモデル
- ツールコーリングは可能
- 日本語にネイティブ対応しているのは魅力的
- コーディングは得意というわけではない
- 1Mのコンテキストサイズは驚異的
まとめ
良くも悪くもNemotronであった。出力の品質は他のモデルと比べると同程度か少し劣ってしまうか程度であるが、日本語にネイティブ対応しているモデルであることが最大の魅力である。日本語対応モデルをNvidiaが出してくれたことに感謝しなければいけない。
コンテキストサイズ1Mと聞いて、"結局ロングコンテキストになると性能低下するからなー"と思った人は一旦考え直して欲しい。Mambaを取り入れたハイブリッドアーキテクチャになっており、Mambaが得意とする長文処理能力とTransformerが得意とする読解能力を兼ね備えている。メモリ効率も高いためVRAMが許す限り無限に近いコンテキストサイズを確保できる。純粋なManbaモデルではできないような複雑な推論タスクもこなせるのがポイント。
日常的にNemotronシリーズのモデルを採用している人は置き換えてもいいかもしれない。ベースモデルと比べて出力の質が大きく低下しているようには感じなかったので、日本語前提で使うのであればこのモデルの方が向いていると言える。
評価モデル一覧