8ビット浮動小数点数（E4M3FN）ガイド
★ここだけ人が書いています。★
これ以降のテキストは全てOpenShallowResearcherとClaude 3.7 Sonnetで作成しています。
この記事の内容を調査目的で整理しましたが、参考になったのと、備忘として残すために記事として残します。
索引
- イントロダクション
- 浮動小数点数の基礎知識
- 8ビット浮動小数点数の種類
- E4M3FNの仕様と特徴
- E4M3FNの応用例
- 各浮動小数点形式の詳細比較
- E4M3FNを使った実践例
- ハードウェアサポート状況
- 将来展望
- まとめ
- 参考文献
- 用語集
イントロダクション
近年、人工知能（AI）や機械学習（ML）の急速な発展により、より効率的な計算方法が求められています。特に大規模言語モデル（LLM）や画像生成モデルでは、膨大な計算リソースとメモリが必要となるため、データ表現の効率化が重要な課題となっています。
8ビット浮動小数点数形式、特にE4M3FNは、従来の32ビット（float32）や16ビット（float16/bfloat16）浮動小数点数と比較して、メモリ使用量を大幅に削減しながら、十分な精度を維持できる新しいデータ形式です。本ガイドでは、E4M3FNの基本から応用まで、わかりやすく解説します。
浮動小数点数の基礎知識
浮動小数点数とは
浮動小数点数は、コンピュータで小数点のある数値（実数）を表現するための方法です。例えば「3.14159」や「0.0001」のような数値を表現するために使われます。
浮動小数点数の構成要素
浮動小数点数は主に3つの部分から構成されています：
- 符号部（Sign）：数値が正か負かを示す（1ビット）
- 指数部（Exponent）：数値の大きさの範囲を決定する
- 仮数部（Mantissa/Fraction）：数値の精度を決定する
数値の表現方法
浮動小数点数の値は、次の式で表現されます：
- 値 = (-1)符号 × (1 + 仮数) × 2指数-バイアス
「バイアス」は指数部の表現範囲を調整するための定数です。形式によって異なる値が設定されています。
8ビット浮動小数点数の種類
8ビット浮動小数点数には、主に以下の種類があります：
- E4M3FN：符号1ビット、指数部4ビット、仮数部3ビット（無限大値なし、NaN値のみ）
- E5M2：符号1ビット、指数部5ビット、仮数部2ビット（より広いダイナミックレンジ）
- E4M3FNUZ：E4M3FNの変種（負のゼロなし）
- E5M2FNUZ：E5M2の変種（負のゼロなし）
E4M3FNの仕様と特徴
ビット構成
E4M3FNは、次のようなビット構成になっています：
+---------+------------------+-------------------+
| 符号(1) | 指数部(4) | 仮数部(3) |
+---------+------------------+-------------------+
主な特徴
- 指数バイアス: 7
- 最大値: 57,344 (1.75×215)
- 最小正規化値: 2-9
- 特殊値: NaNのみをサポート（無限大値なし）
- 数式: (-1)S × 2(E-7) × (1+M/23) [E≠0の場合]
E4M3FNの利点
- 省メモリ: float32の1/4のメモリ使用量
- 高速処理: メモリ帯域幅の削減により、処理速度が約2倍に向上
- 低消費電力: 約1/3の電力消費
- 十分な精度: AIタスクに必要な精度を維持
具体例：数値表現
例として、数値「3.5」をE4M3FNで表現すると：
符号: 0（正の数）
指数部: 1000（バイアス7を適用）
仮数部: 110（1.75を表現）
= 0 1000 110 = 3.5
E4M3FNの応用例
E4M3FNは、以下のような分野で応用されています：
大規模言語モデル（LLM）
- vllmプロジェクト: ROCm（AMD GPU）上でのFP8 (E4M3FN) KVキャッシュの実装が進行中
- メモリ効率: 大規模モデルのメモリ要件を削減
- 推論速度: レイテンシの低減による対話型AIの応答性向上
画像生成モデル
- Stable Diffusionでの利用: E4M3FN形式で量子化されたモデルが公開されている
- Hugging Face: 「flux1-dev-fp8-e4m3fn.safetensors」などのE4M3FN形式のモデルが公開
- 実行例: GeForce RTX 3060 12GBでの実行事例あり（20ステップ、1024x解像度で160秒の処理時間）
エッジAI・モバイルAI
- 低消費電力: バッテリー駆動デバイスでの電力効率向上
- 小型デバイス: 限られたメモリ容量のデバイスでの実行が可能に
- リアルタイム処理: 処理速度向上によるリアルタイムAI応用の拡大
各浮動小数点形式の詳細比較
| 形式 | サイズ | 符号部 | 指数部 | 仮数部 | 指数バイアス | 主な用途 |
|---|---|---|---|---|---|---|
| float32 | 32ビット | 1ビット | 8ビット | 23ビット | 127 | 一般的な計算、高精度が必要な処理 |
| float16 | 16ビット | 1ビット | 5ビット | 10ビット | 15 | GPU処理、グラフィックス |
| bfloat16 | 16ビット | 1ビット | 8ビット | 7ビット | 127 | 機械学習、TPU |
| E4M3FN | 8ビット | 1ビット | 4ビット | 3ビット | 7 | DNNの重み、推論 |
| E5M2 | 8ビット | 1ビット | 5ビット | 2ビット | 15 | 勾配計算、学習 |
性能とメモリ効率の比較
精度と表現範囲の比較
各形式の特徴：
- float32: 最も広い範囲と高い精度、但しメモリ消費大
- float16: 限られた範囲、中程度の精度
- bfloat16: float32と同じ範囲、低い精度
- E4M3FN: 限られた範囲、低い精度、AIの重み表現に最適化
- E5M2: E4M3FNより広い範囲、更に低い精度、勾配計算に最適化
E4M3FNを使った実践例
Stable Diffusionでの利用例
Redditでの報告によると、FP8 E4M3FN設定でStable Diffusionを実行した事例があります：
- 使用ハードウェア: GeForce RTX 3060 12GB、32GBメモリ
- 処理時間: 20ステップ、1024x解像度で160秒
- 使用モデル: flux1-dev-fp8-e4m3fn.safetensors
Hugging Faceでの公開モデル
Hugging Faceでは、E4M3FN形式で量子化されたモデルが公開されています：
- flux1-dev-fp8-e4m3fn.safetensors
- flux1-schnell-fp8-e4m3fn.safetensors
vllmプロジェクトでの活用
vllmプロジェクトでは、ROCm（AMD GPU）上でのFP8 (E4M3FN) KVキャッシュの実装が進行中です。これにより、大規模言語モデルの推論が更に高速化されることが期待されています。
ハードウェアサポート状況
E4M3FNをサポートする主なハードウェア：
ベンダー別サポート状況
| ベンダー | 対応ハードウェア | 特記事項 |
|---|---|---|
| NVIDIA | H100/H200 GPUs | Hopper アーキテクチャからネイティブサポート |
| Intel | Gaudi2/3 | AI アクセラレータ |
| ARM | 最新プロセッサ | モバイル向け実装 |
| AMD | ROCm対応GPU | vllmプロジェクトでの実装進行中 |
将来展望
E4M3FNを含むFP8形式は、今後さらに重要性を増すと予想されます：
短期的展望
- ハードウェアサポートの拡大: より多くのGPUやアクセラレータでのサポート
- ライブラリ・フレームワーク対応: TensorFlow、PyTorch、ONNXなどでの標準サポート
- 量子化手法の高度化: 精度損失を最小限に抑える量子化アルゴリズムの発展
長期的展望
- エッジAIの普及加速: 低消費電力デバイスでのAI実行が一般化
- モバイルAIの高度化: スマートフォンでの高度なAI処理が可能に
- 消費電力効率の革新: データセンターの電力消費削減に貢献
- 新しい8ビット形式の登場: 特定のタスクに特化した新形式の開発
まとめ
E4M3FNは、AI・機械学習分野における計算効率化の重要な技術です。以下の特徴により、今後ますます広く採用されると予想されます：
- 省メモリ: float32の1/4のメモリ使用量で効率的
- 高速処理: 約2倍の処理速度向上を実現
- 低消費電力: 電力効率の大幅な改善
- 十分な精度: AIタスクに必要な精度を維持
- 広がる応用: LLM、画像生成、エッジAIなど多様な分野での活用
E4M3FNは、より効率的でアクセスしやすいAI技術の実現に貢献する、注目すべき技術形式です。
参考文献
- RUN your FLUX Dev TODAY at FP8 e4m3fn - ComfyUI (Reddit)
- flux1-dev-fp8-e4m3fn.safetensors (Hugging Face)
- Float stored in 8 bits - ONNX Documentation
- flux1-schnell-fp8-e4m3fn.safetensors (Hugging Face)
- Enable scaled FP8 (e4m3fn) KV cache on ROCm (vllm-project)
- NVIDIA、Intel、ARM のディープラーニング向け FP8 フォーマット研究
- ディープニューラルネットワークの8ビット数値形式研究
用語集
- FP8: 8ビット浮動小数点数形式の総称。
- E4M3FN: FP8形式の一種。符号1ビット、指数部4ビット、仮数部3ビットで構成され、NaNのみをサポート。
- E5M2: FP8形式の一種。符号1ビット、指数部5ビット、仮数部2ビットで構成。
- FNUZ: 無限大値なし(FN)、負のゼロなし(UZ)の特性を持つ変種。
- KVキャッシュ: Key-Value Cacheの略。大規模言語モデルの推論を高速化するための技術。
- ROCm: AMD GPU向けのオープンソースのGPUコンピューティングプラットフォーム。
- safetensors: 機械学習モデルを安全に保存するためのファイル形式。
- 量子化: 高精度（例：32ビット）から低精度（例：8ビット）への変換プロセス。
- LLM: Large Language Model（大規模言語モデル）の略。
- Stable Diffusion: 人気の高い画像生成AIモデル。