モデル開発の流れを学習していく。
モデル開発の第1ステップとして使用するモデルを理解する。
モデルカードを見て、モデルの特性などがわかるようにしていく。
今回はQwen3.5を見ていく。
Hugging Faceで以下3つを確認する。
- Model Card(モデルカード)：モデルカードはそのモデルの説明書
- Files(モデルの実ファイル)：モデルの実態ファイルなど
- Community(質問・議論欄)：利用者の質問や不具合報告、改善提案が投稿されている
Model Card(モデルカード)
ここで必要だなと思った情報
ビジョンエンコーダを備えた言語モデル
モデルの内部には２種類の仕組みをもっている
- Gated DeltaNet
- Gated Attention
通常のTransformerが全ての層で標準的なAttentionを使うのに対し、Qwen3.5ではGatedを使うことで軽量になっている。
隠れ層の次元数；2560
層数：32
語彙・埋め込み数：248,320
FFN中間次元：9216
標準コンテキスト長：262,144トークン
このコンテキスト長を見てどのくらい大きいか分からなかったが、大体4096トークンで大体日本語だと4000〜8000字らしいので、かなり大きい。
コンテキスト長はネットワークに一度に流れせる量
Files(モデルの実ファイル)
Qwen3.5-4B-Base/
├── .gitattributes：Git Large File Storage (LFS) や大容量ファイルの設定を指定する構成ファイルです。
├── LICENSE：ライセンスの利用規約
├── README.md：モデルの概要など
├── config.json：モデルのハイパーパラメータをが記載された設定ファイル
├── merges.txt：Tokenizerがサブワード単位を結合・分割するルールを定めたBPEマージファイル
├── model.safetensors-00001-of-00002.safetensors：モデルの重みファイル
├── model.safetensors-00002-of-00002.safetensors：モデルの重みファイル
├── model.safetensors.index.json：各パラメータがどの.safetensors分割ファイルに保存されているかを示すファイル
├── preprocessor_config.json：画像データの前処理(リサイズ、正規化)に必要な設定ファイル
├── tokenizer.json：トークナイザの語彙やルール全体を含んだ統合構成ファイル
├── tokenizer_config.json：トークナイザの動作設定ファイル
├── video_preprocessor_config.json：動画データの前処理に必要な設定ファイル
└── vocab.json：トークナイザが使用する単語・トークンとIDの対応表(語彙辞書）ファイル
-
モデルサイズ
- Medium: Qwen3.5-35B-A3B、27B、122B-A10B
- Small: Qwen3.5-0.8B、2B、4B、9B
-
Base/Instructの違い
- Baseは次に来る単語予測する学習だけを行っている状態
- Instructは事前学習されており、ファインチューニングなしでそのまま使えるようになっている。データ数が少ないときはこれを使用してファインチューニングを行う。 -
Tokenizer
- tokenizer_config.jsonに設定されている。これから何が書かれているか勉強していきたい。
-
Chat Template
- tokenizer_config.jsonに設定されている。ユーザーとAIのやり取りをsystem/user/assistantといった役割ごとに整形し、モデルが学習時と同じ形式で入力を受け取れるようにする仕組みのこと。
-
Context Length
- 262,144
-
Dense/MoE
- 4BはDenseだと思う。
-
Attention構造
- config.jsonなどにAttentionの設定などあるが、見ても分からない。あとで学習する。
-
dtype
-
VRAM使用量
分からなかった単語
- BPE（Byte Pair Encoding）マージファイル
文章をAIが扱うトークンに分割するときのルールを保存したファイル（BPEマージファイルは、細かく分けた文字・バイトを、どの順番でどのサブワードにまとめるかを記録したルール表）
トークナイザはルールに従って、細かい文字やバイトの並びを、頻繁に登場するサブワードへ段階的に結合する。
文字単位： p / l / a / y / i / n / g
サブワード： play / ing
単語単位： playing
DeltaNet層
Attention層
参考
https://reiwa-baby.com/articles/huggingface-video-ai-models/