V-JEPA 2と2.1の比較

概要

V-JEPA 2.1は、空間・時間にわたる密な特徴表現を学ぶ新しいモデルです。以前V-JEPA2で試したものと同じデータを使って性能の差を比較しました。今回は入力に使う映像の加工方法も複数パターンを試していて、今まで通り上下に帯を挿入して正方形にした場合と元の映像の縦横比のままの2パターンで試しています。

先に結論を述べると、余白なし入力で一貫した性能改善は確認できませんでした。V-JEPA 2の窓APは下がり、V-JEPA 2.1では上がりましたが、両方の差の95%信頼区間が0を含みます。どちらの変化も確定的な改善・悪化とは言えません。

比較の進め方

データはNexar Collision Predictionのtrain splitに含まれる動画から作った固定分割です。学習用は160本・11,390窓、検証用は40本・2,905窓です。2モデル×2種類の入力形状、計4条件で、同じ窓・フレーム・ラベルを使いました。

encoder（映像を特徴量に変換する部分）は凍結し、得られた特徴量からリスクスコアを出す小さな判定器（probe）を作りました。各条件のprobeは、学習用データだけでStandardScalerとbalanced LogisticRegressionをfitしています。検証データを使って入力サイズや閾値を選び直してはいません。

条件	入力と映像部分	空間grid／総token数
V-JEPA 2・正方形	256×256（映像256×144、上下に各56pxの黒帯）	16×16／8,192
V-JEPA 2・横長	256×144（黒帯なし）	9×16／4,608
V-JEPA 2.1・正方形	384×384（映像384×216、上下に各84pxの黒帯）	24×24／18,432
V-JEPA 2.1・横長	512×288（黒帯なし）	18×32／18,432

V-JEPA 2.1のViT-Lは、約2BパラメータのV-JEPA 2.1 ViT-G教師から蒸留された約300Mパラメータのモデルです。V-JEPA 2と2.1は、事前学習のレシピやデータ、蒸留、入力解像度、学習済み重みなどが異なります。下流の判定器に使う学習・検証動画は共通ですが、モデル間の差から個々の要因の効果を切り分けることはできません。

動画からモデル入力まで

元動画200本はすべて1,280×720でした。各動画から2秒・64フレームの窓を作り、開始位置を0.5秒ずつずらしました。フレームはRGBとして読み込み、Pillow BILINEARで処理しています。画面のクロップや縦横比の引き伸ばしは行っていません。

正方形にする条件では、まず縦横比を保ったまま映像部分を縮小します。V-JEPA 2は256×144、V-JEPA 2.1は384×216です。その後、正規化前の黒画素で上下に余白を加えて、それぞれ256×256、384×384にしました。黒帯はいずれも入力面積の43.75%です。

横長条件では黒帯を加えず、V-JEPA 2は256×144、V-JEPA 2.1は512×288にしています。V-JEPA 2では正方形条件の映像部分と同じ画素寸法ですが、token gridと位置座標が変わります。V-JEPA 2.1では正方形条件より映像部分の各辺を4/3、面積を16/9に拡大しており、総token数は同じでも映像の解像度が上がります。このため、どちらも黒帯の有無だけを変えた比較ではありません。

全条件でRGB値を0〜1にrescaleし、ImageNetの平均値と標準偏差で正規化しました。processor内部の追加resizeとcenter cropは無効です。黒帯を加える方法は今回の評価用前処理であり、モデルの公式必須手順ではありません。公式の評価前処理とも異なります。

結果

条件	学習 window AP / ROC AUC	検証 window AP / ROC AUC	検証 frame AP / ROC AUC
V-JEPA 2・正方形	0.629291 / 0.991417	0.144516 / 0.794117	0.104294 / 0.786743
V-JEPA 2・横長	0.626648 / 0.992211	0.103784 / 0.776376	0.073955 / 0.768049
V-JEPA 2.1・正方形	0.535919 / 0.986073	0.057622 / 0.732140	0.050938 / 0.719361
V-JEPA 2.1・横長	0.539652 / 0.987757	0.067239 / 0.707855	0.059994 / 0.701584

主指標のwindow AP差は、検証用の同じ40動画を対応させた動画単位paired bootstrapで見ました。反復は1,000回、seed=42、95% percentile区間です。差は丸め前のAPから算出して小数点以下6桁で示しているため、表示したAP同士を引いた値と最終桁が合わない場合があります。

比較	window AP差	95%区間
V-JEPA 2・横長 − 正方形	−0.040731	[−0.171811, 0.008179]
V-JEPA 2.1・横長 − 正方形	+0.009617	[−0.081012, 0.063030]
正方形：V-JEPA 2.1 − V-JEPA 2	−0.086894	[−0.253621, 0.110627]
横長：V-JEPA 2.1 − V-JEPA 2	−0.036546	[−0.127183, 0.070667]

今回の詳細な日本語レポートはGitHubレポート（日本語）、英語版はEnglish reportです。

結果の読み方

AP（Average Precision）は、陽性をスコアの上位に並べられるかを見るランキング指標です。正解率ではありません。window APとframe APは評価する単位が違うので、数値を直接比べません。信頼区間が0を含むことも、差がない・同等だという証明にはなりません。

同じモデルの中では、横長条件でV-JEPA 2のwindow APは低くなり、V-JEPA 2.1は少し高くなりました。ただし、両方の区間が0を含みます。frame APもV-JEPA 2では下がり、V-JEPA 2.1では上がりましたが、frame ROC AUCは両モデルで下がりました。V-JEPA 2ではtoken gridと位置座標が変わり、V-JEPA 2.1では映像の解像度も上がっています。この結果から黒帯が原因とも、黒帯が無関係とも断定できません。

モデル間では、今回の正方形・横長のどちらでもV-JEPA 2のwindow AP点推定が高くなりました。一方で、事前学習の条件や蒸留、入力解像度など複数の違いがあり、検証用の40本も過去に利用した固定データです。今回の評価における探索的な比較であり、モデル一般の優劣を示すものではありません。

検証用データは2,905窓、陽性65窓でした。リスク注釈のある21動画のうち、陽性窓を含んだのは19本です。短いイベントの2本は0.5秒間隔の判定時点にかからず、陽性窓がありませんでした。このラベル付けでは短いイベントを評価できない場合があります。

使用モデルと出典

V-JEPA 2はHugging Faceのfacebook/vjepa2-vitl-fpc64-256、revision b3c1679b7c34d3255ef3547f27c7b226aefab26fを基準にしています。V-JEPA 2.1は、約2BパラメータのViT-G教師から蒸留された約300MパラメータのViT-L/16で、checkpointはvjepa2_1_vitl_dist_vitG_384.ptです。使用したMeta公式コードrevisionは204698b45b3712590f06245fbfba32d3be539812です。

V-JEPA 2の重み枝について

比較記録では、実際に使ったV-JEPA 2のencoder枝は既存Hugging Face重みの388 tensorと一致し、Hub既定のtarget_encoder枝そのものではないとされています。正方形baselineのAPも以前の値と一致しましたが、これだけで異なる実装経路の全出力が数値的に同等と証明されたわけではありません。

モデルの仕様と実装はV-JEPA 2公式リポジトリ、V-JEPA 2.1論文、Transformers V-JEPA 2資料を参照してください。

データはNexar Collision Predictionです。データカードが指定する引用は Daniel C. Moura, Shizhan Zhu, and Orly Zvitia, “Nexar Dashcam Collision Prediction Dataset and Challenge” (2025) arXiv:2503.03848です。データはNexar Open Data Licenseに従い、帰属表示が必要で、再販売などに制限があります。データカードは、アクセス条件と連絡先情報共有への同意にも触れています。利用前に最新の条件を確認してください。データの条件はモデル・コードのライセンスとは別です。

この比較はリスク区間ラベルを使った探索的な評価です。事故を事前に予知できることや、実際の運転環境で安全に使えることを示すものではありません。