はじめに
SDXLのLoRA学習やFine-tuning中に、突如として発生する謎のエラーに悩まされていませんか？
OSError: Can't load tokenizer for 'laion/CLIP-ViT-bigG-14-laion2B-39B-b160k'
ネット上の「キャッシュを消す」「ライブラリを更新する」といった一般的な解決策を試しても直らない場合、原因はプログラムの外側――「作業ディレクトリの汚染」にあります。
1. エラーの真犯人は「空っぽの偽物フォルダ」
RunPodなどのクラウド環境やDocker環境のアップデートにより、作業ディレクトリ内に laion や openai という名前の「中身が不完全なフォルダ」が勝手に作られてしまうことがあります。
Pythonのライブラリは、「指定された名前と同じフォルダが足元にあるなら、そこを優先して読み込む」という仕様があります。そのため、中身が空の偽物フォルダを「本物だ！」と勘違いして読み込み、ファイルが足りずにエラーを吐いて停止してしまうのです。
2. 解決策：本物を「物理的に」配置する決定版コマンド
この問題は、不完全なフォルダを削除し、WebUI側にある本物のデータを物理的にコピーして「正しい構造」を作り直すことで解決します。
ターミナル（Terminal）を開き、以下のコマンドを一気に実行してください。
rm -rf laion openai && \
mkdir -p laion/CLIP-ViT-bigG-14-laion2B-39B-b160k openai/clip-vit-large-patch14 && \
find /workspace/stable-diffusion-webui/models/Transformer/ -type f -exec cp {} laion/CLIP-ViT-bigG-14-laion2B-39B-b160k/ \; && \
find /workspace/stable-diffusion-webui/models/Transformer/ -type f -exec cp {} openai/clip-vit-large-patch14/ \;
※パスは標準的なWebUI（Automatic1111）の配置を想定しています。環境に合わせて調整してください。
3. 影響範囲の予測と今後の対策
このトラブルはSDXLを扱うすべてのクリエイターにとっての「地雷」です。
- LoRA学習だけでなく、プリプロセス工程すべてに影響している可能性があります
-
- クラウドGPUユーザー（RunPod, Vast.ai等）に多発しているものと見られます
-
- 「昨日まで動いていたのに突然エラーが出る」という場合、まず足元に
laionやopenaiというフォルダができていないかを確認するのが1本道の正解です
- 「昨日まで動いていたのに突然エラーが出る」という場合、まず足元に
おわりに
AI画像生成の学習環境は日々進化していますが、こうした「環境の汚染」問題は見落とされがちです。安定した学習環境の構築は、質の高いLoRAモデルを生み出すための基盤です。
質感LoRA研究所では、LoRA学習の技術的な知見に加え、AI生成画像の真正性を証明する「AI和指紋くん」というサービスも開発しています。「誰が、いつ、どのモデルで生成したか」をブロックチェーンに記録し、クリエイターの権利を守る仕組みです。
興味のある方はこちら → AI和指紋くん
執筆：質感LoRA研究所（SHIFUKU Series 制作代表）
日本画→芸術学→英国博物館学修士→AIエンジニア。キャンバスの質感をAIに刻む研究をしています。