～ようやく詳解～ 安定したflash-attentionビルド環境構築 ～君もできるよ～

↑の続き物。

前回ザックリ解説したのち、すっかり動きがありませんでしたね。
それもそのはず。コマンドプロンプトには自動ログ機能が無いのであとから正解をたどることができません。
だもんだから、Clinkを機能一覧を邦訳しきってから導入して臨むことにしたのです。
後で記事書きます。全文訳す必要はないんですけどね、なんででしょうね。訳さないと不安なんですね。メリケン語は好きでない。日本語にしたい。

で、再試行とともに整理した手順が、下記です。

:: 1. ことはじめ
venv\Scripts\activate.bat 

:: 2. ↓環境による 自分の環境のvcvars64.batを探そう。
"C:\Program Files\Microsoft Visual Studio\2022\Community\VC\Auxiliary\Build\vcvars64.bat"

:: 3. すでに開発cmdなのにビルドプロセスが再度開発cmdを呼ぼうとするのを抑制する。らしい。
set DISTUTILS_USE_SDK=1

:: 4. C++が古いとエラーになる。
set "CL=/Zc:__cplusplus"

:: 5. 環境に合わせた負荷で。
set MAX_JOBS=4

:: 6. 必要なものを入れる。漏れがあるかも。
python -m pip install -U pip setuptools wheel build ninja packaging psutil einops

:: 7. cu130でやる場合+ほかのも同居している場合はこう強制的に前に置いておくといい。
set "CUDA_HOME=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v13.0"
set "PATH=%CUDA_HOME%\bin;%PATH%"

:: 8. 詳細モードにしておかないと画面に変化が無さ過ぎて分かりにくい。
:: 成功したらflash-attention\distにflash_attn-x.x.x-cp310-cp310-win_amd64.whl"ができる。
python -v setup.py bdist_wheel

執筆が送れた間に、PyTorchで、いつの間にかPython3.10、Cuda13.0が正式ビルドが出てて、
おったま元素。でも、気軽に入れられるのは、良い。良い。良い。

CPU:i7-11世代、メモリ:DDR4 64GBで、
24時ぐらいに仕込んで、4時に終わったので、カレーの如く寝かしておきましょう。
ただし最初の10分ぐらいは見ておかないとエラーで死んでいることがしばしば。そういう時は、チャッピーとかに聞いて直そうね。

次回予告
ObsidianでMarkdown化したClinkのページ全訳 by 大体Claude Sonnet4.5
NoteBookLMとかにぶち込むと良いかもしれない。