【修行】1CPU・容量制限VMでTensorFlow 2.4.0をソースビルドして.whl生成するまでの全記録
📌 はじめに
- よく昔の環境で作られたコードをcloneしたくなると思います。pipでは落とせないバージョンのライブラリが必要になりがちですよね。今回はそんな話です。
- 環境制限がある中で TensorFlow をソースからビルドする必要がありました。
- 特に以下のような条件でのチャレンジでした：
- 仮想マシン（VM）
- 1CPU・低メモリ（5GB）
-
/パーティションの容量が約36GB、空きは約8GB前後 - TensorFlow 2.4.0 + FMA命令無効化でカスタムビルド
🛠 ビルドの目的と背景
- 開発対象のCPUがFMA命令に未対応 → pip版TensorFlowだと起動時に
Illegal instructionが出る - 公式ビルドでは
-mfmaなどの最適化オプションが有効になっている - そのため、自分でFMA命令の最適化を無効化したTensorFlowをビルドする必要があった
- GPU使わない方針です。
💻 環境構成
| 項目 | 内容 |
|---|---|
| OS | Ubuntu 24.04 (VM上) |
| CPU | 1 core (VirtualBox) |
| メモリ | 5GB |
| ディスク容量 |
/に36GB（うち8GB空き） + /mnt/VmShareに222GB（共用マウント） |
| Python | Miniconda環境でPython 3.8（score_sde_env） |
| Bazel | v3.7.2（TensorFlow 2.4.0に合わせた） |
ビルドの流れ（概要）
- TensorFlow公式リポジトリ（r2.4）をclone
-
./configureでFMAやXLAの有無などを指定 - Bazelによるビルドを開始
- キャッシュ・メモリ・tmpの最適化
- Python依存 (
keras_preprocessing) エラー対応 -
.whlファイルを生成
ポイント解説
1. FMA命令の無効化
-
CC_OPT_FLAGS="-march=native -Wno-sign-compare"のような設定を./configure時に与える - または
--copt=-mfmaを入れないよう注意
2. /容量制限に対する対策
-
~/.cache/bazelが肥大化するので/mnt/VmShareに逃がす方法を検討 -
TMPDIRやTEST_TMPDIRを/mnt/VmShare/tmpに指定し一時ファイルを回避
export TMPDIR=/mnt/VmShare/tmp
export TEST_TMPDIR=/mnt/VmShare/tmp
3. Python依存の問題
ModuleNotFoundError: No module named 'keras_preprocessing'
→ pip install keras_preprocessing で解決
4. Bazel再開とキャッシュの扱い
- 再起動後も
~/.cache/bazelが残っていれば再開可能 -
bazel build //tensorflow/tools/pip_package:build_pip_packageを何度も繰り返す
5. コンパイラのバージョン、pythonのバージョン
- bazelでビルド中に呼ばれるコンパイラ(gcc, g++)、pythonのバージョンを適切にしましょう。
- gcc: gcc-9
- g++: g++-9
- python: 3.8.20
- pipも20.3.4ぐらいまで落としておいた方が良い(意外と重要らしい)
5. 出力先のパーミッション問題
mkdir: cannot create directory ‘/mnt/VmShare’: Permission denied
→ 一旦 ~/tf_pkg に出力し、あとから共有領域へ移動
./bazel-bin/tensorflow/tools/pip_package/build_pip_package ~/tf_pkg
🎉 ビルド成功！
ls ~/tf_pkg/
tensorflow-2.4.0-cp38-cp38-linux_x86_64.whl
→ .whl ができたら、あとはお好きな環境に pip install するだけ！
学んだこと
- ビルドシステムは「ファイルの依存だけでなく、ツールや中間生成物の構造も扱っている」
- Bazelの内部構造（外部リポジトリ取得・キャッシュ・DAGベースの依存評価）
- リソース制約下での戦略的な判断（何を捨てて、何を通すか）
- 反省として、最初からオブジェクトファイルの出力先を以下に指定しておけば楽ができた。
export TEST_TMPDIR=/mnt/VmShare/tmp
- bazelはSIGINTで途中で止めても、再開時途中からビルドしてくれます。有効活用できます。
おまけ
- TensorFlow公式ビルド手順：https://www.tensorflow.org/install/source
- Bazelの公式ガイド：https://bazel.build/
- FMA・AVX命令とは？：https://en.wikipedia.org/wiki/FMA_instruction_set
最後に
今回のやり方では/パーティションに30GBほど余裕があると嬉しいですね。
一回のビルドで50時間程かかりました。
この経験が、誰かの「ビルドこわい…」を「やってみようかな」に変えるきっかけになれば幸いです。
TensorFlowのビルドは、C++だけでなくPython・Protobuf・生成スクリプト・依存管理ツールが密接に絡み合っています。
Bazelはその複雑な構造を、Skyframeによるグラフ評価エンジンで一元管理しているそうです。
今回の経験で、それが“使うだけのツール”から“構造を設計する技術”に見えてきました。
References
- TensorFlow公式：ソースビルドガイド
- Bazel公式：Concepts ← DAGやSkyframeの考え方が重要
- Bazel Deep Dive Slides ← 評価エンジンのしくみを知りたい方向け
- Understanding Bazel’s Caching Mechanism