概要
Apache Beam / Dataflow のカスタムコンテナ(特に Conda ベースの PyTorch 公式イメージなど)を使うと、ジョブ起動時に SDK harness が venv 作成で失敗することがあります。本記事では、その原因と汎用的な対処法をまとめます。
想定読者
Dataflow をカスタムコンテナで動かしている方
非標準の Python 環境(Conda 系など)をベースイメージに使っている方
症状
ジョブ実行後、ワーカー起動時に次のようなログが出て失敗します。
-
ensurepip is not available/python venv initialization failed: exit status 1 failed to create a virtual environment-
SDK harnesses are still not healthy after 5m0s(例:Waiting for 8 of 8 SDK Harnesses to register)
原因
Beam ワーカーのエントリポイント /opt/apache/beam/boot は、起動時に SDK 用の一時 venv(例: /opt/apache/beam-venv/beam-venv-worker-sdk-0-0)を作成します。
この venv 作成には ensurepip(Debian/Ubuntu では python3.x-venv 相当)が必要です。しかし、Conda ベースのイメージなどでは venv 用パッケージが含まれていないことが多く、作成に失敗します。
また、依存パッケージをすでにイメージの既定 Python 環境に直接インストール済みの場合、追加の venv 自体が不要であるにもかかわらず、デフォルトでは Beam が venv を作ろうとして失敗します。
対応A(採用案):既定の Python 環境で SDK を動かす
Beam に「venv を作らず、イメージの既定 Python 環境で SDK を動かす」よう指示します。
Dockerfile に追加:
ENV RUN_PYTHON_SDK_IN_DEFAULT_ENVIRONMENT=1
対応B(不採用案):venv 用パッケージを導入する
apt install python3.x-venv などで ensurepip を入れ、venv 作成を成功させる方法もあります。
ただし Conda ベースのイメージでは、apt の Python と Beam が使う Python が一致しないことがあり、その場合は対応Aの方がシンプルで確実です。
どちらを選ぶか
「インストール方法」ではなく、最終的に依存がどこに入っているか/venv 隔離が要るかで判断しました。
| 状況 | 対応 |
|---|---|
| 依存をイメージの既定 Python に焼き込み済み(インストール手段は問わない) | 対応A |
標準の python3.x ベースで venv 隔離を残したい |
対応B |
| ワーカー起動時に pip で追加インストールする設計 | 対応Aは△(環境分離が弱まる点に注意) |
対応後の確認
- コンテナイメージを 再ビルド・再 push
- Flex Template を 再ビルド(テンプレートが新イメージを指すように)
-
gcloud dataflow flex-template run ...で再実行
参考(ログに出る公式の案内)
エラーメッセージ内にも同じ回避策が記載されています。
To run the SDK process in default environment instead, set the environment variable
RUN_PYTHON_SDK_IN_DEFAULT_ENVIRONMENT=1. In custom Docker images, you can do that with anENVstatement.