0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Dataflow Flex Template で SDK harness が venv 作成失敗する問題

0
Posted at

概要

Apache Beam / Dataflow のカスタムコンテナ(特に Conda ベースの PyTorch 公式イメージなど)を使うと、ジョブ起動時に SDK harness が venv 作成で失敗することがあります。本記事では、その原因と汎用的な対処法をまとめます。

想定読者

Dataflow をカスタムコンテナで動かしている方
非標準の Python 環境(Conda 系など)をベースイメージに使っている方

症状

ジョブ実行後、ワーカー起動時に次のようなログが出て失敗します。

  • ensurepip is not available / python venv initialization failed: exit status 1
  • failed to create a virtual environment
  • SDK harnesses are still not healthy after 5m0s(例: Waiting for 8 of 8 SDK Harnesses to register)

原因

Beam ワーカーのエントリポイント /opt/apache/beam/boot は、起動時に SDK 用の一時 venv(例: /opt/apache/beam-venv/beam-venv-worker-sdk-0-0)を作成します。

この venv 作成には ensurepip(Debian/Ubuntu では python3.x-venv 相当)が必要です。しかし、Conda ベースのイメージなどでは venv 用パッケージが含まれていないことが多く、作成に失敗します。

また、依存パッケージをすでにイメージの既定 Python 環境に直接インストール済みの場合、追加の venv 自体が不要であるにもかかわらず、デフォルトでは Beam が venv を作ろうとして失敗します。

対応A(採用案):既定の Python 環境で SDK を動かす

Beam に「venv を作らず、イメージの既定 Python 環境で SDK を動かす」よう指示します。

Dockerfile に追加:

ENV RUN_PYTHON_SDK_IN_DEFAULT_ENVIRONMENT=1

対応B(不採用案):venv 用パッケージを導入する

apt install python3.x-venv などで ensurepip を入れ、venv 作成を成功させる方法もあります。

ただし Conda ベースのイメージでは、apt の Python と Beam が使う Python が一致しないことがあり、その場合は対応Aの方がシンプルで確実です。

どちらを選ぶか

「インストール方法」ではなく、最終的に依存がどこに入っているか/venv 隔離が要るかで判断しました。

状況 対応
依存をイメージの既定 Python に焼き込み済み(インストール手段は問わない) 対応A
標準の python3.x ベースで venv 隔離を残したい 対応B
ワーカー起動時に pip で追加インストールする設計 対応Aは△(環境分離が弱まる点に注意)

対応後の確認

  1. コンテナイメージを 再ビルド・再 push
  2. Flex Template を 再ビルド(テンプレートが新イメージを指すように)
  3. gcloud dataflow flex-template run ... で再実行

参考(ログに出る公式の案内)

エラーメッセージ内にも同じ回避策が記載されています。

To run the SDK process in default environment instead, set the environment variable RUN_PYTHON_SDK_IN_DEFAULT_ENVIRONMENT=1. In custom Docker images, you can do that with an ENV statement.

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?