2
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AI・機械学習 Qiita Tech Festa 2025
Qiita Tech Festa20252025年7月15日まで開催中！
@mkydk(Daiki Mukaiyama)

Amazon SageMakerコンテナカスタマイズ3つの手法：構築済み拡張・独自利用・ゼロ構築の選択指針

2
Posted at

概要

SageMakerで機械学習環境をカスタマイズする際の3つのコンテナ構築手法（構築済み拡張・独自コンテナ利用・ゼロから構築）を技術的特徴、適用場面、コスト面から比較分析し、プロジェクトに最適な選択指針を提示します。

目次

  1. はじめに：SageMakerコンテナカスタマイズの必要性
  2. 3つのコンテナカスタマイズ手法の概要
  3. 手法1：構築済みコンテナの拡張
  4. 手法2：独自コンテナの使用
  5. 手法3：コンテナイメージのゼロ構築
  6. 3手法の詳細比較と選択指針
  7. 実装時の注意点とベストプラクティス
  8. 終わりに

はじめに：SageMakerコンテナカスタマイズの必要性

Amazon SageMakerは機械学習のライフサイクル全体をサポートするマネージドサービスですが、プロジェクトによっては標準の環境では対応できない場面があります。例えば、特定のライブラリバージョンが必要な場合や、独自の前処理ロジックを組み込みたい場合などです。

AWS公式ドキュメント ( https://docs.aws.amazon.com/sagemaker/latest/dg/docker-containers.html ) によると、SageMakerでは柔軟なコンテナカスタマイズが可能で、これにより開発者は自由度の高い機械学習環境を構築できます。

3つのコンテナカスタマイズ手法の概要

SageMakerでコンテナをカスタマイズする方法は以下の3つに分類されます：

  1. 構築済みコンテナの拡張：AWSが提供する既存のコンテナイメージをベースに必要な機能を追加
  2. 独自コンテナの使用：既存のDockerイメージ（Docker Hubなど）をSageMaker用に調整
  3. コンテナイメージのゼロ構築：完全に新しいコンテナイメージを一から作成

それぞれの手法には異なる利点と適用場面があり、プロジェクトの要件に応じて選択する必要があります。

image.png

手法1：構築済みコンテナの拡張

AWSが提供するDeep Learning Containers（DLC）やSageMaker Python SDKのコンテナをベースに、追加のライブラリやカスタムコードを組み込む手法です。

特徴

  • AWS最適化済みの高性能なベースイメージを利用
  • SageMakerとの互換性が保証されている
  • セキュリティアップデートがAWSにより自動適用

実装例

# AWS提供のPyTorchコンテナをベース
FROM 763104351884.dkr.ecr.us-west-2.amazonaws.com/pytorch-training:1.12.0-gpu-py38

# 追加ライブラリのインストール
RUN pip install scikit-learn==1.1.0 pandas==1.4.3

# カスタムスクリプトをコピー
COPY custom_preprocessing.py /opt/ml/code/

適用場面

  • 標準環境に少しの機能追加が必要な場合
  • AWS最適化のメリットを享受したい場合
  • 開発工数を抑えたい場合

手法2：独自コンテナの使用

Docker Hubやプライベートレジストリにある既存のコンテナイメージをSageMaker用に調整する手法です。

特徴

  • 既存の豊富なイメージ資産を活用可能
  • コミュニティで検証済みの環境を利用
  • SageMaker互換性のための調整が必要

実装例

# TensorFlow公式イメージをベース
FROM tensorflow/tensorflow:2.9.0-gpu

# SageMaker用の必要なパッケージを追加
RUN pip install sagemaker-training

# エントリーポイントの設定
ENV SAGEMAKER_PROGRAM train.py

適用場面

  • 特定のオープンソースツールスタックが必要な場合
  • 既存のDockerベースの開発環境を流用したい場合
  • コミュニティサポートを重視する場合

手法3：コンテナイメージのゼロ構築

この手法は、LinuxのベースOSイメージから出発して、完全にカスタムなコンテナ環境を構築する最も柔軟性の高いアプローチです。初学者の方にとっては最も複雑に感じられるかもしれませんが、一度理解すると最大の自由度を得られます。

ゼロ構築とは何か？

ゼロ構築とは、Ubuntu、CentOS、Alpineなどの最小限のOSイメージから出発し、機械学習に必要なすべてのコンポーネントを手動でインストール・設定することです。料理に例えると、既製品のレトルト食品（構築済みコンテナ）やお店の料理をアレンジ（独自コンテナ利用）するのではなく、素材から完全にオリジナルの料理を作るようなものです。

ゼロ構築の詳細プロセス

AWS公式ドキュメント ( https://docs.aws.amazon.com/sagemaker/latest/dg/build-your-own-container.html ) に基づいて、ゼロ構築の主要なステップを詳しく解説します。

ステップ1：ベースOSの選択

# 軽量なAlpine Linuxを選択（本番環境向け）
FROM alpine:3.17

# または、より汎用的なUbuntuを選択（開発しやすい）
FROM ubuntu:20.04

ベースOSの選択は重要で、以下の観点で決定します：

  • Alpine Linux：軽量（約5MB）、セキュリティ重視、本番環境向け
  • Ubuntu：豊富なパッケージ、開発しやすい、デバッグが容易

ステップ2：システムレベルの依存関係インストール

# Ubuntuの場合の例
RUN apt-get update && apt-get install -y \
    python3 \
    python3-pip \
    python3-dev \
    build-essential \
    curl \
    nginx \
    && rm -rf /var/lib/apt/lists/*

ここでは機械学習に必要な基本的なシステムパッケージをインストールします。build-essentialは一部のPythonパッケージのコンパイルに必要で、nginxはSageMakerの推論エンドポイント作成時に使用します。

ステップ3：Python環境のセットアップ

# Python環境の最適化
RUN python3 -m pip install --upgrade pip setuptools wheel

# 機械学習に必要な基本ライブラリ
RUN pip install \
    numpy==1.23.5 \
    pandas==1.5.2 \
    scikit-learn==1.2.0 \
    joblib==1.2.0 \
    sagemaker-training==4.4.0

バージョン固定の重要性について、『SageMaker開発者ガイド』では「再現可能な機械学習環境のためには、すべての依存関係のバージョンを明示的に指定することが重要」と説明されています。

ステップ4：SageMaker互換性の実装

SageMakerで動作するコンテナには特定の規約があります：

# SageMakerが期待するディレクトリ構造の作成
RUN mkdir -p /opt/ml/input/data/training \
             /opt/ml/input/config \
             /opt/ml/output \
             /opt/ml/model \
             /opt/ml/code

# 実行権限の設定
COPY train /opt/ml/code/train
RUN chmod +x /opt/ml/code/train

# 作業ディレクトリの設定
WORKDIR /opt/ml/code

ステップ5：カスタムトレーニングスクリプトの組み込み

# トレーニングスクリプトをコピー
COPY train.py /opt/ml/code/
COPY inference.py /opt/ml/code/

# 環境変数の設定
ENV PYTHONUNBUFFERED=TRUE
ENV PYTHONDONTWRITEBYTECODE=TRUE
ENV PATH="/opt/ml/code:${PATH}"

ステップ6：エントリーポイントの定義

# デフォルトのエントリーポイント設定
ENTRYPOINT ["python3", "/opt/ml/code/train.py"]

完全な実装例

以下は、画像分類タスク用にゼロから構築したコンテナの完全な例です：

FROM ubuntu:20.04

# タイムゾーン設定（対話的インストールを避ける）
ENV DEBIAN_FRONTEND=noninteractive
RUN apt-get update && apt-get install -y tzdata

# システムパッケージのインストール
RUN apt-get update && apt-get install -y \
    python3 \
    python3-pip \
    python3-dev \
    build-essential \
    curl \
    nginx \
    && rm -rf /var/lib/apt/lists/*

# Pythonパッケージのインストール
RUN pip3 install --no-cache-dir \
    torch==1.13.1 \
    torchvision==0.14.1 \
    numpy==1.23.5 \
    pillow==9.3.0 \
    sagemaker-training==4.4.0

# SageMakerディレクトリ構造の作成
RUN mkdir -p /opt/ml/input/data/training \
             /opt/ml/input/config \
             /opt/ml/output \
             /opt/ml/model \
             /opt/ml/code

# カスタムスクリプトのコピー
COPY train.py /opt/ml/code/
COPY inference.py /opt/ml/code/
COPY requirements.txt /opt/ml/code/

# 実行権限の設定
RUN chmod +x /opt/ml/code/train.py

# 環境変数の設定
ENV PYTHONUNBUFFERED=TRUE
ENV PYTHONDONTWRITEBYTECODE=TRUE
ENV PATH="/opt/ml/code:${PATH}"

# 作業ディレクトリ
WORKDIR /opt/ml/code

# エントリーポイント
ENTRYPOINT ["python3", "train.py"]

ゼロ構築の技術的メリット

  1. 完全な制御：すべてのコンポーネントを自分で選択・設定可能
  2. 最小構成：不要なパッケージを除外してイメージサイズを最小化
  3. セキュリティ：含まれるすべてのコンポーネントを把握・管理可能
  4. パフォーマンス最適化：特定の用途に特化した最適化が可能

ゼロ構築のデメリットと対策

  1. 開発時間：すべてを一から設定するため時間がかかる
    • 対策：段階的な構築とテンプレートの再利用
  2. メンテナンス負荷：セキュリティパッチ適用などの維持管理が必要
    • 対策：定期的な依存関係の更新とCI/CDパイプラインの構築
  3. 互換性リスク：SageMakerとの互換性確保が開発者の責任
    • 対策：AWS公式ドキュメントの厳密な遵守とテストの充実

適用場面

ゼロ構築は以下のような場面で威力を発揮します：

  • 特殊なライブラリ組み合わせ：研究用途で実験的なライブラリスタックが必要
  • 最小構成が重要：エッジデバイス向けなど、イメージサイズの制約が厳しい
  • 完全な制御が必要：金融や医療分野など、コンプライアンス要件が厳格
  • パフォーマンス最適化：特定のハードウェア向けの最適化が必要

image.png

3手法の詳細比較と選択指針

各手法の特徴を多角的に比較し、プロジェクトに適した選択ができるよう整理します。

技術的特徴の比較

観点 構築済み拡張 独自コンテナ利用 ゼロ構築
開発工数 低（1-2日） 中（3-5日） 高（1-2週間）
技術的難易度 初級 中級 上級
カスタマイズ性 制限あり 中程度 完全自由
AWS最適化 最高 要調整 要実装
イメージサイズ 大（2-8GB） 中（1-4GB） 小（500MB-2GB）
セキュリティ更新 AWS自動 手動対応 完全手動

コスト比較

AWS公式料金ページ ( https://aws.amazon.com/sagemaker/pricing/ ) の情報に基づくと、コンテナの選択がコストに与える影響は以下の通りです：

  • 構築済み拡張：開発コスト最小、実行時はDLCの最適化によりコスト効率良い
  • 独自コンテナ利用：中程度の開発コスト、実行時コストは標準的
  • ゼロ構築：高い開発コスト、最適化により実行時コストを最小化可能

選択指針

以下のフローチャートに従って適切な手法を選択してください：

  1. 標準的な機械学習フレームワーク（TensorFlow、PyTorch等）で十分か？

    • Yes → 構築済み拡張を検討
    • No → 2へ

  2. 既存のDockerイメージで要件の80%以上をカバーできるか？

    • Yes → 独自コンテナ利用を検討
    • No → 3へ

  3. 完全な制御とカスタマイズが必要か？

    • Yes → ゼロ構築を選択
    • No → 要件を再検討

image.png

実装時の注意点とベストプラクティス {#実装時の注意点とベストプラクティス}

共通の注意点

  1. SageMaker互換性の確保
    AWS公式ドキュメント ( https://docs.aws.amazon.com/sagemaker/latest/dg/your-algorithms-training-algo-dockerfile.html ) に記載されている要件を必ず満たす

  2. セキュリティ考慮事項

    • 最小権限の原則に従い、不要なパッケージは含めない
    • 定期的なセキュリティスキャンの実施
    • シークレット情報をイメージに含めない

  3. イメージサイズの最適化

    • マルチステージビルドの活用
    • 不要なファイルの削除（--no-cache-dir、rm -rf等）
    • レイヤー数の最小化

手法別ベストプラクティス

ゼロ構築特有の注意点：

  • SageMakerの規約（/opt/ml/ディレクトリ構造）の厳密な遵守
  • エラーハンドリングの実装（SIGTERM、SIGKILLへの適切な対応）
  • ログ出力の最適化（CloudWatch Logsとの連携）

終わりに

SageMakerでのコンテナカスタマイズは、プロジェクトの要件と開発チームのスキルレベルに応じて適切に選択することが重要です。構築済みコンテナの拡張は開発効率を重視する場合に、独自コンテナの利用は既存資産を活用したい場合に、そしてゼロ構築は完全な制御が必要な場合に最適です。

特にゼロ構築は初期の学習コストは高いものの、一度マスターすれば最大の柔軟性を提供し、長期的な技術的負債の軽減にも寄与します。まずは小規模なプロジェクトで経験を積み、段階的に複雑な要件に対応できるスキルを身につけることをお勧めします。

次のステップとして、実際にAWS公式のハンズオンチュートリアル ( https://github.com/aws/amazon-sagemaker-examples ) を試し、各手法の特徴を体感してみてください。

参考文献・参考サイト

2
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
2
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?