概要

Singularityコンテナのビルド方法は以下のようなものがあります。

Singularity HubからPullする
Docker HubからPullする
Sandbox環境を使いビルドする
書き込み可能なイメージを使いビルドする
他のイメージフォーマットから変換する(例:Squashfs → writable ext3)
Recipeファイルを使いビルドする

コンテナの再現性を確保すること、本番環境用のコンテナを作成することを目的とする場合には、Recipeファイルを使ったコンテナ作成方法が適しています。Recipeファイルを使う場合には、以下のようなメリットもあります。

ファイルや環境変数を追加しやすい
カスタムソフトウェアをインストールしやすい

本稿では、Recipeファイルのフォーマットを俯瞰するとともに、実際にRecipeファイルからイメージを生成する手順を説明します。詳細については公式ページを参照ください。

予備知識

Recipeファイルは大別すると2つの要素から構成されます。

Header：ベースとなるOSを指定する部分
Sections (Body)：環境変数の設定やソフトウェアインストールについて記述する部分

Header

まずBootstrap:でベースとするイメージの取得先を指定します。この記述に依り、以降に続くキーワードは変化します。Bootstrap:に指定できる参照先は以下のようなものがあります。

Singularity Hubを指定する場合は以下のようになります。Bootstrap: shubにFrom:が続きます。

Bootstrap: shub
From: shub://<registry>/<username>/<container-name>:<tag>@<digest>

registry、tag、digestはオプションです。From:の冒頭、shub://も省略可能のようです。
例えば、白鳥氏のOpenFOAMのイメージを取得してビルドする場合には以下のようになります。

Bootstrap: shub
From: TakahisaShiratori/openfoam:4

Docker Hubを指定する場合は以下のようになります。上記と同様に、From:が続きます。

Bootstrap: docker
From: <registry>/<namespace>/<container>:<tag>@<digest>

例えば、Ubuntu 16.04のイメージを取得する場合は以下のようになります。

Bootstrap: docker
From: ubuntu:16.04

Sections

Sectionsはsection(scriptlet)から構成され、%から始まる文字列で区切られた領域に内容が記述されます。全てオプションとして記述されるものになり、必ず記述が必要なわけではありません。
Sectionの指定には以下のようなコマンドを利用できます。

Notation	説明
%help	Singularityコマンドにhelpオプションを指定した際に表示されるコメントを記述する。
%setup	コンテナにbase OSがインストールされた後にホスト側で実行する処理を記述する。
%files	ホストからコンテナへのファイルコピーの処理を記述する。
%labels	コンテナに格納するメタデータを記述する。
%enviroment	コンテナが実行される際に読み込まれる環境変数を記述する。(ビルド時は無効)
%post	ビルド時にコンテナにbase OSがインストールされた後にコンテナ側で実行する処理を記述する。(ホストからコンテナへのファイルコピーは不可)
%runscript	コンテナが実行された際に呼び出される処理を記述する。
%test	ビルドの最後の段階で行う処理、または、コンテナが実行された際に検証のために行う処理を記述する。

以下にいくつかの注意点を列記します。

%filesの処理は%postおよびインストールの処理の後に行われるため、%post処理中に必要となるファイルは%setupに置いてコピー処理を行います。
%setupにおいてコンテナ内にファイルをコピーするには$SINGULARITY_ROOTFSを使います。この指定がない場合はホスト側での処理になってしまいます。
%filesの処理は<source> <destination>のペアで記述されます。<destination>を省略した場合は、/直下にコピーされます。
ビルド時に有効にさせたい環境変数がある場合には、%environmentではなく%postに設定を記述します。
%labelsに記述されたメタデータは/.singularity.d/labels.jsonに格納されます。ここの記述は、singularity inspectで確認できます。
Sectionが処理される順序は、[Build]%setup→%post→%files→%test、[Run]%environment→%runscriptとなると考えられます。
Sectionのいずれかの処理に失敗するとビルドは停止します。

Recipeファイルのフォーマット詳細については公式ページを参照ください。

準備

Singularityのイメージファイルのデフォルトのファイルフォーマットはsquashfsです。simgイメージが取り扱えるようにパッケージをインストールします。

sudo yum install -y squashfs-tools

なお、Recipeファイルからのビルドにはroot権限が必要になります。

操作

分子動力学計算ソフトウェアLAMMPSのコンテナイメージをRecipeファイルから作成する手順を説明します。
この操作は以下の手順で行います。

Recipeファイルを作成する。
Recipeファイルを指定してbuildコマンドを実行し、コンテナイメージを作成する。

Recipeファイルの作成

Recipeファイルの中では以下のような順序で操作を記述します。

HeaderにDocker Hubからbase OS(CentOS)を取得する記述を行います。
%postに必要パッケージのインストール、LAMMPSのビルド・インストール処理を記述します。
%environmentに共有ライブラリの環境変数設定を記述します。
%runscriptにコンテナ実行時の処理を記述します。

以下内容は古家氏資料を参考にし、version 2.4における操作の説明に修正したものになります。

新規にRecipeファイルを作成します。

vi  Singularity

Header情報を記述します。

Bootstrap: docker
From: centos:latest

次にインストール操作を%post以下に記述します。

%post
    yum -y update
    yum -y install gcc gcc-gfortran gcc-c++ make wget git

    mkdir /tmp/build
    cd /tmp/build
    wget https://www.open-mpi.org/software/ompi/v1.6/downloads/openmpi-1.6.4.tar.gz
    tar xvfz openmpi-1.6.4.tar.gz
    cd openmpi-1.6.4
    ./configure --prefix=/usr/local
    make
    make install

    cd /tmp/build
    git clone -b 'patch_22Sep2017' https://github.com/lammps/lammps.git
    cd lammps/src/
    make g++_openmpi
    cp lmp_g++_openmpi /usr/local/bin/

    cd /
    mkdir /enc
    rm -rf /tmp/build
    yum clean all

次に、共有ライブラリの環境変数を%enviromentに記述します。

%environment
    export LD_LIBRARY_PATH=/usr/local/lib:$LD_LIBRARY_PATH

続いて、run実行時の処理を記述します。

%runscript
    /usr/local/bin/lmp_g++_openmpi

Recipeファイルを使ったイメージのビルド

上述のRecipeファイルを使い、lammps.simgを作成します。

sudo singularity build lammps.simg Singularity

なお、version 2.4以前においては、createコマンドを使い空のイメージを作成してからOSやアプリケーションのインストールを行う手法が取られていましたが、version 2.4以降はbuildコマンドを使い、イメージ作成とインストールを同時実行することが推奨されています。version 2.4では空のイメージを作成する場合は、image.createコマンドで代替することになりました。

補足

Proxy環境下において、Recipeファイルからのイメージ生成に失敗することがあります。http_proxy、https_proxyといった環境変数の設定を行っているにも関わらずエラーが発生する場合があります。
/usr/local/libexec/singularity/python/base.pyに以下のコマンドを追記することでこのエラーを回避できます。詳細はリンクを参照ください。

os.environ['http_proxy'] = "http://host:port"
os.environ['https_proxy'] = "http://host:port"

また、Recipeファイルからのビルドの際にもProxy設定が必要になります。%postの最初に以下のような記述の追記します。(ディストリビューションにより記述方法は異なります。)

export http_proxy="http://host:port"
export https_proxy="http://host:port"

Recipeファイルを使ったSingularityコンテナのビルド

概要

予備知識

Header

Sections

準備

操作

Recipeファイルの作成

Recipeファイルを使ったイメージのビルド

補足