はじめに
プログラムをコンパイルしたり動かしたりするために様々な環境が必要になることはよくあります。しかし、スパコンセンターで計算機を使うような場合、普通は自分の思い通りにプログラムをインストールできないため、プログラムが実行できないということが良くおこります。インストールできないのは、(1)root権限がないこと、（2）外部とhttpで通信できないことの二つの理由があります。
そうした問題を解決するため、この記事ではスパコンセンターでsingularityという仮想環境が動かせることを仮定して、そこで自分に必要な環境を整える方法を説明したいと思います。
そのためには以下の記事が参考になります。この記事は以下の記事をもう一段階親切にすることを目標としています。Dockerイメージをスパコン上のSingularityで動かしたい
本記事では以下のような順序で説明したいと思います。
- root権限が使えるlinux環境にsingurarityをインストール
1.1. ローカル環境にvirtualboxをインストール
1.2. virtualboxにゲストOSをインストール
1.3. ゲストOSにsingularityをインストール - singularityで最終的な計算に必要な環境を整え、sifファイルを作成
- sifファイルをスパコンに持ち込み、計算を実行
1の手順は2でsifファイルを作るためにあります。つまり他の手法でsifファイルが作れれば3からスタートできます。ただし、試行錯誤でテストしながらいろいろなソフトをインストールしてみる場合にはどうしても1の手順が必要です。
1の手順が意外と面倒でして上記のように3つの手順にわけて説明しています。
ローカル環境にvirtualboxをインストール
第一の目標はスパコンと同じバージョンのsingulariryをあなたのパソコンに用意することです。ただしsingulariryのインストールにもいろいろ必要なものが多いので、あなたのパソコンの環境を汚さないために、virtualboxのゲストOS上にsingularityをインストールしましょう。あなたのパソコンがwindowsの場合とmacの場合をリンクを示します。
virtualboxにゲストOSをインストール
適当なlinuxをインストールします。私はよくlubunts, almalinuxを使っていますが、どのようなものでも構いません。使用するストレージは多めにとっておいたほうが良いかもしれません。例えば80GBなど。
GuestAdditionをインストール
virtualboxを使う上で、ゲストOSとホストOSの間でコピーペーストなどができると楽です。また、ゲストOSのデスクトップの大きさなどが可変であったりすると便利です。そうしたことを実現するためにはvirtualboxのGuestAdditionをゲストOSにインストールする必要があります。
しかしGuestAdditionのインストールに失敗することがあります。GuestAdditionが正常にインストールされているかどうかは、[Host key]-NでRumtime infomationを見るとすぐにわかります。デフォルトの[Host key]はwindowsの場合、right-Ctrlです。Macの場合left-commandです。
インストールに失敗した場合は、エラーメッセージを検索して解決法を探してみてください。例えばこの記事のように必要なものがインストールされてないなどです（リンク先に書かれたyumは今はdnfに変更したほうが良いかもしれません）。またkernel*をupdateしてはrebootを繰り返し、最新版にしてからGuestAdditionをインストールすることで成功することがあります。
クリップボード共有をONにする
以下の手順でクリップボード共有が可能になります。virtualboxのメニューバーから「Devices」→「Shared Clipboard」→「Bidirectional」を選択。
共有フォルダーの設定
ホストOSとゲストOSでファイルをやりとりするために共有フォルダーを設定する。デバイス(device)からshared folderを設定する。
設定したフォルダーにアクセスするためにはパーミッションを変える必要がある。redhad系, ubuntsu系
ゲストOSにsingularityをインストール
まず使用したいスパコンにおけるsingularityのバージョンを確認しておいてください。以下を参照し、そのバージョンのsingulariryをインストールしてください。singularityのインストール, REDHAT系の場合はこちら。ただし、これらのリンク通りに実行しても、僕はうまくインストールできませんでした。リンクとか設定とかがちょっと変わっているようです。そんなに難しいことが要求されているわけではないので、めげずに以下を試してください。
singulariryのダウンロードがうまくいかない場合は、以下を参照。ここでは、version 3.4.0をダウンロードしている。他のバージョンについてはこちらから。
wget https://github.com/sylabs/singularity/archive/refs/tags/v3.4.0.tar.gz
tar -xzf v3.4.0.tar.gz
cd singularity-3.4.0/
./mconfig -V 3.4.0
cd builddir
make
sudo make install
goがうまくインストールされなかったり、singularityをbuildするときに見つからない時は、初心に立ち返ってgoのオフィシャルなサイトからダウンロードしましょう。バージョンはそのときの最新のものにするのが良いかと思います。以下のコマンドの後半はオフィシャルなページのインストラクションに書いてあったものです。
wget https://go.dev/dl/go1.18.4.linux-amd64.tar.gz
sudo rm -rf /usr/local/go && sudo tar -C /usr/local -xzf go1.18.4.linux-amd64.tar.gz
singularityで最終的な計算に必要な環境を整え、sifファイルを作成
docker hub等からダウンロード
docker hubにはいろいろな環境（コンテナ）がアップロードされています。自分の欲しい環境がここで見つかれば簡単です。このdockerの環境をsingularity用の環境に変換するには以下のようにします。tagはバージョンを表します。
singularity pull docker://image:tag
例えば、天体物理で星の進化の計算を行うMESAコードのdockerを使用する場合、以下のようにします。
singularity pull docker://evbauer/mesa_lean:r22.05.1.01
例えば、yaml形式をpythonで扱うpyyamlを使用する場合、以下のようにします。以下のimageはただ新しいから選んだだけです。
singularity pull docker://amritpalnagrame/pyyaml:latest
環境を一から作成する
まずはサンドボックスを取得。以下では、dockerhubからchainerをサンドボックスとして読み出している。他のものでも良い。
sudo singularity build --sandbox ch_sandbox docker://chainer/chainer:latest-python3
以下のコマンドでsingurarityのシェルに入れ、自由に編集できる。/rootにいる状態になることに注意。
sudo singularity shell --writable ch_sandbox
次に必要なものをインストールする。必要なものがインストールされたらシェルから出る。
apt-get install -y ???
exit
最後にsifファイルをつくる。
$ sudo singularity build my_chainer.sif ch_sandbox
参考リンク
singularity使ってみた @fleming_tone
SandboxでSingularityコンテナを編集する方法 アメリエフの技術ブログ
sifファイルをスパコンに持ち込み、計算を実行
いよいよsingularityの使い方を説明します。京大化学研究所のページにはコンパクトに使い方がまとまっています。天文関係ではCfCAでも簡単に説明が書かれています。
コンテナの中にログイン
スパコン上でimage.sifがあるディレクトリにおいて以下のようにして実行します。
singularity shell image.sif
このコマンドによってsifファイルで持ちこんだ環境が、これを実行したディレクトリをマウントしたような形になります。
コンテナの中でコマンドを実行
singularity exec image.sif --bind $PWD command