こちらのDockerイメージを用いることで、GPUのクラスターを構成できます。

しかし、sshで接続しようとすると、なぜかユーザーubuntuへのパスワードを聞かれることに。公開キーも秘密キーも指定しているんですけどね。

takaaki.yayoi@xxxxxx ~ % ssh ubuntu@4.241.85.216 -p 2200 -i /Users/takaaki.yayoi/.ssh/id_rsa
The authenticity of host '[4.241.85.216]:2200 ([4.241.85.216]:2200)' can't be established.
ED25519 key fingerprint is xxx
Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
Warning: Permanently added '[4.241.85.216]:2200' (ED25519) to the list of known hosts.
ubuntu@4.241.85.216's password:

こちらの設定は完了していますので、standardのイメージだと問題なく接続できます。

色々確認してたら、そもそもssh接続に使っているユーザーubuntuが作成されているのか？ と思い当たりました。

クラスター起動後にノートブックで以下を実行。

root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
bin:x:2:2:bin:/bin:/usr/sbin/nologin
sys:x:3:3:sys:/dev:/usr/sbin/nologin
sync:x:4:65534:sync:/bin:/bin/sync
games:x:5:60:games:/usr/games:/usr/sbin/nologin
man:x:6:12:man:/var/cache/man:/usr/sbin/nologin
lp:x:7:7:lp:/var/spool/lpd:/usr/sbin/nologin
mail:x:8:8:mail:/var/mail:/usr/sbin/nologin
news:x:9:9:news:/var/spool/news:/usr/sbin/nologin
uucp:x:10:10:uucp:/var/spool/uucp:/usr/sbin/nologin
proxy:x:13:13:proxy:/bin:/usr/sbin/nologin
www-data:x:33:33:www-data:/var/www:/usr/sbin/nologin
backup:x:34:34:backup:/var/backups:/usr/sbin/nologin
list:x:38:38:Mailing List Manager:/var/list:/usr/sbin/nologin
irc:x:39:39:ircd:/run/ircd:/usr/sbin/nologin
gnats:x:41:41:Gnats Bug-Reporting System (admin):/var/lib/gnats:/usr/sbin/nologin
nobody:x:65534:65534:nobody:/nonexistent:/usr/sbin/nologin
_apt:x:100:65534::/nonexistent:/usr/sbin/nologin
systemd-network:x:101:102:systemd Network Management,,,:/run/systemd:/usr/sbin/nologin
systemd-resolve:x:102:103:systemd Resolver,,,:/run/systemd:/usr/sbin/nologin
messagebus:x:103:104::/nonexistent:/usr/sbin/nologin
systemd-timesync:x:104:105:systemd Time Synchronization,,,:/run/systemd:/usr/sbin/nologin
libraries:x:1000:1000::/home/libraries:/bin/sh

ubuntuがいない...。

こちらにもユーザー追加しろとあります。standardの場合はDockerfileでユーザー追加処理が記載されていましたが、GPU系は(確認した限り)無い様子。

Adding the ssh user. In this example, we use ubuntu, but you can customize this

なので、まずはノートブックで動作確認します。ユーザーubuntuを追加します。

%sh
useradd --create-home --shell /bin/bash --groups sudo ubuntu

%sh
cat /etc/passwd

root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
bin:x:2:2:bin:/bin:/usr/sbin/nologin
sys:x:3:3:sys:/dev:/usr/sbin/nologin
sync:x:4:65534:sync:/bin:/bin/sync
games:x:5:60:games:/usr/games:/usr/sbin/nologin
man:x:6:12:man:/var/cache/man:/usr/sbin/nologin
lp:x:7:7:lp:/var/spool/lpd:/usr/sbin/nologin
mail:x:8:8:mail:/var/mail:/usr/sbin/nologin
news:x:9:9:news:/var/spool/news:/usr/sbin/nologin
uucp:x:10:10:uucp:/var/spool/uucp:/usr/sbin/nologin
proxy:x:13:13:proxy:/bin:/usr/sbin/nologin
www-data:x:33:33:www-data:/var/www:/usr/sbin/nologin
backup:x:34:34:backup:/var/backups:/usr/sbin/nologin
list:x:38:38:Mailing List Manager:/var/list:/usr/sbin/nologin
irc:x:39:39:ircd:/run/ircd:/usr/sbin/nologin
gnats:x:41:41:Gnats Bug-Reporting System (admin):/var/lib/gnats:/usr/sbin/nologin
nobody:x:65534:65534:nobody:/nonexistent:/usr/sbin/nologin
_apt:x:100:65534::/nonexistent:/usr/sbin/nologin
systemd-network:x:101:102:systemd Network Management,,,:/run/systemd:/usr/sbin/nologin
systemd-resolve:x:102:103:systemd Resolver,,,:/run/systemd:/usr/sbin/nologin
messagebus:x:103:104::/nonexistent:/usr/sbin/nologin
systemd-timesync:x:104:105:systemd Time Synchronization,,,:/run/systemd:/usr/sbin/nologin
libraries:x:1000:1000::/home/libraries:/bin/sh
ubuntu:x:1001:1001::/home/ubuntu:/bin/bash

ubuntuが作成されています。

手動で、sshサーバーをインストール・起動します。

%sh
apt-get install --yes openssh-server
service ssh restart

これでssh接続して見ます。

takaaki.yayoi@xxxxx ~ % ssh ubuntu@172.207.163.54 -p 2200 -i /Users/takaaki.yayoi/.ssh/id_rsa
The authenticity of host '[172.207.163.54]:2200 ([172.207.163.54]:2200)' can't be established.
ED25519 key fingerprint is xxxx
Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
Warning: Permanently added '[172.207.163.54]:2200' (ED25519) to the list of known hosts.
Welcome to Ubuntu 22.04.3 LTS (GNU/Linux 5.15.0-1067-azure x86_64)

 * Documentation:  https://help.ubuntu.com
 * Management:     https://landscape.canonical.com
 * Support:        https://ubuntu.com/advantage
:
The programs included with the Ubuntu system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by
applicable law.

To run a command as administrator (user "root"), use "sudo <command>".
See "man sudo_root" for details.

ubuntu@0910-083250-wgwjxjw7-10-0-0-132:~$

いけました。

以前作成したDockerfileにユーザー作成を追加します。ベースイメージもGPUのものに変更しています。

FROM databricksruntime/gpu-pytorch:cuda11.8
RUN apt-get update \
  && apt-get install --yes openssh-server \
  && apt-get clean \
  && rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/*

RUN useradd --create-home --shell /bin/bash --groups sudo ubuntu

ENTRYPOINT service ssh restart && bash

コンテナレジストリにプッシュします。

docker build -t <レジストリ名>/gpu-pytorch-ssh:cuda11.8 .
docker push <レジストリ名>/gpu-pytorch-ssh:cuda11.8

SSHの公開鍵を指定し、このイメージを使うようにします。

こちらも動作確認できました。

はじめてのDatabricks

はじめてのDatabricks

Databricks無料トライアル

Databricks無料トライアル