VMの再起動を行ったところssh接続が行えなくなりました。結論から言いますと、osのソフトウェアベースのファイアウォール（ufw）に引っかかっているようでした。
確認手順
nsgの確認
許可されていることがわかります。そのためvm側の設定を確認しました。
nmapで確認
nmapコマンドで確認したところ
PORT STATE SERVICE
80/tcp closed http
443/tcp closed https
22portがフィルターされてました。
ファイアウォールの設定変更
下記コマンドでsshで使用するポートのファイアウォールを解除します。
sudo ufw allow 22/tcp
Starting Nmap 7.80 ( https://nmap.org ) at 2024-03-11 11:41 JST
Nmap scan report for 000.000.000.000
Host is up (0.0048s latency).
PORT STATE SERVICE
22/tcp open ssh
Nmap done: 1 IP address (1 host up) scanned in 1.20 seconds
以上の手順で再びVMに接続できました