同じように悩む方がいるかもと思ったので、まとめます。
状況は題名の通りです。
【原因】
これはさくらVPSのもとからの設定に起因しています。
この「接続可能ポート」が、元々SSHのみしか許可されていません。
そのため、Apachで接続しようとしても、接続できません。（ポートが開かれていない、という状態でしょうか...）
【対処法】
パケットフィルター設定をクリックして、接続可能ポートを追加、をクリックします。
その中の「WEB」を選択し設定してください。
上記が出来て、かつApacheの設定がきちんとできていればテストページが出来ます。
【参考にしたもの】
https://teratail.com/questions/201643
こちらのページです。