//sshを削除
firewall-cmd --permanent --remove-service=ssh
//特定IPからの接続を許可
firewall-cmd --permanent --zone=public --add-rich-rule="rule family="ipv4" source address="許可するIP" port protocol="tcp" port="22" accept"
//リロード
firewall-cmd --reload
適宜ポート変更すれば、他のサービスでも使える