恥ずかしながらいつも忘れてググるのでメモします。
もっと良い設定とかあれば知りたい。

$ cd ~
$ chmod 700 .ssh
$ cd .ssh
$ chmod 600 authorized_keys
$ sudo vim /etc/ssh/sshd_config

/etc/ssh/sshd_config

PermitRootLogin yes
-> PermitRootLogin no

#AuthorizedKeysFile     %h/.ssh/authorized_keys
-> AuthorizedKeysFile     %h/.ssh/authorized_keys

#PasswordAuthentication yes
-> PasswordAuthentication no

authorized_keysはまあなんとかするとしてこんな感じだろうか。