SSHのconfigファイルで複数の接続先を管理する

~/.ssh/configを記述することで、複数の接続先に対する鍵を管理することができます。

~/.ssh/config

Host server1.example.com
    HostName        server1.example.com
    IdentityFile    ~/.ssh/server1/id_rsa
    User            server1_user
Host server2.example.com
    HostName        server2.example.com
    IdentityFile    ~/.ssh/server2/id_rsa
    User            server2_user

Host: 設定項目の識別子。ホスト名である必要はないが、ホスト名にすると重複しにくい。
HostName: 接続先のホスト名。
Identifile: 使用する秘密鍵。
User: 接続先ホストのユーザ名。

参考

~/.ssh/config で簡単に複数ホストへのSSH接続を管理する - すぱぶろ