SSHのconfigファイルで複数の接続先を管理する

~/.ssh/configを記述することで、複数の接続先に対する鍵を管理することができます。

~/.ssh/config

Host server1.example.com
	HostName		server1.example.com
	IdentityFile	~/.ssh/server1/id_rsa
	User			server1_user
Host server2.example.com
	HostName		server2.example.com
	IdentityFile	~/.ssh/server2/id_rsa
	User			server2_user

Host: 設定項目の識別子。ホスト名である必要はないが、ホスト名にすると重複しにくい。
HostName: 接続先のホスト名。
Identifile: 使用する秘密鍵。
User: 接続先ホストのユーザ名。

参考

~/.ssh/config で簡単に複数ホストへのSSH接続を管理する - すぱぶろ