結論
ssh でログインした際にログイン先の端末上で github のログインを自動で行うため、ssh-add を実行していたことで、 ssh はログインできても scp はログインできない状態になった。
ssh ログインした際にssh-addを自動で実行し、パスワード入力からスタートするようにbashrcで設定していた。
scpはsshでのログインが裏側で実行されているようで、その際、パスワード入力受付状態になっているため、ファイルのやりとりができなくなっていた。
filezilla などで scp を使った接続を行う場合もタイムアウトになってしまう。
珍しいシチュエーションだったが備忘録として記録。