悪戦苦闘しつつようやく動くようになったので、とりあえずはまったポイントをメモしておきます。
jenkinsユーザのSSH key生成
sudo -u jenkins -H ssh-keygen -t rsa -C jenkins@hoge.com
cat ~jenkins/.ssh/id_rsa.pub
GitHubのSSH Key設定
複数のリポジトリを利用したい場合、GitHubリポジトリ設定のdeploy keysだと重複エラーが出てうまくいかない。なので、自分のGitHubユーザアカウント設定のSSH Keysにjenkinsのkeyを追加する。
ジョブのリポジトリ設定
設定/ソースコード管理システム/Git RepoのURLに注意
こっちじゃなくて
https://github.com/hoge/hoge/
こっちね！
git@github.com:hoge/hoge.git
GitHubとSSH通信できるようにしておく
sudo -u jenkins ssh -T git@github.com
gitのユーザ設定をしておく
sudo -u jenkins git config --global user.email "jenkins@hoge.com"
sudo -u jenkins git config --global user.name "jenkins"