前準備

以上の2記事を参考に、TortoiseGitとVisualStudioの準備をする。
※この段階では、TortoiseGitではshhでGitHubに接続できるが、VisualStudioではhttpsでしか接続できない。

Pageantをスタートアップに追加

"C:\Program Files\TortoiseGit\bin\pageant.exe"へのショートカットを"C:\Users{ユーザー名}\AppData\Roaming\Microsoft\Windows\Start Menu\Programs\Startup"に配置

Pageantを実行し、タスクトレイのPageantを右クリックし、AddKeyを選択。
作成した.ppkファイルを登録する。

※Pageantに登録した.ppkファイルはPageantを終了するかログアウトをするともう一度登録しなおす必要がある。
ショートカットへの引数として.ppkファイルを登録しておけば、AddKeyの作業は省略できる。
ただし、パスフレーズを設定している場合は毎回聞かれるので、良し悪しあり。

PowerShellで以下のコマンドを実行

& 'C:\Program Files\TortoiseGit\bin\TortoiseGitPlink.exe' git@github.com

環境変数にGIT_SHHを追加し、値をC:\Program Files\TortoiseGit\bin\TortoiseGitPlink.exeとする。

以上の手順で、httpsでなくshhを使いリポジトリにアクセスできるようになるはず。