備忘録扱いです。
キーの生成手順とかはおそらく他の形の記事のほうが読みやすいと思うので割愛します。
コマンドプロンプトで以下のコマンドを実行します。
git config --global gpg.program "C:\Program Files (x86)\GnuPG\bin\gpg.exe"
これはどうやらgitにgpgプロバイダーのパスを渡しているものらしく、これがないとsecret keyをgitが見つけに行けないから困ってこういうエラーを吐いてるっぽいです。
追記
履いてません、吐いてます。