#前置き
Cloudflare使いながらNginxでCloudflareのIPではなく正しいクライアントのIPアドレスを受け取る方法はよく載ってて、
Cloudflareを経由しない通信はブロックする方法も乗ってるのだけど、
両者を併用するのが意外と難しかった件

#環境
Fedora 35のNginxをdnfでインストールしている

#Nginxの設定
Nginxで正しいIPアドレスを受け取れるようにするのはこれをnginx.confに追加するだけでOK
https://www.cloudflare.com/ips でリストに更新ないかはチェックしておくとして

nginx.conf

set_real_ip_from 103.21.244.0/22;
set_real_ip_from 103.22.200.0/22;
set_real_ip_from 103.31.4.0/22;
set_real_ip_from 104.16.0.0/13;
set_real_ip_from 104.24.0.0/14;
set_real_ip_from 108.162.192.0/18;
set_real_ip_from 131.0.72.0/22;
set_real_ip_from 141.101.64.0/18;
set_real_ip_from 162.158.0.0/15;
set_real_ip_from 172.64.0.0/13;
set_real_ip_from 173.245.48.0/20;
set_real_ip_from 188.114.96.0/20;
set_real_ip_from 190.93.240.0/20;
set_real_ip_from 197.234.240.0/22;
set_real_ip_from 198.41.128.0/17;
set_real_ip_from 2400:cb00::/32;
set_real_ip_from 2606:4700::/32;
set_real_ip_from 2803:f800::/32;
set_real_ip_from 2405:b500::/32;
set_real_ip_from 2405:8100::/32;
set_real_ip_from 2c0f:f248::/32;
set_real_ip_from 2a06:98c0::/29;

#use any of the following two

real_ip_header CF-Connecting-IP;
#real_ip_header X-Forwarded-For;

しかし今度Cloudflareを経由しないIPアドレスをブロックしようとしても
上記の設定で「CloudflareのIPアドレスの場合はクライアントのIPアドレスをアクセス元として置き換える」と設定しているので
単純にCloudflareのIPアドレス以外をブロックすると、全てのアクセスができなくなりますね
そこでこの設定をnginx.confに追加します。

nginx.conf

geo $realip_remote_addr $cloudflare_ip {
    default          0;
    103.21.244.0/22  1;
    103.22.200.0/22  1;
    103.31.4.0/22    1;
    104.16.0.0/12    1;
    104.24.0.0/14    1;
    108.162.192.0/18 1;
    131.0.72.0/22    1;
    141.101.64.0/18  1;
    162.158.0.0/15   1;
    172.64.0.0/13    1;
    173.245.48.0/20  1;
    188.114.96.0/20  1;
    190.93.240.0/20  1;
    197.234.240.0/22 1;
    198.41.128.0/17  1;
    2400:cb00::/32   1;
    2405:8100::/32   1;
    2405:b500::/32   1;
    2606:4700::/32   1;
    2803:f800::/32   1;
    2c0f:f248::/32   1;
    2a06:98c0::/29   1;
}

これでCloudflareのIPであれば$cloudflare_ipは1になり、そうでなければ0になります。
そうしてCloudflareを経由しないアクセスを制限したいバーチャルホストのserverディレクティブの設定で

hoge.com.conf

if ($cloudflare_ip != 1) {
    return 403;
}

を追加してやるとCloudflare経由しないアクセスに403を返すことができます。
もちろん他のステータスコードを返してもよいです。

sudo nginx -t

で問題なければ

sudo systemctl reload nginx

で反映です。

#もっと厳密に保護したい
ここまでの設定でほとんど大丈夫だとは思うのですが、実はIPアドレスは偽装可能なので、CloudflareのIPアドレスを名乗ってきたアクセスはそのまま通してしまいます。

そこでauthenticated origin pullsを設定したいと思います。

設定方法はこちらを参考にしてみてください。
https://developers.cloudflare.com/ssl/origin-configuration/authenticated-origin-pull/set-up#setup-instructions

基本的にはNginxでクライアント証明書の認証を有効にすることになります。
各サイトレベルで反映させたいので先ほどの各バーチャルホストの設定ファイルにこれを追加してあげてください。

hoge.com.conf

ssl_client_certificate /etc/nginx/certs/cloudflare.crt;
ssl_verify_client on;

書き終わったら

sudo nginx -t

で問題なければ

sudo systemctl reload nginx

で反映です。

これでIPアドレスとクライアント証明書を検証して通過するようになるので、かなりセキュアにはなったかなと思います。