これによると Geocoding API は IP による制限しかかけられないのであきらめるしかない。フロントで使いたい場合はバックでプロキシしたりする感じか。
GCPのAPIキーの設定画面だとGeocoding APIをHTTPリファラーで制限しても特に何も言われないが、このAPIキーを使ってGeocoding APIを使おうとすると以下のように怒られる。
{
"error_message" : "API keys with referer restrictions cannot be used with this API.",
"results" : [],
"status" : "REQUEST_DENIED"
}