直面した事象
下図の構成の環境において、途中経路にあるAzure FirewallとNSGでそれぞれICMPを許可したものの、インターネット宛のICMP/pingが通らないという事象が発生。
原因
Azure Firewallの仕様です。
既知の不具合としてドキュメントに記載がありました。
Azure Firewall uses the Standard Load Balancer, which doesn't support SNAT for IP protocols today. We're exploring options to support non-TCP/UDP protocols for Internet bound traffic in a future release.
引用元：https://learn.microsoft.com/en-us/troubleshoot/azure/firewall/firewall-known-issues
Azure Firewallの問題というよりはAzure Firewallの内部実装で使っているAzure Load Balancerの仕様によるところのようです。
インターネット宛のICMPについては以下のQiita記事でもまとめられていて参考になります。