「AWS PrivateLink を介して Datadog に接続する」

こちらについて、ドキュメントに書いてある内容の補足や、重要事項の洗い出しをやってみようと思います。
残念ながらオールハンズオン形式ではないので注意してください。
もしこの設定を使用する際にうまくいかなかった人の助けになることを祈っています。

ap-northeast-1向けのendpointが公開されたようです。
記事の内容が古い可能性があるので注意してください。

もくじ

Private Linkについて
作成するもののリスト
設定
1. VPC Endpointの作成
  1. ポイント
2. VPC Peeringの設定
3. Route 53の設定
  1. ポイント
4. VPC association authorizationの設定
5. Datadog agentの再起動
Troubleshooting
最後に

Private Link

AWSのPrivate Linkについて解説します。もう知ってるよって人は飛ばしてください。

身も蓋もないことをいうと、下記の記事が参考になります。

VPCエンドポイント
VPCと他サービス間でプライベートな接続を提供するコンポーネント
サービス利用側のVPC内で作成

AWS PrivateLink
プライベート接続を介したサービスを提供するためのサービス
以下の2つがセットとなり、AWS PrivateLinkが提供されている。
　 - VPCエンドポイント（サービス利用側のVPC内で作成）
　 - VPCエンドポイントサービス（サービス提供側のVPC内で作成）

ちなみに私はPrivate linkについてサービスというよりは、AWSのサービスを組み合わせた仕組みという理解をしています。実際AWS consoleの検索画面で「Private link」と検索しても出てこないです。(この辺がPrivate Linkをややこしくしているところだと思ってます。)
なぜこのように捉えているかについては、後に登場する全体図を見ていただけると、なんとなくわかると思います。

作成するもののリスト

Private Linkの構築の際に作成するものについて下記に記載します。
データの送信に失敗している場合、まず下記のリソースが作成済みか確認をしてください。

us-east-1

VPC Endpoint
DatadogのVPC endpoint serviceに接続し、Private Linkを構築するために必要です。
各endpoint serviceに応じて必要なため、現状最大で8個作成することになります。
VPC(VPC peering時に必要)
defaultで作成されたVPCの場合、VPC peering時にCIDRがかぶってしまい連携に失敗する可能性があります。
Route53 Hosted Zoneと対応するレコード(VPC peering時に必要)
Endpointと1:1の関係になるように作成します。
VPC 関連付け承認(リソースというより設定)
VPCとHosted Zoneの紐付けに必要です。
AWS consoleからは設定できないし、そんな大事じゃなさそうに記載されているので見逃している人がいるんじゃないかと思ってます。

ap-northeast-1

Datadog agent
データの送信には何はともあれこいつが無いと始まりません。
インターネットアクセス制限下でのAgentのインストールは下記ドキュメントを参考にしてください。

設定

全体図

~~この図もね、正直ピンとこないんですよね。~~

詳しく図解するとこんな感じになります。わかりやすい！！
最初にも述べましたが、VPC EndpointとVPC Endpoint serviceを組み合わせた仕組みがAWS Private Linkです。
Route 53君が説明の都合上AWS Private Linkのグループに入っていますが、VPC peeringを使用しない場合は不要です。

さて、ここからはAWS Private Linkを介してDatadogに接続するためにドキュメントの内容を読み解いていきます。
この記事を読んでいる人の多くはデータを送信したいリソース(EC2など)がap-northeast-1に存在していると思うので、VPC peeringのページを読んでいきます。

VPC Endpointの作成

これから説明していくのは最初の図でいうと赤枠の部分ですね。(Route 53君には一時的に消えてもらっています。)

Connect the AWS Console to region us-east-1 and create a VPC endpoint.

早速ですが下記に当てはまる人はus-east-1にVPCを作成してください。

ap-northeast-1のVPCとus-east-1のVPCのCIDRが被っている
us-east-1にVPCが無い(defaultで作られている気がするのですが忘れました)

実はVPCピアリングにはたくさん制限があったりします。今回の記事の内容で影響しそうなところはCIDRに関するものだと思っていますが、下記ドキュメントの内容を一読しておくと助かるかもしれません。
VPC peering limitations

続いてVPC Endpointをus-east-1に作成していきます。
このVPC EndpointはDatadogが持つVPCに存在するVPC Endpoint Serviceに連結します。
この連結によって、VPC Endpointを通って、サービスを提供するVPC Endpoint Serviceを介してサービス提供元のAPI Endpointにリクエストを送信することができるようになります。

こちらが現在の設定時のUIです。ドキュメントのスクリーンショットは古いので注意してください。

Service categoryで Other endpoint services を選択します。
Service settingsで連携先のVPC Endpoint service(PRIVATELINK SERVICE NAME)を入力し、Verify serviceをクリックします。
作成するVPC EndpointをアタッチするVPCの各種設定を追加します。(急に雑)

DATADOG	PRIVATELINK SERVICE NAME
Metrics	com.amazonaws.vpce.us-east-1.vpce-svc-09a8006e245d1e7b8
Logs (Agent HTTP intake)	com.amazonaws.vpce.us-east-1.vpce-svc-025a56b9187ac1f63
Logs (User HTTP intake)	com.amazonaws.vpce.us-east-1.vpce-svc-0e36256cb6172439d
API	com.amazonaws.vpce.us-east-1.vpce-svc-064ea718f8d0ead77
Process	com.amazonaws.vpce.us-east-1.vpce-svc-0ed1f789ac6b0bde1
Profiling	com.amazonaws.vpce.us-east-1.vpce-svc-022ae36a7b2472029
Traces	com.amazonaws.vpce.us-east-1.vpce-svc-0355bb1880dfa09c2
Containers	com.amazonaws.vpce.us-east-1.vpce-svc-0ad5fb9e71f85fe99

ほんとこれスクショで良かったと思う。
それはさておき、これを使用するVPC Endpoint Serviceの数だけ実施します。
ただのトンネルなので全部作っちゃって良いと思います。(AWSのコストだけは気にしてね)

ポイント

Service settingsのService nameのVerifyはap-northeast-1でやるとエラーになるので間違っているのが分かりやすいです。
Enable DNS nameは選択しないでください。
セキュリティグループはTCP port 443のインバウンドトラフィックを許可するようにしてください。
VPC Endpoint作成後はStatusがAvailableに変わるのを確認してください。

実はこの時点でPrivate Linkの作成は完了しています。
なので、us-east-1にリソースがある人はもうデータの送信ができるようになっているはずです。

他のregionにリソースがある人はもう少しだけ頑張りましょう。

VPC Peeringの設定

エンドポイントが作成されたら、VPC ピアリングを使って、別のリージョンでも PrivateLink エンドポイントを利用して PrivateLink 経由で Datadog にテレメトリーを送信できるようにします。詳しくは、AWS の VPC ピアリング接続での作業ページをご覧ください。

Datadogのドキュメントなので当たり前のことなのですが、VPC peeringについては記載が薄いです。
この設定についてはAWSのドキュメントで良さそうなものがあったので下記にリンクを置いておきます。
Create with VPCs in the same account and different Regions

VPC Peeringが上手くいかない時はAWSのサポートに相談する方が良いですね。

Route 53の設定

ここではRoute 53 Private host zoneを作成します。
Private hosted zoneを作成することで、初めに作成したVPC Endpointへのルーティングを設定します。

ポイント

正しいVPC EndpointのDNS名を設定する

VPC association authorizationの設定

このセクションで行う操作は大きく二つあります。

VPC association authorizationをAWS CLIやSDK、APIなどから設定を行う。※AWS Consoleからは設定できないため
Route 53のVPCs to associate with the hosted zoneにap-northeast-1のVPCを追加する。

VPC association authorizationの設定について
下記3つの方法で設定できるみたいです。

Amazon CLI
AmazonSDK or Amazon Tools for Windows PowerShell
Amazon Route 53 API

僕があんまりSDKを使った経験が無いからというのもあるかもしれませんが、CLIやAPIを使うのが手っ取り早いように感じます。

設定後はRoute 53のhosted zoneをドキュメントの内容に沿ってVPCを追加します。この時VPCの設定でenableDnsHostnamesとenableDnsResolver(ドキュメント上はenableDnsSupport)を有効化されていることを確認してください。

VPC上のDNSに関連した設定で変更可能な設定はenableDnsHostnamesとenableDnsResolverです。
AWS上のドキュメントをいくつか見てきたのですが、どれもenableDnsSupport表記でした。

Important
If you use custom DNS domain names defined in a private hosted zone in Amazon Route 53, you must set both the enableDnsHostnames and enableDnsSupport attributes to true.

To use private hosted zones, you must set the following Amazon VPC settings to true:
enableDnsHostnames
enableDnsSupport

一方で、下記は2022年の10月31日と比較的新しいAWSのQAなのですが、下記の記載があります。

Domain Name System (DNS) hostnames and DNS resolution are required settings for private hosted zones.

恐らく、一部のドキュメントでは反映が遅れているんじゃないかと思います。

Datadog agentの再起動

最後にAgentを再起動し、Datadog UI上などでAgentからのメトリクスが送信されているかを確認してください。

Troubleshooting

TroubleshootingのTipsを簡単にあげておこうと思います。

リソースは全て作成済み？

まずはここからじゃないですかね。作成するもののリストを参考に確認してみてください。

設定したけどデータの送信ができない場合

対象のhostからnslookupをしてください。

nslookup 7-43-1-app.agent.datadoghq.com

7-43-1の部分はAgentのバージョンに置き換えてください。
そこから名前解決ができるのかできないのか、そもそもus-east-1のVPCに行けていないのか、何かと情報が得られると思います。

最後に

AWSやDatadogのドキュメントでもそうなのですが、海外プロバイダーのサービスを活用する際、日本語ドキュメントを参考にするのは良いのですが、最新情報はあるとしたら英語のドキュメントにあります。違和感を感じる内容がある場合や、ドキュメント通りに設定したけど上手くいかなった場合は英語のドキュメントと見比べることをお勧めします。