こんにちは。データエンジニアの皆さん、普段クローラーの運用やデータ収集のインフラを触っているとき、「コンプライアンス」という言葉にどれだけ当事者意識を持っていますか？
正直なところ、「利用規約の確認やKYC（本人確認）なんて面倒だし、コードが動いてデータが取れればそれでいいじゃん」と思っていませんか？
それは、エラーハンドリング（error handling）を全く書かずに、本番環境でコードを動かすようなものです。
ローカル環境では快適に動き、プルリクエストも綺麗に見えるかもしれません。しかし、放置していたそのエッジケースが牙を剥いたとき、代わりにデバッグ（debug）しにやってくるのは、規制当局やFBIかもしれません。
つい最近、データ業界を揺るがす、まさに「現実のホラーストーリー」が起きました。
1.NASDAQ上場企業のドメインが、一夜にしてFBIに差し押さえられた現実
Googleの威脅情報チーム（GTIG）がFBIやLumenと共同で行った、ある大規模な法的執行レポートが公開されました。
標的になったのは、レジデンシャルプロキシ（住宅用プロキシ）ネットワークを提供していたNetNut（Popa）です。驚くべきことに、このサービスの親会社はNASDAQ上場企業である Alarum Technologies（ALAR）でした。
何が起きていたのか、ポイントをまとめるとこうです。
200万台以上の家庭用機器を乗っ取り： 20以上の無料アプリに仕込まれたSDKを通じて、ユーザーの明示的な同意を一切得ずに、スマートTVやセットトップボックスを無断でプロキシの「出口ノード」に変えていた。
犯罪グループの温床に： Googleが監視していたわずか1週間の間に、316もの脅威アクター（攻撃者）がこのネットワークを悪用。リスト型アカウントハッキングや情報窃盗などのサイバー攻撃を仕掛けていた。
一瞬でビジネスがストップ： 上場企業であっても、コンプライアンスプロセスをスキップした結果、GoogleとFBIによって関連ドメインがすべて強制差し押さえられ、インフラが壊滅した。
22番ポートを世界中に開放したまま「ファイアウォールは後で追加しよう」と考えているうちに、裏口から犯罪者に侵入され、プラットフォームごと強制停止されたようなものです。
2. 「プロバイダーの倫理的な汚点」は、あなたの会社のレピュテーションリスク
「これはNetNutが勝手にやったことで、そこからIPを借りてスクレイピングしていただけの自分たちには関係ない」と思いますか？
残念ながら、それは通用しません。データプロバイダーを利用する企業には「連帯リスク」がつきまといます。サプライチェーンのどこかに倫理的な汚点があれば、それは巡り巡って、そのデータを使ってプロダクトを開発している自社のレピュテーション（評判）の汚点になります。
AIMultipleが発表した最新のコンプライアンス・ベンチマークレポートによると、大手Webデータプロバイダー5社の横比較において、最高評価の「Level 5」を達成したのはBright Data（ブライトデータ）のみでした。
一方で、今回摘発されたNetNutは「顧客利用のコンプライアンス」および「IPソースのコンプライアンス」の双方で最低評価。専用の通報窓口すら設置していませんでした。
コンプライアンスとは、ただウェブサイトに「プライバシーポリシー」の文書を載せておけばいいという表面的なものではありません。実際に「厳格なKYCプロセスがあるか」「robots.txtを遵守しているか」「ユーザーから明示的な同意（Opt-in）を得ているか」という泥臭い運用の積み重ねなのです。
3. 今ケチったコストは、将来10倍の利息になって返ってくる
企業としてデータインフラを構築・運用する際、コンプライアンスにかかるコストと、違反したときの代償を天秤にかけてみてください。
コンプライアンスのコスト： 厳格なKYC、SDKの定期監査、robots.txtの遵守、ISO 27001/27018認証の取得など。
違反したときの代償：
業務停止： ドメインを直接差し押さえられ、その日のうちにビジネスがストップする。
法的リスク： 巨額の訴訟や、サプライチェーンの違反に対して企業に直接責任を課す法規制（ドイツのサプライチェーンデューデリジェンス法など）による罰金。
信頼の失墜： 顧客離れ、投資家の信頼失墜、そして優秀なエンジニアの流出。
コンプライアンスは「あれば便利なもの（Nice-to-have）」ではなく、本番環境の稼働率（Uptime）と会社の命を守るための不可欠なインフラです。
ちなみに、今回最高評価「Level 5」を獲得したBright Dataは、責任あるデータ収集のためのアライアンス（Alliance for Responsible Data Collection）の創設メンバーでもあります。彼らは膨大な時間をかけてユーザーの審査（KYC）を行い、第三者監査法人であるPwC（普華永道）による監査レポートも公開しています。
まとめ：リスクの重さを選ぶということ
データプロバイダーを選ぶということは、自分がどれだけの「リスク」を引き受けるかを選ぶことと同じです。
皆さんの会社のクローラーが使っているそのプロキシIPは、本当にユーザーが自発的に許可したものですか？他人のスマートTVから「盗んできた」トラフィックではないと言い切れますか？
書きたくないユニットテストをスキップし続けるように合規性を無視していると、ある日突然、本番環境がクラッシュします。データインフラに関わるエンジニアとして、データソースの透明性とクリーンさに、もっと目を光らせていきましょう。
参考リンク：
Google GTIG レポート: Residential Proxy Networks Disruption (https://cloud.google.com/blog/topics/threat-intelligence/google-continued-disruption-residential-proxy-networks)
Bright Data トラストセンター（PwC監査報告書）: Bright Data Trust Center (https://brightdata.com/trustcenter/pwc-report)