Akamai speeds visibility into security incidents with Databricks | Databricksの翻訳です。
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
- データ取り込みを15分から1分未満に短縮
- クエリーの85%以上のレスポンスが7秒以内に
業種: テクノロジーとソフトウェア
ソリューション: 脅威検知
プラットフォームユースケース: Delta Lake、データストリーミング、Photon、Databricks SQL
クラウド: Azure
「Delta Lakeによって、よりよくデータをクエリーできるようになっただけでなく、データ量を増加させることができました。昨年、データとトラフィックにおいて80%の増加を確認しており、迅速にスケールできることが重要になっています。」— Tomer Patel, Engineering Manager, Akamai
Akamaiは、広く普及している高度に分散されたコンテントデリバリーネットワーク(CDN)を運用しています。このCDNは、メディア、コマース、金融、小売など多数の業界の大企業のいくつかにインターネットトラフィックをルーティングするために、世界中で135ヶ国、1,300以上のネットワークにある約345,000のサーバーを使用しています。インターネットトラフィックの約30%はAkamaiサーバーを経由しています。また、Akamaiはクラウドセキュリティソリューションを提供しています。2018年、この会社は、広範なストリーミングセキュリティイベントを評価し、それらのイベントの分析を行う、単一かつ統合されたインタフェースをAkamaiの顧客に提供するウェブセキュリティ分析ツールを立ち上げました。このウェブ分析ツールによって、Akamaiの顧客はリアルタイムでセキュリティイベントに関連する情報を得た上で悪所の取れるようになります。Akamaiはこのウェブ分析ツールでDelta LakeとDatabricksレイクハウスプラットフォームを活用することで、膨大な量のデータのストリームを可能とし、厳格なSLAを達成し、顧客に提供できるようになっています。
膨大な量のデータを取り込んでストリーミングする
Akamaiのウェブセキュリティ分析ツールは、セキュリティイベントに関するデータを秒間に約10GB取り込みます。小売のお客様が膨大な数のセールスを行った際、あるいはBlack FridayやCyber Mondayのような大売り出しの際には、データボリュームが劇的に増加し得ます。このウェブセキュリティ分析ツールは、分析目的で数ペタバイトのデータを格納します。Akamaiの顧客を保護し、彼らに自身のセキュリティイベントを探索、クエリーできるようにするためにこれらの分析は行われます。
このウェブセキュリティツールは、当初はHadoop上でApache Spark™が稼働するオンプレミスのアーキテクチャに依存していました。Akamaiでは、攻撃が起きた際、ツールに表示されるまでには5-7分という厳格なサービスレベルアグリーメント(SLA)を提示しています。これらのSLAを満たすためにAkamaiでは、データ取り込みとクエリーのスピードを改善する方法を探していました。AkamaiのEngineering ManagerであるTomer Patelはこう述べます。「何が攻撃しているのかをお客様が確認できるように、データは可能な限りリアルタイムで必要でした」、「顧客にクエリー可能なデータをクイックに提供することが重要です。パフォーマンスとSLAを改善するためにオンプレミスから移行したいと考えており、レーテンシーは数分ではなく数秒にしたいと考えていました」
複数社とPOCを実行した後、AkamaiはSpark上のストリーミング分析アーキテクチャにDatabricksレイクハウスプラットフォームを選定しました。Patelはこう言います。「規模とSLA要件から、Databricksが我々にとって適切なソリューションだと結論づけました」、「ストレージの最適化とデータキャッシュを検討した際、他のソリューションでは同じレベルのパフォーマンスを達成できませんでした」
スピードを改善しコストを削減する
今では、このウェブセキュリティツールはデータを取り込み、変換を行い、クラウドストレージに格納し、Kafka経由でファイルを格納場所に送信しています。そして、取り込みのアプリケーションとしてDatabricksジョブを活用しています。DatabricksレイクハウスプラットフォームのベースとなるオープンソースのストレージフォーマットであるDelta Lakeは、ウェブセキュリティ分析データに対しうるリアルタイムのクエリーをサポートしています。また、Delta Lakeによって、Akamaiはクイックにスケールすることができます。Patelはこう言います。「Delta Lakeによってよりよくデータをクエリーできるだけでなく、データボリュームの増加に対応できています」、「昨年、トラフィックとデータで80%の増加を確認しており、急速にスケールできることが重要となっています」
また、AkamaiではDatabricks SQL (DBSQL)と非常に高速なクエリー性能を提供するPhotonを活用しています。Patelは、Photonにおyってクエリー性能が劇的にブーストされたと付け加えています。全体として、DatabricksのストリーミングアーキテクチャはDBSQLとPhotonと組み合わされ、Akamaiはリアルタイム分析を達成することがd系、リアルタイムのビジネス価値へとつながりました。
Patelは、製品を改善に取り組んでいるオープンソースコミュニティのユーザーによって会社が収益を上げていることから、Delta Lakeがオープンソースであることは好ましいと述べています。Patelはこう言います。「Delta Lakeがオープンソースであり、背後には巨大なコミュニティが存在しているという事実は、我々が自分ですべてのを実装する必要がないということを意味します」、「他の方が遭遇したバグ修正やプロジェクトに貢献する最適化によって我々はメリットを得ています」Akamaiが定義したスケールと性能の要件をDelta Lakeが満たせるように、AkamaiとDatabricksは密接に連携しています。これらの改善点はプロジェクトに還元されており(これらの多くはDelta Lake 2.0の一部として利用できます)、Delta Lakeを稼働させているすべてのユーザーは、現実世界のプロダクションシナリオにおける大スケールな環境でテストされたテクノロジーを活用することができます。
スケーラビリティ、信頼性、パフォーマンスに対する厳しい要件に応える
DatabricksレイクハウスプラットフォームでSparkの構造化ストリーミングを用いることで、このウェブセキュリティ分析ツールは、膨大な規模のデータをストリーミングし、Akamaiの子役に対して低レーテンシー、サービスとしてのリアルタイム分析を提供できるようにしました。このようにして、Akamaiは攻撃が発生した際に、5-7分のSLAで顧客にセキュリティイベントを提供できるようになっています。Patelは言います。「我々のフォーカスは、パフォーマンス、パフォーマンス、パフォーマンスです」、「今プラットフォームのパフォーマンスと安定性が我々を前に進めるのです」
Databricksレイクハウスプラットフォームを用いることで、セキュリティイベントデータの取り込みは1分以内となっています。Patelは言います。「取り込み時間を15分から1分以内に短縮できたことは大変な改善です」、「お客様がより早くセキュリティイベントデータを確認でき、正確に何が起きているのかのビューを手に入れ、フィルタリングする能力を持つことでメリットを提供できています」
Akamaiの最重要事項は、顧客に優れた体験と高速なレスポンスタイムを提供することです。これまでに、Akamaiはセキュリティイベントデータの約70%をオンプレミスのアーキテクチャからDatabricksに移行しており、結果としてお客様のクエリーとレスポンス時間のSLAは劇的に改善されました。「今ではDatabricksに移行することで、我々の顧客は優れたレスポンスタイムを体験しており、クエリーの85%は7秒以内に完了しています」この種のリアルタイムデータの提供は、Akamaiが自身のお客様を用心深くさせ、最適なセキュリティ環境を維持できる役に立つことを意味します。