本記事はExpanded Grail data lakehouse and new Dynatrace user experience unlock boundless analyticsの抄訳です。

昨年10月、私たちはDynatrace Grail™と呼ばれるデータレイクハウスを発表しました。リリース直後からGrailは、観測性、セキュリティ、およびビジネスデータを統合し、超並列処理（MPP）機能によって瞬時に答えを提供することにより、ログ管理と分析市場に衝撃を与えました。プラットフォームの分析機能をさらに拡張するため、新しいデータ型を追加し、グラフ分析のサポートを解除することで、Grailの能力を高めています。これらの機能により、Dynatraceの因果関係AIエンジンであるDavis®は、さらに多くのインサイトを収集することができます。また、データとの全く新しい対話や、境界のないあらゆる分析の実行を可能にします。

Grail - 探索的分析の基礎

Grailはすでにログとビジネスイベントを保存し、処理することができます。今回、DQLにSmartscapeを追加し、Grailに2つの新しいデータソースを追加します。メトリクスとトレースです。

Grailによるメトリクス

クラウドネイティブアーキテクチャは、その多くの利点にもかかわらず、スケーラビリティと断片化の問題を引き起こす可能性があります。これらの環境全体でオブザーバビリティを確保するには、大規模なデータへのアクセスが必要です。各サービス、ホスト、またはKubernetesポッドが独自のメトリクスを追加し、そのメトリクスは高いカーディナリティにより新たな課題が生じる可能性があります。

Grailはこのスケーラビリティの問題を解決します! Grailは、数十億のメトリクスを管理するように設計されており、1年以上の時間枠のための1兆もの潜在的配列に対するカーディナリティとユニークな値の組み合わせに対処することができます。これは、Dynatraceのインデックスを使用しないアプローチと大規模な並列処理機能によってのみ可能であり、費用対効果が高く、高速な粒度の超長期データ保持（15ヶ月以上）を提供することが可能です。

データを分割、分散、事前集計する必要はもうありません。Grailに任せれば、即座に可視化され、コンテキストに沿った正確な分析、そして的確な予測分析から利益を得ることができます。

Grailによるトレース

分散トレースは、環境内のすべてのサービス、クラウドプラットフォーム、ホストを通過するトランザクションを追跡します。ハイブリッドおよびマルチクラウドスタック全体を網羅するトレースにアクセスすることで、開発者は実運用環境でアプリケーションをデバッグし、依存関係を理解することができます。より複雑なクラウドネイティブアーキテクチャの場合、より多くのサービスとアプリケーションを追加すると、収集されるトレースの量が大幅に増加します。

Grailでは、市場で最もパワフルで将来性のあるトレース分析ソリューションを提供することで、これらのお客様の課題に対応します。

1日数百テラバイトのデータ量を処理
大容量データを最大15カ月間、高いコスト効率で保持
トレースとスパンをPurePath®分散トレースに組み入れることにより、データのコンテキストを保持（追加のコードおよびスレッドプロファイリングデータを含む）
インデックスレスのクエリを用いてリアルタイムに結果を応答

DQLのためのSmartscape。コンテキストが王様

Bill Gatesは1996年に「Content is King」（コンテンツが王様）と題したエッセイを書き、インターネットの未来はコンテンツのマーケットプレイスであると述べていました。DevSecOpsでは、コンテンツには、アプリケーションとサービス、さらにそれらが動作する環境とそれらを使用するユーザーに関する情報が含まれます。オブザーバビリティとアプリケーション・セキュリティのユースケースは、データに依存しています。しかし、コンテキストを伴わないデータだけでは、すべて明らかにすることはできません。ビル・ゲイツの見解は今でも有効ですが、今日のDevSecOpsにとって、より正確な表現は「コンテキストが王様」です。

従来のモニタリング環境では、メトリクスは集約されたデータであり、そのデータセットをより管理しやすくするために切り詰めると、コンテキストと粒度が失われます。DynatraceとSmartscape for DQLでは、メトリクスは全く異なります。メトリックス、ログ、イベント、トレース、その他のデータタイプであっても、Dynatraceはデータのコンテキストを保持するだけでなく、境界のない意味的なコンテキストでデータを分析することが可能です。

これらの機能は、データアーキテクチャのリアルタイムのトポロジーと依存関係を表す方向性のあるグラフであるSmartscape for DQLによって実現されます。Smartscapeは、Dynatraceに取り込まれた異なるデータタイプを統一し、このデータの完全なコンテキストを保持し、全体的かつ正確なデータ分析を可能にします。

Dynatrace Query Language (DQL)により、チームは過去に不可能だった質問をすることでこれらの分析を実行することができます。例えば、レッドアラートシナリオでサービス停止の影響を受けるユーザーを特定したり、最近のデータ侵害についてフォレンジック調査を行うなど、無限の可能性があります。DQLを使えば、異なる種類のデータを1つのクエリに簡単にまとめることができます。

Smartscapeのパワーは、もちろん手動クエリに限定されるものではありません。同じデータモデルが、Dynatraceプラットフォームの中核をなす因果関係AIエンジンであるDavisを動かしているのです。Dynatraceは長年Davisを使用しており、根本原因の分析、セキュリティリスクの特定、その他多くのユースケースにそのパワーを活用しています。Davisは、機械学習や統計的相関関係には依存しません。これは、ほとんどのAIに搭載されているモデルで、タイムスタンプ分析、類似性の検索、手動計測の処理によってデータポイントの相関を取ろうとします。Davisは、継続的に更新されるトポロジーと依存関係（Dynatrace Smartscapeによる）を反映し、孤立した信号間の正確な関係や依存関係を理解する因果関係AIです。

他のAIが推測しなければならないのに対し、Davisは知っており、偽陽性を排除します。Dynatrace Grailの追加により、コンテキストの中でデータを取り込み、保持し、維持します。私たちは、オブザーバビリティ業界に革命を起こし、Dynatraceをさらに拡張して、無限のオブザーバビリティとセキュリティのユースケースのための回答駆動型解析と自動化を提供しています。

探索的アナリティクス - 人とデータに力を付与

データは新しい価値であると考えられていますが、それでも違いを生むのは人です。Dynatraceに保存されたデータから洞察を得ることは、伝統的に組織内の特定の専門知識とトレーニングを持っている人に限られています。しかし、もはやそのようなことはありません。

新しいDynatraceのユーザーエクスペリエンスでは、新しいコンセプトを導入し、組織全体の人々がデータを使ってどのように働き、どのように相互作用するかを変えています。

新しいユーザーエクスペリエンス

サポートするユースケースではなく、表示するデータやデータタイプで定義されたユーザーインターフェイスをいくつ使ったことがありますか？ダッシュボードに表示される情報を整理したり、意味を理解するのに何度も時間を費やしたことがありますか？スマートフォンで情報を操作するのと同じように、データも直感的に操作できればと思ったことはありませんか。ビジュアライゼーションをすばやく切り替えたり、チャートやダイアグラムのスパイクの背後にあるコンテキストを簡単に理解したり、アドホック分析を行うためにさらに深く掘り下げたり。

Dynatraceの新しいユーザーエクスペリエンスを支える新しいデザイン言語であるStratoの開発を始めたとき、上記のようなデザインの課題に対処するために、いくつかの基本原則を開発しました。

DevSecOpsのユースケースに対応したソフトウェアを設計するということは、大量のデータを扱うということです。そのデータは、消化しやすいインターフェイスで詳細な分析にアクセスできる必要があります。そのため、私たちはユーザーエクスペリエンスを完全に見直しました。インターフェースはデータ中心ではなく、ユーザー中心です。Dynatraceは、ユーザーを真ん中に置き、個々のニーズに合わせた柔軟なUIを提供し、様々な視点から豊かなインサイトを導き出すように設計されています。
シンプルなインターフェイス - 初めてDynatraceを使うユーザーでも、たまにしか使わないユーザーでも、SREでも、シンプルで簡単に操作方法を習得できます。
インターフェースが提供する無限の可能性。ユーザーは、どんなに大きな環境でも、効率的に仕事をすることが求められます。チームでの共有やコラボレーションが、かつてないほど容易になりました。

これらの原則はすべて、「データと分析から得られる洞察をより多くの人が利用できるようにする」という単一の包括的な目標に一致しています。これを実現するために、私たちは新しいDynatraceのユーザーエクスペリエンス（UX）を、IT、開発、セキュリティ、ビジネスなどの組織を超えたチームとのコラボレーションを促進し、日常の問題を解決するためにデザインしました。私たちは、ユーザーインターフェイスをわかりやすく、より使いやすくすること、そしてチームがデータのシグナルをより理解し、データに裏付けられた意思決定を行えるようにすることに焦点を当てました。

コンテキストに応じたユーザー

Dynatraceにとってデータをコンテキストに置くことが重要であることはすでに前述しました。これはユーザーエクスペリエンスの観点からも同じです。Stratoでは、DynatraceのUIにユーザーコンテキストを追加しています。

チャートはインタラクティブになり、データポイントはクリックできるようになりました。2時間前の更新によって応答時間が急増したことを示すグラフを考えてみてください。このデータポイントの上にマウスを置くと、ドリルダウンや急増の背景などをデータに基づいてインタラクティブに操作できるようになります。

DynatraceのWeb UIのすべてのコンポーネントとビューは、ユーザーのコンテキストまたは「intents」に基づいて相互にリンクされています。お気に入りのSNSで見つけた画像を他の人に共有するときのスマートフォンの操作と同じように、Dynatrace内でページを開くと、Dynatraceプラットフォーム上の他のアプリに分析のコンテキストを簡単に渡して共有することができます。表示される利用可能なアプリの選択は、完全にコンテキストに依存し、あなたのニーズに基づいて拡張することも可能です。

ダッシュボードとノートブックによるデータ分析の簡素化

Dynatraceのユーザーエクスペリエンス全体を革新する新しいコンセプトに加えて、Dynatraceプラットフォームに2つの新しいアプリを導入します。Dynatrace®ダッシュボードとDynatrace®ノートブックです。ダッシュボードはこれまでのダッシュボード体験を完全にオーバーホールしたものになります。ノートブックはオンデマンドのデータ探索のために利用できます。これらのアプリは、より多くのチームメンバーが分析プロジェクトで探索、視覚化、コラボレーションすることを容易にします。これらの新機能は、以下の原則に基づいて開発されました。

新しいDynatraceのデザインシステムであるStratoによって作成された、より速く、よりシンプルなフローを提供
Dynatraceのすべてのデータを取得し、Grailにより単一のクエリに組み合わせることが可能
Dynatraceの関数を用いて簡単に外部データと統合
変数による柔軟性と多様なフィルタリングを追加
Intentsを使用することで、コンテキストとともにシームレスにUI間をナビゲート

ダッシュボードとノートブックには、それぞれの強みがあり、特定のユースケースを解決するために最適な選択となります。

Dynatraceダッシュボードによるデータの観察

Dynatrace® Dashboardsは、複雑なデータを理解しやすいビジュアライゼーションに変換します。ダッシュボードは、時系列で観察できる現状把握や、経営陣やビジネスチームとの集計ビューの共有など、データの概要を素早く明確に把握するのに最適なアプリです。

ダッシュボードは、Grailが提供するすべての機能とデータ型を完全にサポートするインタラクティブな体験を提供し、メトリクスだけでなく、ログ、イベント、さらには外部データも照会することができるようにします。さらに深く掘り下げた分析の出発点として機能し、ノートブック（下記参照）を介してより詳細なドリルダウンを提供します。

全く新しいダッシュボードアプリは、ライブデータの可視化と観測を行うためのソリューションです。わずか数秒でデータからインサイトまでを確認することが可能ですが、これは始まりでしかありません。

Dynatrace Notebooksによるデータの探索

Dynatrace Notebooksは、データ探索のためのオンデマンドの窓口です。正しいデータを見つけ、データをクリーニングし、フィルタリングし、変換し、最終的に他のデータと接続して、根本的な依存関係を理解するという課題に取り組みます。このようなタスクのためにデータサイエンティストの助けはもはや必要ありません。Notebooksは、すべてのDynatraceユーザーがDynatraceに保存されているデータであらゆるタイプの分析を実行できるようにします。

データドリブンなドキュメントの作成とカスタムアナリティクスの実行を始めることができます。必要なユースケースに応じて、ノートブックは現状を維持し、必要なときにスナップショットを作成したり、最新のデータを使用して「更新」を行うことができます。Grailに保存されているデータを「細かく分解」したクエリ結果を簡単にノートにすることができます。高度なフィルタ、絞り込み、集計、並び替えは、クリックひとつで実行できます。さらに、将来の傾向予測をクリックだけで追加でき、Davisのパワーを活用することも可能です。

Grailの無限のパワーが必要だとします。その場合、DQLクエリを簡単に作成、編集して、必要な方法でデータをフィルタリング、結合、変換したり、Dynatrace® AppEngineで駆動するアドホック機能を追加して、カスタムロジックや外部データでノートブックを拡張したりすることができます。
新しいビジネスチャンスの分析、最新の脆弱性の事後調査、経営陣への報告など、Notebooksはすべてをこなし、クエリと結果の両方を永続化し、チームメンバーと共有できる状態にすることを確実にします。Grailによって強化されたNotebooksは、Dynatraceプラットフォームのスイスアーミーナイフであり、データの探索と分析を共同で行うために構築されています。

まとめ

これらの新しく追加された機能により、Dynatraceユーザーは、Dynatrace GrailのAIによるグラフ分析力を活用し、任意のカスタムクエリを実行できるようになりました。これにより、無限のユースケースに対して、即座に正確な答えを導き出すことができます。

ビジネスインパクト - オブザーバビリティとセキュリティに関する知見をビジネスコンテキストにマッピングすることで、影響を受けるユーザを迅速に特定し、サービス停止によりチェックアウトを完了できないeコマース顧客を照会して顧客満足度を向上させることができます。
自動化 - 修正アクションが依存するコンポーネントに与える潜在的な影響を把握します。
セキュリティ - アプリケーション・セキュリティのフォレンジックを実施し、データ侵害を特定、軽減、防止することで、顧客とブランドを保護します。
ビジネスプロセスの健全性 - 依存関係が非トランザクションの場合でも、複雑なプロセスの健全性ステータスを表示および分析します。
最適化 - クラウドのパフォーマンスと利用率を長期的に予測し、ユーザーのニーズに基づいてリソースの割り当てを最適化することで、より効率的なマルチクラウド運用を可能にします。

Dynatraceの分析プラットフォームは、セキュリティとオブザーバビリティデータを統合し、コスト効率の良いエンドツーエンドの分析を大規模かつ長期に渡って可能にし、データが持つ価値を倍増させます。Dynatraceが持つデータに対する全ての想像可能な分析が今実現します！

次は何か？

新デザインのダッシュボード、ノートブック、Dynatrace GrailによるメトリクスとDynatrace® Smartscape for DQLのサポートを含む新しいDynatraceユーザーエクスペリエンスは、2023年第2四半期に提供開始予定です。Dynatrace PurePath®分散トレースのGrailサポートは、2023年第2四半期にプレビューが開始される予定です。