Presto Console を使って概況と各照会の状況を確認しよう

To English Readers : Thank you to reach here! English Translation is available.
See Presto Console - watch Presto Cluster Overview and query details.

Presto Console はオープンソースのPrestoで提供され、Webブラウザーで使用でき、とてもきれいなユーザーインターフェースが特徴です。Prestoクラスターの概況を伝える"CLUSTER OVERVIEW"や、照会の詳細な状況を確認するための"QUERY DETAILS"が表示できます。watsonx.data でもPresto Consoleが使用できるので、接続方法や閲覧可能な情報をご紹介します。

watsonx.dataでPresto ConsoleへのURLを取得する方法

ここでは watsonx.data on IBM Software (ソフトウェア版のwatsonx.data)の例を紹介します。
Presto ConsoleへのURLはインフラストラクチャー・マネージャーのエンジンの詳細から入手することができます。　

(1) インフラストラクチャー・マネージャーでPrestoエンジンを選択します。

(2) "エンジンの詳細(Engine details)"が開きます。　その中の"外部ホスト(External host)"がPresto ConsoleへのURLになります。

• コピーアイコンをつかってURLをコピーしましょう。　

ブラウザーにURLを貼り付けると、ユーザーIDとパスワードを入力する画面が現れます。　watsonx.data のユーザーIDとパスワードを使って Presto Consoleに入ることができます。

Presto Console : Cluster Overview クラスター概況

Presto Consoleにはいると、先頭に"CLUSTER OVERVIEW" クラスター概況が表示されます。下の絵を例で紹介しましょう。

• RUNNING QUERIES: 実行中の照会の数。14個の照会が実行中です。
• ACTIVE WORKERS : 活動中のワーカー数。3つのワーカーが活動中です。 
• QUEUED QUERIES : キューで待っている照会の数。下の絵では、少し前は複数の照会がキューに入っていましたが、現在はキューに入っている照会はないことがわかります。　

"CLUSTER OVERVIEW"(クラスター概況)の下では照会のリストが、"QUERY DETAILS"というタイトルで表示されています。　ここでは実行中の照会あるいは最近完了した照会が表示されています。
各照会のQuery idやFINISHEDなどの照会の状態、リソース使用状況のサマリーなどが表示されています。

Presto Console : Query Details 照会詳細

"CLUSTER OVERVIEW"(クラスター概況) の照会リストで気になる照会を見つけたら、そのQuery idをクリックします。すると下の絵のような詳細な情報が表示されます。

図の左の"Overview" には

• Session(セッション), Execution(実行)
• Resource Utilization Summary(リソース使用状況のサマリー)
• Timeline(タイムライン), Runtime Statistics(統計情報)
• Query : Query全テキスト
• Error Information : エラーが検知されるとError Informationに表示される
• Stage Status : ステージ状況

Overviewのほかにも、"Live Plan", "Stage Performance", "Splits"といったタブがあり、きれいな画面で多岐にわたるPrestoの照会に関する情報が表示されます。

"JSON"タブにはJSON形式で"query event data"(照会イベント・データ)が表示されます。表示されるJSONは多くのケースで50,000行超えるほどです。 (その量は構成や照会の複雑さに依存します。)　これほどの情報が美しいPresto Consoleでわかりやすく提供されています。このため、私はPresto Consoleをよく使用します。

watsonx.data 2.1以降では、Query Optimizerが使用されると JSONは "wxdQueryOptimized: true" が含まれるようになりました。　これは、元の照会がQuery Optimizerで最適化され書き換えられたことを意味しています。

まとめ

この記事では、Presto Consoleの次のようなことを紹介しました。

• watsonx.dataでPresto ConsoleへのURLを取得する方法
• Presto Console : Cluster Overview クラスター概況
• Presto Console : Query Details 照会詳細

Presto Consoleはわかりやすくて美しいUIで詳細な"query event data"(照会イベント・データ)を提供してくれるのですが、"query event data"がしばらくすると使用できなくなります。
watsonx.data はこの問題に対応するため、"Query History Monitoring and Management (QHMM)"機能をリリースしました。 今後ご紹介します。おまちください。

環境

この記事は次の環境を使用して作成しています。

• OCP Version : 4.16
• CP4D 5.1.2 . 5.1.3  , watsonx.data 2.1.2 , 2.1.3
  • Presto engines
    • P01(Presto Java) Type : Presto (Java) v0.286 / Size : Starter
    • PCpp (Presto(C++)) Type : Presto (C++) v0.286 / Size : Starter