はじめに
この記事はシスコの有志による Cisco Systems Japan Advent Calendar 2021 (2枚目)の 22日目の記事です。 2021年版 1枚目: https://qiita.com/advent-calendar/2021/cisco 2021年版 2枚目: https://qiita.com/advent-calendar/2021/cisco2 (これ)今年は私の趣味であるゲーム、特にAPEX Legendsというタイトルについてなんとか記事を書いてみたいというのもあり、今流行りのFull Stack Observabilityの一翼を担う製品である「ThousandEyes」を活用できないか考えてみました。
余談ですが、社会人e-sportsリーグのAfter 6 Leagueという大会のAPEX Legends部門にシスコとして参加しているので、ぜひ応援をお願いします!
ThousandEyesとは
これまでのネットワーク監視はSNMP, NetFlow, Syslog, パケットキャプチャなど、ネットワーク機器から送られてきた情報を収集し、主にイントラネット内のネットワークの監視を行ってきました。
しかし、これだけではあくまでイントラネット内しか見ることはできず、インターネット側の情報は得ることができません。
昨今SaaS利用が増加し、Microsoft365を初め数々のWebアプリケーションに接続する機会が増えてきたのにイントラだけ監視しても、、、。
そこでThousandEyesの登場です!
ThousandEyesは”エージェント”と呼ばれる、監視用トラフィックを送信し、ユーザーアプリの動作をシミュレーションする自発検知型の監視ツールを利用することで、TCP, ICMPトラフィックを監視対象に送信、パストレースや遅延・パケロスの監視を行います。
こちらの画像にあるようにユーザー端末・仮想マシン・ネットワーク機器内にエージェントをインストールするだけでなく、すでに各国のクラウド上に配置されているThousandEyesのエージェントもあり、利用することが可能になっています。
ThousandEyesを使ってやってみたこと
今回はThousandEyesのエンタープライズエージェントを使ってAPEX Legendsへのネットワーク品質の確認をやってみようと思います。実際にゲームをしていると日によって遅延がひどく、ミリ秒単位の遅延によって勝敗が左右されることもあるAPEX Legendsにおいて、ネットワーク品質は非常に重要な要素となっていることを痛感します。
もしパケロス・遅延が発生した場合、サーバ側の問題だけではなく、途中の経路に問題がある可能性も考えられますので、退勤後から寝るまで一分一秒も無駄にしたくない社会人ゲーマーの方々はすぐさまサーバー変更をし、最適なサーバー選択をする必要があるということです。
APEX Legendsでは東京に複数のサーバーが存在し、ユーザーはゲーム内で最適なサーバーにアクセスするようにデフォルトでは設定されていますが、ユーザー側で任意のサーバーを選択することもできます。
これらの問題に対して能動的に対処できる仕組みが作れれば、より快適なAPEX Legends環境を整備し、勝率も上がるのではないでしょうか!?
今回は単純にネットワークの品質確認を行うだけでなく、申し訳程度に結果をシスコのメッセージングツールであるWebexにAPIを利用して表示するといった連携をしてみました。
エージェントのインストール
先述したようにThousandEyesには主に三種類のエージェントを利用することができます。
今回は
①自宅に設置されたエージェントからAPEX Legendsのサーバーまで
→ エンタープライズエージェント
②自宅とは別の回線事業者のエージェントからAPEX Legendsのサーバーまで
→ クラウドエージェント
この二種類のエージェントを利用し、APEX Legendsへの通信品質監視を行いたいと思います。
まず最初に自宅にエンタープライズエージェントを設置してみようと思います。
エンタープライズエージェントは様々なインストール方法を選択することができますが、昔自宅の家電をIoT化した時に使っていたRaspberry Pi 3がころがっていたのでこれを使ってみようとしましたが、、、。
このようにThousandEyesではRaspberry Pi 4が対応しているようです、、、。
これはCPUアーキテクチャの問題かなと思いますが、面倒なので別の手段を模索しました。
次に考えたのがWindows 10 Proで使えるHyper-Vを利用する方法です。
今までWindows 10 ProのHyper-Vなるものを使ったことがなかったのですが、備忘録的にも方法を記載させていただきます。
Hyper-Vへのエージェントインストール方法
まず、ThousandEyesのダッシュボードより[Cloud & Enterprise Agents] → [Agent Settings] → [Add New Enterprise Agent]でHyper-V用のインストールファイル(zipファイルで圧縮されています)を入手します。
その後Hyper-V Managerより先ほどのインストールファイルを用いて仮想マシンをインポートします。
Hyper-Vを有効にするためにはBIOSでIntel CPUだとVirtualization Technology、AMD CPUだとAMD Virtualization(AMD-V, AMD SVM)を有効にする必要がありますのでご注意ください。(ここで少しハマりましたww)
このような画面でインストールがスタート。
Nを押してネットワーク設定をしてくださいとのガイド画面が出てきます。(NかMかわかりづらい)
ホスト名を設定し
DHCPを利用するかStaticでIPアドレスを割り当てるかを選択します。
IPv6設定を選択
その後DNSをどうするかといったことを聞かれ、環境通りに答えるとネットワークインターフェースの設定が始まります。
この間しばらく待ちます。
ここでトラブル発生で、そもそも仮想マシンがDHCPでIPアドレスを取得できないような設定になっていました。
VMWareのESXiとも同じで仮想スイッチがあり、その設定で接続ネットワークをどこにするか選べるんですね。
以上でやっと仮想アプライアンスにIPアドレスが割り振られました!
割り振られたIPアドレスに対しブラウザからログインをしろと書いてあるのでログインしてみます。
書いてあるとおりユーザー名は"admin"、パスワードは"welcome"がデフォルトになっているようです。
ログイン後新たなパスワードの設定を求められます。
Accout Group Tokenとやらを求められるのですが、これはThousandEyesのダッシュボード上から取得する必要があります。
場所は簡単で、先ほどのHyper-V用仮想マシンインストーラーのダウンロードページからトークンは取得できます。
最後に自動的にチェックが走り、インストール完了です!
しばらくするとThousandEyesのダッシュボード上にもエンタープライズエージェントを確認することができます。
テスト作成
エージェントのインストールが終了したらテストを作成します。
テストの内容は下の画像のような形で設定でき、”どれくらいの間隔でテストをするか” ”どの通信先に対してテストをするか”などといった項目を選択していきます。
APEX LegendsのサーバーについてはAPEX Legendsの運営を行っているEAのコミュニティに記載されていました。
https://answers.ea.com/t5/General-Discussion/Packet-loss-need-server-IP-for-ISP/td-p/10035564
また、コミュニティ内に記載されていたIPアドレスと実際のゲーム内で利用されているIPアドレスの整合性を確認するためにWiresharkでパケットキャプチャも実施し、確認を取りました。
このように、日本国内に配置されているサーバー6つに対してICMPを1分単位で送信し、ネットワーク品質を確認するテストを作成しました。
通信の送信元・送信先としては
自宅のエンタープライズエージェント → APEX Legends Server
NTTに配置されたクラウドエージェント → APEX Legends Server
KDDIに配置されたクラウドエージェント → APEX Legends Server
これら3種類でテストを実施します。
アラート作成
ここまでできれば、各エージェントがAPEX Legendsのサーバーに対して設定したテスト内容を元に定期的にテストを実行するようになります。
これらの情報はThousandEyesのダッシュボード上で確認することができます。
テストの詳細を確認するとテストを実行しているエージェントからサーバーまでの経路情報や各ホップ間の遅延も確認が可能です。
エージェントからサーバーまでの経路内で”どこ”に障害が発生して"どのくらい"遅延やパケットロスが発生しているのかといった情報がひと目でわかるようなGUIになっています。
これらのテスト結果でもし障害が発生していることがわかった場合、メールやAPIによる通知を行うことができます。
Alert Ruleというアラートのための条件を事前に設定することで、環境に合ったアラートを独自に設定することが可能なのですが、今回はテスト用ということで非常に厳しい条件でアラートを設定してみました。
・下記いずれかの条件に合致した場合アラートを出す
・パケットロスが3%以上
・遅延が5ms以上
パケットロスが○%以上になったら・・・
遅延が○ミリ秒以上になったら・・・
といった条件をAND, ORなどで設定することも可能で、複数のエージェントで監視を行っている場合、その中のエージェントの○○台が条件に合致したらといったような細かい条件設定を行うことも可能になっています。
現在Activeのアラートについては下のように表示されます。
API連携
ThousandEyesのAPI連携は非常に簡単です。
ThousandEyes Developer ReferenceというドキュメントにThousandEyesで利用できるAPIとその利用方法などが記載されています。
https://developer.thousandeyes.com/
今回はThousandEyesのアラートを取得し、WebexのBOT機能でスマートフォンなどに通知するような連携を行おうと思います。
アラートのAPIについては下記Referenceで説明されています。
https://developer.thousandeyes.com/v6/alerts/#/alerts
アラートを取得するのは非常に簡単で↓のようなコマンドで確認することができます。
$ curl https://api.thousandeyes.com/v6/alerts.json \
-u noreply@thousandeyes.com:g351mw5xqhvkmh1vq6zfm51c62wyzib2
noreply@thousandeyes.comはThousandEyesに登録されているユーザーID(メールアドレス)、コロン以下の文字列に関してはAPIのトークンになっており、ThousandEyesのダッシュボードより[Users and Roles] → [User API Tokens]より生成することが可能です。
実行すると↓のようなBodyが返ってきます。
{
"alert": [
{
"alertId": 2783,
"testId": 822,
"ruleId": 142,
"testName": "thousandeyes.com A",
"active": 1,
"ruleExpression": "((probDetail != \"\"))",
"dateStart": "2012-12-13 13:15:00",
"violationCount": 6,
"ruleName": "Default DNSSEC Alert Rule",
"createLinks": true,
"permalink": "https://app.thousandeyes.com/alerts/list?__a=75&alertId=2783",
"type": "DNSSEC",
"agents": [
{
"agentId": 12,
"agentName": "Hong Kong",
"dateStart": "2012-12-13 13:15:00",
"active": 1,
"metricsAtStart": "Error details: \"No DNSSEC public key(s) for thousandeyes.com A\"",
"metricsAtEnd": "Error details: \"No DNSSEC public key(s) for thousandeyes.com A\"",
"permalink": "https://app.thousandeyes.com/alerts/list?__a=75&alertId=2783&agentId=12"
},
...
],
"apiLinks": [...]
}
],
"pages": {
"current": 1
}
}
本当はjsonを成型しようと思ったのですが、今回はとりあえずそのままの状態でWebexに投稿するBOTプログラムを作成します。
Webexでのメッセージ生成のAPIは下記ドキュメントにまとめられています。
https://developer.webex.com/docs/api/v1/messages/create-a-message
メッセージ生成をBOTにやらせるためにはWebexのRoom IDやBOTのAccess Tokenの取得などをしなければならないのですが、様々な記事でまとめられているため今回は割愛させていただきます。
最終的に利用したスクリプトは下記になります。
今回はPythonで書いてみました。
#!/usr/bin/env python3
from webexteamssdk import WebexTeamsAPI
import requests
import json
BOT_ACCESS_TOKEN = "利用するBOTのAccess Token"
ROOM_ID = "投稿するRoomのID"
response = requests.get('https://api.thousandeyes.com/v6/alerts.json', auth=('ThousandEyesのID', 'ThousandEyesのAPIトークン'))
api = WebexTeamsAPI(access_token=BOT_ACCESS_TOKEN)
messages = api.messages.create(roomId=ROOM_ID, text=response.text)
print(messages)
実行結果としては↓のような形になり、WebexにBOTからアラート内容の投稿が行われます。
無事アラート内容を取得できていることがわかります。
{
"alert": [
{
"active": 1,
"agents": [
{
"active": 1,
"metricsAtStart": "Packet Loss: 100%",
"metricsAtEnd": "",
"agentId": 390046,
"agentName": "Windows10",
"dateStart": "2021-12-20 16:25:00",
"permalink": "https://app.thousandeyes.com/alerts/list/?__a=213626&alertId=101408959&agentId=390046"
}
],
"alertId": 101408959,
"dateStart": "2021-12-20 16:25:00",
"apiLinks": [
{
"rel": "related",
"href": "https://api.thousandeyes.com/v6/tests/2493589"
},
{
"rel": "data",
"href": "https://api.thousandeyes.com/v6/net/metrics/2493589"
}
],
"permalink": "https://app.thousandeyes.com/alerts/list/?__a=213626&alertId=101408959",
"ruleExpression": "((loss >= 3%) || (Auto(avgLatency >= 5 ms)))",
"ruleId": 1839939,
"ruleName": "APEX Legends",
"testId": 2493589,
"testName": "APEX Legends Tokyo-GCE1",
"violationCount": 1,
"type": "End-to-End (Server)"
},
<後略>
最後に
jsonの成型などまだまだ改善の余地があるのですが、ThousandEyesのAPI自体は非常に多く用意されており、まだまだ活用の可能性は多いと思っています。
前々からやりたいと思っていた記事の内容として「Network as a Trap - ネットワーク機器で狩猟してみた」という記事を書こうと思っていたのですが、コロナの影響で実現できずで、来年こそは実現したいと考えています、、、。