Edited at

ネットワークエンジニアが楽しく障害対応するための技術


はじめに

この記事はシスコの同志による Cisco Systems Japan Advent Calendar 2018 の 13 日目として投稿されました。

このネタは、わたしが自宅で使うために考えました。


TL;DR


  • ルータやスイッチの設定変更を行うと ネットワーク機器が自動的に通信の正常性を確認します

  • 誰かから「なんかネットワークの調子悪くない?」と刺される前に、ネットワークの障害をお知らせします


    • メールでアラートを送るなんて生易しいもんじゃない、緊迫感のある BGM をスピーカーから流します


      • テンションが上ります

      • 「いま障害対応中なんだ、そっとしておこう」という周囲の理解が得られる可能性があります





  • 楽しくトラブルシューティングできます!


デモ

このデモでは(オペミスを想定して)インターネット行きのインターフェイスを shutdown します。

画面右下に見えている灰色の物体(スピーカー)は Google Home mini です。クリックして再生してください(必ず音が流れる環境で再生してください

なお、権利上の問題があるので、障害発生時の音は差し替えました🤐

Future Gladiator by Kevin MacLeod is licensed under a Creative Commons Attribution license (https://creativecommons.org/licenses/by/4.0/)


フロー


  1. 人間がネットワーク装置に対して設定変更を行います


  2. ネットワーク装置は自分自身の設定が変更されたことに気づいて、装置内で Python スクリプトを実行します


  3. Python スクリプトは特定の Web サイトへの到達性を確認します


  4. 到達性に問題があると Google Home のスピーカーを使って障害発生をお知らせします


  5. 楽しくトラブルシューティングしましょう



背景にある技術


EEM (Embedded Event Manager)

EEM はシスコのルータやスイッチのオペレーティングシステム IOS, IOS-XE に搭載されている機能の 1 つです。EEM を使うと管理者は「〜が起こったら〜を実行する」という判断や処理の自動化を装置に実装することができます。非常にシンプルな機能ですが、以下のようなメリットが挙げられます。


  • 外部のサーバに頼らず、ネットワーク装置だけで判断→処理を完結できる (On-Box; Edge Computing)

  • ルーティングプロトコルなどで標準化された動作を逸脱するようなカスタム機能を柔軟に実装できる (Flexible)


    • 例)タイマーに頼らないルーティング制御、冗長系への切り替え



  • 「ネットワーク特有」のイベントをトリガに設定することができる (Network Programmability)


    • 例)ルーティングテーブルやインターフェイスカウンタ



EEM では一般的に「〜が起こったら」の部分を Event Detector, 「〜をする」の部分を Action と表現し、以下のような組み合わせが可能です。

この記事では


  • Event Detector: Syslog で SYS-5-CONFIG_I を検出したら

  • Action: Python スクリプトを実行する

という組み合わせによって「装置自身が設定の変更を検知して、Python スクリプトを実行する」自動化を実現しています。


Guest Shell, On-box Python

Guest Shell はシスコのルータやスイッチのオペレーティングシステム IOS-XE 16.5 からサポートされた機能の 1 つで、LXC (Linux Container) を使うことでユーザが自由に使える Linux 環境を提供する機能です。

Cisco IOS XE Everest 16.6.x プログラマビリティ コンフィギュレーション ガイド:


ゲスト シェルは、仮想化された Linux ベースの環境であり、Cisco デバイスの自動制御と管理のための Python アプリケーションを含む、カスタム Linux アプリケーションを実行するように設計されています。ゲスト シェルを使用して、サードパーティ製 Linux アプリケーションをインストール、更新、および操作することもできます。


機種や搭載するメモリ量によって Guest Shell 機能のサポート有無は異なりますが、Cisco ISR 1111X のような拠点向け小型ルータでもサポートされています。

Router#show version | i IOS XE

Cisco IOS XE Software, Version 16.10.01a
Router#guestshell run bash
[guestshell@guestshell ~]$ uname -a
Linux guestshell 4.4.155 #1 SMP Wed Oct 3 17:09:19 PDT 2018 x86_64 x86_64 x86_64 GNU/Linux
[guestshell@guestshell ~]$ dohost "sh ver | i IOS XE"

Cisco IOS XE Software, Version 16.10.01a

このコンテナ環境には Python の実行環境が含まれており、パッケージマネージャ pip すら用意されています。

[guestshell@guestshell ~]$ pip install requests

この記事では、Guest Shell を使うことで「Web サイトへの到達性を確認し、問題があれば発報する Python スクリプトをルータ上で実行する」ことを実現しています。


Google Home as a Speaker

この記事では、障害発生を管理者に知らせるために「スピーカーから音を鳴らす」ことに挑戦します。一番テンションが上がるはずです。ところで、ネットワークに繋がっているスピーカーといえば スマートスピーカー が思いつきます。

一般的なスマートスピーカーは、ユーザの発話をきっかけとしてクラウドと連携しながら処理を行います。具体的には


  • ユーザが「ねぇ〇〇、今日の天気は?」と発話する

  • 「ねぇ〇〇」(ウェイクワード)をトリガとしてユーザの音声を保存し、クラウドにアップロードする

  • クラウド上で音声認識を行い、ユーザに対する返答を音声合成する

  • クラウドは音声データをスマートスピーカーに返し、スピーカーから「今日の天気は晴れです」と再生される

このような流れでしょう。このようにクラウドに依存したアーキテクチャは、スマートスピーカーの単価を圧倒的に削減しつつ、柔軟に新しい機能やサービスを提供できる優れた仕組みです。

しかし今回のトピックと組み合わせることを考えると、いくつかの問題があります。


  • ネットワークに障害が起こっているので、スマートスピーカーはクラウドと連携できない可能性がある


    • 音声合成をクラウドに任せることができない



  • ユーザの発話をきっかけにしたくない(スマートスピーカーが自発的に発声してほしい)


    • 「ねぇ〇〇、ネットワークに障害はある?」は訊きたくないですね :P



調べてみると、Google Home (mini) は動画や音声をストリーミング再生する Chromecast のサブセットを含んでいるため、クラウドに頼らずに、ネットワーク接続されたスピーカーとして使うことができるそうです。そのため、この記事では Google Home (mini) を採用し、スピーカーから鳴らす音声ファイル (mp3) を予め用意しておきます。障害発生時には Google Home (mini) を Python スクリプトで制御し、音声ファイルをルータからストリーミング再生させます。


まとめ


  • EEM を使うことで「〜が起こったら〜を実行する」という判断や処理の自動化を簡単に実装することができます

  • Guest Shell を使うことで、ルータやスイッチの内部で Python スクリプトを実行することができます

  • 以上の 2 つを組み合わせると、ネットワーク装置のイベントに応じて非同期的に汎用的な Python スクリプトを実行することができます


    • これまでに考えられなかったような新しい機能や付加価値につながるかもしれません!



  • BGM の力は偉大です


参考


設定方法やソースコード

この記事で作成したプログラムは GitHub で公開しています。

ここをクリックすると導入手順の例が表示されます

環境

Router#sh ver | i IOS XE

Cisco IOS XE Software, Version 16.10.01a

Guest Shell 及びネットワークの設定

Router#conf t

Enter configuration commands, one per line. End with CNTL/Z.
Router(config)#iox
Router(config)#app-hosting appid guestshell
Router(config-app-hosting)#app-vnic gateway0 virtualportgroup 0 guest-interface 0
Router(config-app-hosting-gateway0)#guest-ipaddress 192.168.35.2 netmask 255.255.255.0
Router(config-app-hosting-gateway0)#app-default-gateway 192.168.35.1 guest-interface 0
Router(config-app-hosting)#name-server0 8.8.8.8
Router(config-app-hosting)#exit
Router(config)#int virtualportgroup 0
Router(config-if)#ip address 192.168.35.1 255.255.255.0
Router(config-if)#ip nat inside
Router(config)#int gi 1
Router(config-if)#description Outside (Internet)
Router(config-if)#ip address dhcp
Router(config-if)#ip nat outside
Router(config-if)#no shutdown
Router(config)#int gi 2
Router(config-if)#description Inside (LAN)
Router(config-if)#ip address 192.168.101.1 255.255.255.0
Router(config-if)#ip nat outside
Router(config-if)#no shutdown
Router(config)#ip access-list extended ACL_ALLOWNAT2LAN
Router(config-ext-nacl)#permit ip 192.168.35.0 0.0.0.255 192.168.101.0 0.0.0.255
Router(config-ext-nacl)#ip access-list extended ACL_ALLOWNAT2WAN
Router(config-ext-nacl)#permit ip 192.168.35.0 0.0.0.255 any
Router(config-ext-nacl)#exit
Router(config)#ip nat inside source list ACL_ALLOWNAT2LAN interface GigabitEthernet2 overload
Router(config)#ip nat inside source list ACL_ALLOWNAT2WAN interface GigabitEthernet1 overload
Router(config)#ip nat inside source static tcp 192.168.35.2 45114 192.168.101.1 45114 extendable
Router(config)#end

Guest Shell の有効化

Router#guestshell enable

Interface will be selected if configured in app-hosting
Please wait for completion
guestshell installed successfully
Current state is: DEPLOYED
guestshell activated successfully
Current state is: ACTIVATED
guestshell started successfully
Current state is: RUNNING
Guestshell enabled successfully

Guest Shell 内に Python スクリプトを設置

Router#guestshell

[guestshell@guestshell ~]$ sudo yum install -y unzip
[guestshell@guestshell ~]$ wget -O networkchecker-master.zip https://codeload.github.com/mochipon/networkchecker/zip/master
[guestshell@guestshell ~]$ unzip networkchecker-master.zip

EEM の設定

Router#conf t

Enter configuration commands, one per line. End with CNTL/Z.
Router(config)#event manager applet config-check
Router(config-applet)# event syslog pattern "SYS-5-CONFIG_I"
Router(config-applet)# action 1.0 cli command "enable"
Router(config-applet)# action 2.0 cli command "guestshell run python /home/guestshell/networkchecker-master/conf_check.py --syslog --chromecast"
Router(config-applet)# action 3.0 regexp "ERROR" "$_cli_result"
Router(config-applet)# action 4.0 if $_regexp_result eq "1"
Router(config-applet)# action 5.0 syslog msg "$_cli_result"
Router(config-applet)# action 6.0 end
Router(config-applet)#end
Router#



EEM


Guest Shell, On-box Python


Google Home as a Speaker


最後に


  • こういうタイトルの記事を書いてみたかった

  • 去年のアドベントカレンダーではAmazon Echo を使う記事を書いたので、今年は Google Home を使いたかった


免責事項

本サイトおよび対応するコメントにおいて表明される意見は、投稿者本人の個人的意見であり、シスコの意見ではありません。本サイトの内容は、情報の提供のみを目的として掲載されており、シスコや他の関係者による推奨や表明を目的としたものではありません。各利用者は、本Webサイトへの掲載により、投稿、リンクその他の方法でアップロードした全ての情報の内容に対して全責任を負い、本 Web サイトの利用に関するあらゆる責任からシスコを免責することに同意したものとします。