More than 5 years have passed since last update.

「Amazon EMR クラスターでホストされているウェブサイトの表示」(とSparkのデバッグ)

Last updated at 2015-03-15Posted at 2015-03-15

はじめに

EMR上で、SparkをYarn-clusterで動かしていると、「Exception in thread "main" org.apache.spark.SparkException: Application finished with failed status...」などと抽象的なエラーが出て、苛立つことがあるかと思います。

まあ、Masterノード上では「なんかエラー吐いた」ってことしかわからなくて、詳細は実際にそれ実行したノードで見てねって話なんですけど。

その辺の細かい情報、Yarn上で実行したアプリケーションのstdout, stderrなどは、EMRクラスタ上のMasterノードにホストされている、HadoopのResource Manegerからリンクをたどっていけば見れるわけですが、lynxでターミナル上でそれを見るのは正直苦行ですね。。。

あと、Gangliaというクラスタへの負荷状況が見れるアプリケーションがEMRの作成時に追加インストール可能ですが、これを確認するのはlynxではまあ無理です。

ということで、普通のWebブラウザで見たいわけですが、それには一手間必要です。具体的には以下のドキュメント。

Amazon EMR クラスターでホストされているウェブサイトの表示

ローカルマシンのSSHクライアントを、ポートフォワードするモード(Socks: port8157)で待ち受けしておく
ローカルマシンのブラウザから、FoxyProxyを使って、EMRクラスタへのWeb接続要求をlocalhostのSocks: port8157へ送る
port8157にWeb接続要求が来たら、「ローカルマシン」と「EMRクラスタ」の間を「SSHトンネリング(ポートフォワード)」でつないで、要求をフォワードする

すると、EMRクラスタのWeb UI見れますよって話です。

以下では、主にWindowsでの設定手順を書いておきます。

Steps

ブラウザの設定

FoxyProxyのインストール

まあブラウザの設定でsocksを設定してもいいのですが、ここではAWSのチュートリアルに従って、Firefoxのアドオン「FoxyProxy」を使います。

Firefoxで、以下からインストール
FoxyProxy

foxyproxy-settings.xmlを作成

AWSのドキュメント「オプション 2、パート 2: マスターノードでホストされるウェブサイトを表示するようにプロキシを設定する」に、EMRクラスタへの接続に便利な設定が乗っているので、これをインポートすることでFoxyProxyの設定をします。

foxyproxy-settings.xmlというファイルをUTF8で作って、中身を以下のようにします。

foxyproxy-settings.xml

<?xml version="1.0" encoding="UTF-8"?>
<foxyproxy>
   <proxies>
      <proxy name="emr-socks-proxy" id="2322596116" notes="" fromSubscription="false" enabled="true" mode="manual" selectedTabIndex="2" lastresort="false" animatedIcons="true" includeInCycle="true" color="#0055E5" proxyDNS="true" noInternalIPs="false" autoconfMode="pac" clearCacheBeforeUse="false" disableCache="false" clearCookiesBeforeUse="false" rejectCookies="false">
         <matches>
            <match enabled="true" name="*ec2*.amazonaws.com*" pattern="*ec2*.amazonaws.com*" isRegEx="false" isBlackList="false" isMultiLine="false" caseSensitive="false" fromSubscription="false" />
            <match enabled="true" name="*ec2*.compute*" pattern="*ec2*.compute*" isRegEx="false" isBlackList="false" isMultiLine="false" caseSensitive="false" fromSubscription="false" />
            <match enabled="true" name="10.*" pattern="http://10.*" isRegEx="false" isBlackList="false" isMultiLine="false" caseSensitive="false" fromSubscription="false" />
            <match enabled="true" name="*10*.amazonaws.com*" pattern="*10*.amazonaws.com*" isRegEx="false" isBlackList="false" isMultiLine="false" caseSensitive="false" fromSubscription="false" />
            <match enabled="true" name="*10*.compute*" pattern="*10*.compute*" isRegEx="false" isBlackList="false" isMultiLine="false" caseSensitive="false" fromSubscription="false" />
	  </matches>
         <manualconf host="localhost" port="8157" socksversion="5" isSocks="true" username="" password="" domain="" />
      </proxy>
   </proxies>
</foxyproxy>