分散して学習時間を減らすのは熱いと感じ勉強開始。
途中までやって見たが、結局bigdlを勉強しないといけない。
yahooの出したspark on tfの方がいいのではないかという気もした。
bigdlを動かそうとしてもエラーも出ていて
バージョンなどの問題もあるのかもしれない。

sparkのインストール

JDKのインストール

sudo apt-get install -y openjdk-8-jdk

/usr/local/spark を SPARK_HOME とする。任意のバージョンを選択。
http://ftp.riken.jp/net/apache/spark/

wget http://ftp.riken.jp/net/apache/spark/spark-1.6.2/spark-1.6.2-bin-hadoop2.6.tgz
$ tar zxvf spark-1.6.2-bin-hadoop2.6.tgz
$ sudo mv spark-1.6.2-bin-hadoop2.6 /usr/local/
$ sudo ln -s /usr/local/spark-1.6.2-bin-hadoop2.6 /usr/local/spark

.bashrc に以下を追記

export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin

ログレベルの設定

cd $SPARK_HOME/conf
cp log4j.properties.template log4j.properties

log4j.rootCategory=INFO, console
↓
log4j.rootCategory=WARN, console #ログが大量に出るのを防ぐ

spark-shell実行

$ spark-shell --master local[*]
(中略)
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 1.6.1
      /_/

Using Scala version 2.10.5 (OpenJDK 64-Bit Server VM, Java 1.8.0_91)
Type in expressions to have them evaluated.
Type :help for more information.
(中略)

scala> val textFile = sc.textFile("/usr/local/spark/README.md")
textFile: org.apache.spark.rdd.RDD[String] = /usr/local/spark/README.md MapPartitionsRDD[1] at textFile at <console>:27

scala> val wordCounts = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey((a, b) => a + b)
wordCounts: org.apache.spark.rdd.RDD[(String, Int)] = ShuffledRDD[4] at reduceByKey at <console>:29

scala> wordCounts.collect()
res0: Array[(String, Int)] = Array((package,1), (For,2), (Programs,1), (processing.,1), ...(中略)...,  (>>>,1), (programming,1), (T...
scala>

基本情報

BigDLとは

BigDLはApache Sparkのための分散型の深層学習ライブラリです。 BigDLでは、既存のSparkまたはHadoopクラスタの上で直接実行できる標準のSparkプログラムとして、深層学習アプリケーションを作成できます。

豊かな深層学習支援。

TorchをモデルにしたBigDLは、数値計算（Tensor経由）や高レベルのニューラルネットワークを含む深層学習を包括的にサポートしています。さらに、ユーザーはBigDLを使用してSparkプログラムに事前にトレーニングされたCaffeまたはTorchモデルを読み込むことができます。

非常に高いパフォーマンス。

高性能を実現するために、BigDLは各SparkタスクでインテルMKLとマルチスレッドプログラミングを使用します。その結果、単一ノードXeon（すなわち、メインストリームGPUに匹敵する）上のすぐに使えるオープンソースのCaffe、TorchまたはTensorFlowよりも数桁高速です。

効率的なスケールアウト。

BigDriveは、Apache Spark（高速分散データ処理フレームワーク）を活用し、同期SGDを効率的に実装し、Sparkですべての通信を削減することで、「Big Data scale」でデータ分析を効率的にスケールアウトすることができます。

なぜBigDL？

次の場合、BigDLを使って深層学習プログラムを書くことができます：

データが格納されているBig Data（Hadoop / Spark）クラスタ（HDFS、HBase、Hiveなど）上の大量のデータを分析する必要があります。

Big Data（Spark）プログラムやワークフローに深層学習機能（トレーニングまたは予測のいずれか）を追加したいと考えています。

既存のHadoop / Sparkクラスタを活用して、ETL、データウェアハウス、フィーチャ・エンジニアリング、古典的な機械学習、グラフ解析などの他のワークロードと動的に共有できるディープ・ラーニング・アプリケーションを実行する必要があります。

BigDLの使い方

BigDLをインストールしてビルドする方法（LinuxとmacOSの両方）を学ぶには、ビルドページをチェックしてください
BigDLプログラム（ローカルJavaプログラムまたはSparkプログラムのいずれか）を実行する方法については、「Getting Started」ページを参照してください
EC2でBigDLを試すには、EC2で実行するページをチェックしてください
BigDLを使って数分で実用的なニューラルネットワークを作成する方法を知るには、チュートリアルページ
詳細については、ドキュメントページ（チュートリアル、サンプル、プログラミングガイドなどを参照）

サポート

BigDL Googleグループに参加する（またはメールリストに登録する）ことで、BigDLに関するその他の質問や議論ができます
問題ページにバグレポートや機能リクエストを投稿できます

BigDLのインストール

BigDLプログラムを実行する前に

BigDLプログラムを実行する前に、まず適切な環境変数を設定する必要があります。

環境変数の設定。

高性能を実現するために、BigDLはIntel MKLとマルチスレッドプログラミングを使用します。したがって、PATH_To_BigDL / scripts / bigdl.shで提供されているスクリプトを次のように実行して、環境変数を最初に設定する必要があります。

git clone https://github.com/intel-analytics/BigDL.git
cd BigDL
source scripts/bigdl.sh

また、PATH_To_BigDL / scripts / bigdl.shスクリプトを使用してBigDLプログラムを起動することもできます。以下の詳細を参照してください。

ビルド

bash make-dist.sh

インタラクティブスパークシェル

対話型のSparkシェルを使用して、SparkプログラムとしてBigDLコードを簡単に試すことができます：

source scripts/bigdl.sh
SPARK_HOME/bin/spark-shell --jars bigdl-0.1.0-SNAPSHOT-jar-with-dependencies.jar

# こんなのが表示される
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 1.6.0
      /_/

Using Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_79)
Spark context available as sc.
scala> 

# これらが入力できればOK
import com.intel.analytics.bigdl.tensor.Tensor
Tensor[Double](2,2).fill(1.0)

参考

http://qiita.com/chrysocome/items/0680a537838233fce323
https://github.com/intel-analytics/BigDL/wiki/Getting-Started