AWSのGPUインスタンスでCIFAR-10の分類

AWSでGPUインスタンスを作る

ここを参考にした。場所はus-eastが安いがレイテンシが結構ある。
http://www.chino-js.com/ja/tech/rbm-theano-gpu-aws/

cuDNNのインストール

ここを参考にした。
http://qiita.com/pyr_revs/items/e1545e6f464b712517ed#chainer-with-cudnn
現時点では、cudnn-7.5-linux-x64-v5.0-ga.tgzがよさそう。
5.1以上はKerasがサポートしてないというメッセージが出る。
Cudaのバージョンはnvcc -Vで確認できた。

必要そうなものをインストール

anacondaとkerasを入れる。
参考：データサイエンティストを目指す人のpython環境構築 2016 - Qiita

sudo yum -y install git
git clone https://github.com/yyuu/pyenv.git ~/.pyenv
echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bashrc
echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bashrc
echo 'eval "$(pyenv init -)"' >> ~/.bashrc
source ~/.bashrc

pyenv install anaconda3-4.0.0
pyenv rehash
pyenv global anaconda3-4.0.0
echo 'export PATH="$PYENV_ROOT/versions/anaconda3-2.5.0/bin/:$PATH"' >> ~/.bashrc
source ~/.bashrc
conda update conda
conda install seaborn
pip install keras

スクリプトと計算結果

この論文のAll-CNN-Cをやってみた http://arxiv.org/pdf/1412.6806.pdf

Notebookはこちら、
https://gist.github.com/juntaki/e50200c82d6f3a5143e7b206a0ab2451

g2.2xlargeで10エポックで30分程度でした。
結果は81%しか出ていない（論文では90%以上出ている）、もうちょっと試行錯誤が必要そう。
追記：Dropoutとdata augmentationを追加して、87%まで出せた。時間の都合で打ち切ったがもうちょっと回せばだいたい論文と同じくらいの結果になったかも。