dockerで機械学習(20) with anaconda(20)「Data Science in the Cloud with Microsoft Azure Machine Learning and R」Stephen Elston 著

1.すぐに利用したい方へ(as soon as)

「Data Science in the Cloud with Microsoft Azure Machine Learning and R」Stephen Elston 著

Azureとうまく接続できていません。未完です。

docker

dockerを導入し、Windows, Macではdockerを起動しておいてください。
Windowsでは、BiosでIntel Virtualizationをenableにしないとdockerが起動しない場合があります。
また、セキュリティの警告などが出ることがあります。

dockerで実行しようとしても、Microsoft Azureにログインしないと作業が先に進まない。

dockerで実行する方法は、順次調査予定。

docker pull and run

$ docker pull kaizenjapan/anaconda-alice

$ docker run -it -p 8888:8888 kaizenjapan/anaconda-alice /bin/bash

以下のshell sessionでは
(base) root@f19e2f06eabb:/#は入力促進記号(comman prompt)です。実際には数字の部分が違うかもしれません。この行の#の右側を入力してください。
それ以外の行は出力です。出力にエラー、違いがあれば、コメント欄などでご連絡くださると幸いです。
それぞれの章のフォルダに移動します。

dockerの中と、dockerを起動したOSのシェルとが表示が似ている場合には、どちらで捜査しているか間違えることがあります。dockerの入力促進記号(comman prompt)に気をつけてください。

ファイル共有または複写

dockerとdockerを起動したOSでは、ファイル共有をするか、ファイル複写するかして、生成したファイルをブラウザ等表示させてください。参考文献欄にやり方のURLを記載しています。

複写の場合は、dockerを起動したOS側コマンドを実行しました。お使いのdockerの番号で置き換えてください。複写したファイルをブラウザで表示し内容確認しました。

(base) root@d8857ae56e69:/# git clone https://github.com/MicrosoftLearning/20774_Perform-Cloud-Data-Science-with-Azure-Machine-Learning
Cloning into '20774_Perform-Cloud-Data-Science-with-Azure-Machine-Learning'...
remote: Enumerating objects: 111, done.
remote: Total 111 (delta 0), reused 0 (delta 0), pack-reused 111
Receiving objects: 100% (111/111), 176.80 KiB | 0 bytes/s, done.
Resolving deltas: 100% (68/68), done.
(base) root@d8857ae56e69:/# cd 20774_Perform-Cloud-Data-Science-with-Azure-Machine-Learning/
(base) root@d8857ae56e69:/20774_Perform-Cloud-Data-Science-with-Azure-Machine-Learning# ls
20774AGitHubUserGuideforMCTs.md  Allfiles  Instructions  LICENSE  README.md
(base) root@d8857ae56e69:/20774_Perform-Cloud-Data-Science-with-Azure-Machine-Learning# cd Instructions/
(base) root@d8857ae56e69:/20774_Perform-Cloud-Data-Science-with-Azure-Machine-Learning/Instructions# ls
20774A_LAB_01.md  20774A_LAB_05.md  20774A_LAB_09.md  20774A_LAB_13.md	   20774A_LAB_AK_04.md	20774A_LAB_AK_08.md  20774A_LAB_AK_12.md
20774A_LAB_02.md  20774A_LAB_06.md  20774A_LAB_10.md  20774A_LAB_AK_01.md  20774A_LAB_AK_05.md	20774A_LAB_AK_09.md  20774A_LAB_AK_13.md
20774A_LAB_03.md  20774A_LAB_07.md  20774A_LAB_11.md  20774A_LAB_AK_02.md  20774A_LAB_AK_06.md	20774A_LAB_AK_10.md
20774A_LAB_04.md  20774A_LAB_08.md  20774A_LAB_12.md  20774A_LAB_AK_03.md  20774A_LAB_AK_07.md	20774A_LAB_AK_11.md

2. dockerを自力で構築する方へ

ここから下は、上記のpullしていただいたdockerをどういう方針で、どういう手順で作ったかを記録します。
上記のdockerを利用する上での参考資料です。本の続きを実行する上では必要ありません。
自力でdocker/anacondaを構築する場合の手順になります。
dockerfileを作る方法ではありません。ごめんなさい。

docker

ubuntu, debianなどのLinuxを、linux, windows, mac osから共通に利用できる仕組み。
利用するOSの設定を変更せずに利用できるのがよい。
同じ仕様で、大量の人が利用することができる。
ソフトウェアの開発元が公式に対応しているものと、利用者が便利に仕立てたものの両方が利用可能である。今回は、公式に配布しているものを、自分で仕立てて、他の人にも利用できるようにする。

python

DeepLearningの実習をPhthonで行って来た。
pythonを使う理由は、多くの機械学習の仕組みがpythonで利用できることと、Rなどの統計解析の仕組みもpythonから容易に利用できることがある。

anaconda

pythonには、2と３という版の違いと、配布方法の違いなどがある。
Anacondaでpython3をこの１年半利用してきた。
Anacondaを利用した理由は、統計解析のライブラリと、JupyterNotebookが初めから入っているからである。
##docker公式配布

ubuntu, debianなどのOSの公式配布,gcc, anacondaなどの言語の公式配布などがある。
これらを利用し、docker-hubに登録することにより、公式配布の質の確認と、変更権を含む幅広い情報の共有ができる。dockerが公式配布するものではなく、それぞれのソフト提供者の公式配布という意味。
###docker pull

docker公式配布の利用は、URLからpullすることで実現する。
###docker Anaconda

anacondaが公式配布しているものを利用。

$  docker pull continuumio/anaconda3
Using default tag: latest
latest: Pulling from continuumio/anaconda3
Digest: sha256:e07b9ca98ac1eeb1179dbf0e0bbcebd87701f8654878d6d8ce164d71746964d1
Status: Image is up to date for continuumio/anaconda3:latest
OgawaKiyoshi-no-MacBook-Pro:docker-toppers ogawakiyoshi$ docker run -it continuumio/anaconda3 /bin/bash

##apt-get

(base) root@f19e2f06eabb:/# apt-get update

(base) root@f19e2f06eabb:/# apt-get install -y procps

(base) root@f19e2f06eabb:/# apt-get install -y vim

(base) root@f19e2f06eabb:/# apt-get install -y apt-utils

##ソース git

(base) root@f19e2f06eabb:/# git clone https://github.com/MicrosoftLearning/20774_Perform-Cloud-Data-Science-with-Azure-Machine-Learning

pip

(base) root@f19e2f06eabb:/deep-learning-from-scratch-2/ch01# pip install --upgrade pip
Collecting pip
  Downloading https://files.pythonhosted.org/packages/5f/25/e52d3f31441505a5f3af41213346e5b6c221c9e086a166f3703d2ddaf940/pip-18.0-py2.py3-none-any.whl (1.3MB)
    100% |████████████████████████████████| 1.3MB 2.0MB/s 
distributed 1.21.8 requires msgpack, which is not installed.
Installing collected packages: pip
  Found existing installation: pip 10.0.1
    Uninstalling pip-10.0.1:
      Successfully uninstalled pip-10.0.1
Successfully installed pip-18.0

参考資料(reference)

dockerで機械学習(python:anaconda)「直感Deep Learning」Antonio Gulli、Sujit Pal　第1章,第2章
https://qiita.com/kaizen_nagoya/items/483ae708c71c88419c32

OpenCVをPythonで動かそうとしてlibGL.soが無いって言われたけど解決した。
https://qiita.com/toshitanian/items/5da24c0c0bd473d514c8

サーバサイドにおけるmatplotlibによる作図Tips
https://qiita.com/TomokIshii/items/3a26ee4453f535a69e9e

Dockerでホストとコンテナ間でのファイルコピー
https://qiita.com/gologo13/items/7e4e404af80377b48fd5

Docker for Mac でファイル共有を利用する
https://qiita.com/seijimomoto/items/1992d68de8baa7e29bb5

「名古屋のIoTは名古屋のOSで」Dockerをどっかーらどうやって使えばいいんでしょう。TOPPERS/FMP on RaspberryPi with Macintosh編 ５つの関門
https://qiita.com/kaizen_nagoya/items/9c46c6da8ceb64d2d7af

64bitCPUへの道 and/or 64歳の決意
https://qiita.com/kaizen_nagoya/items/cfb5ffa24ded23ab3f60

ゼロから作るDeepLearning２自然言語処理編　読書会の進め方（例）
https://qiita.com/kaizen_nagoya/items/025eb3f701b36209302e

文書履歴(document history)

ver. 0.10 初稿 20181014
最後までおよみいただきありがとうございました。

いいね　💚、フォローをお願いします。
Thank you very much for reading to the last sentence.

Please press the like icon 💚　and follow me for your happy life.

最後までおよみいただきありがとうございました。

いいね　💚、フォローをお願いします。

Thank you very much for reading to the last sentence.

Please press the like icon 💚　and follow me for your happy life.