Data Scientistのための環境
よりよい環境を基本Open Sourceで環境構築する
docker
すべてDockerで提供する
Dockerの利点
- PCのOSに依存しない処理が可能
- Ubuntu/Debianの安定したカーネルが利用できる
- GCC/GNU, clang/LLVMのコンパイラが利用できる。
なぜdockerで機械学習するか 書籍・ソース一覧作成中 (目標100)
Python, Rをはじめとして100冊の本の環境を作成中。
50をようやく超え、この記事を整理しはじめた。
Python
場合によって、Python2, python3を別のdockerで起動できる。
言語処理100本ノックをdockerで。python覚えるのに最適。
Anaconda
Anacondaの公式リリースをdocker で利用する
$ docker run -v /Users/administrator/Downloads/nakamori/kaizen:/home/kaizen -p 8888:8888 -it continuumio/anaconda3 /bin/bash
-v は host:docker で共有できる。hostにあるファイルは別のフォルダに複写すればdocker hubに登録しても再利用できる。
-p は、ブラウザなど通信をする場合に指定する。
-it は、shellを利用する場合に指定し、shell名を最後に記載する。
continuumio/anaconda3は、anacondaの公式配布。
2G近くファイルを占めるのが要注意点。
conda
conda updateを利用する。
tensorflowなどはcondaが便利。
Windows(M.S.)にPython3(Anaconda3)を導入する（7つの罠）
Windows(M.S.) にAnaconda3(python3)を 2019年版
pip
condaでは揃っていないソフトはpipで導入
機械学習自動化
Data Robotという有償のサービスがある。
機械学習を自動化するプラットフォームDataRobot
機械学習の自動化がAIの民主化を加速する
https://www.datarobot.com/jp/
docker(18) なぜdockerで機械学習するか 書籍・ソース一覧作成中 (目標100)
https://qiita.com/kaizen_nagoya/items/ddd12477544bf5ba85e2
参考文献
データサイエンティストのためのDockerfileを作ります（とりあえず完成）
https://qiita.com/richi40/items/19d653c9c52d5eac4598
データサイエンティストを目指す人のpython環境構築 2016
https://qiita.com/y__sama/items/5b62d31cb7e6ed50f02c
当時はdockerがまだMac, Windowsで普及していなかったため。
自己参照(self reference)
プログラマにも読んでほしい「QC検定にも役立つ！QCべからず集」
データサイエンティストの気づき「勉強だけして仕事に役立てない人。大嫌い！」。『それ自分かも ? 』ってなった。
データサイエンティスト志望者の５つの門
解析と分析の違い
プログラマのための化学入門
仮説（195）与件解析(data analysis)入門
転職(1) なぜ経済学徒を辞め、計算機屋になったか（経済学部入学前・入学後・卒業後対応）
仮説(95) 確率論及統計論
仮説(93) 科学三分類・四分類・五分類と算譜(program)
安全（８）HAZOPとTRIZを適用した新製品開発とその安全分析
安全（5）機械の制御システムの設計における安全分析の事例報告
https://qiita.com/kaizen_nagoya/items/55c6701f81a3d2742796
立体交差と踏切の安全分析に基づきIoT/AIでできること。
https://qiita.com/kaizen_nagoya/items/a3bc0a6f590727430d1f
安全（0）安全工学シンポジウムに向けて
安全（１５）分析手法
言語と像
分析の基礎
#文書履歴(document history)
ver. 0.10 初稿 20181024 夕
ver. 0.11 追記 20181024 夜
ver. 0.12 参考文献、標題追記 20190622
ver. 0.13 docker anaconda 追記 20190623
ver. 0.14 Data Robot Advent Calendar 2020 参加記念 20201208
ver. 0.15 ありがとう追記 20230525
最後までおよみいただきありがとうございました。
いいね 💚、フォローをお願いします。
Thank you very much for reading to the last sentence.
Please press the like icon 💚 and follow me for your happy life.
