Data Scientistのための環境
よりよい環境を基本Open Sourceで環境構築する
docker
すべてDockerで提供する
Dockerの利点
- PCのOSに依存しない処理が可能
- Ubuntu/Debianの安定したカーネルが利用できる
- GCC/GNU, clang/LLVMのコンパイラが利用できる。
なぜdockerで機械学習するか 書籍・ソース一覧作成中 (目標100)
https://qiita.com/kaizen_nagoya/items/ddd12477544bf5ba85e2
Python, Rをはじめとして100冊の本の環境を作成中。
50をようやく超え、この記事を整理しはじめた。
Python
場合によって、Python2, python3を別のdockerで起動できる。
言語処理100本ノックをdockerで。python覚えるのに最適。
https://qiita.com/kaizen_nagoya/items/7e7eb7c543e0c18438c4
Anaconda
Anacondaの公式リリースをdocker で利用する
$ docker run -v /Users/administrator/Downloads/nakamori/kaizen:/home/kaizen -p 8888:8888 -it continuumio/anaconda3 /bin/bash
-v は host:docker で共有できる。hostにあるファイルは別のフォルダに複写すればdocker hubに登録しても再利用できる。
-p は、ブラウザなど通信をする場合に指定する。
-it は、shellを利用する場合に指定し、shell名を最後に記載する。
continuumio/anaconda3は、anacondaの公式配布。
2G近くファイルを占めるのが要注意点。
conda
conda updateを利用する。
tensorflowなどはcondaが便利。
Windows(M.S.)にPython3(Anaconda3)を導入する（7つの罠）
https://qiita.com/kaizen_nagoya/items/7bfd7ecdc4e8edcbd679
Windows(M.S.) にAnaconda3(python3)を 2019年版
https://qiita.com/kaizen_nagoya/items/c05c0d690fcfd3402534
pip
condaでは揃っていないソフトはpipで導入
機械学習自動化
Data Robotという有償のサービスがある。
機械学習を自動化するプラットフォームDataRobot
https://www.itis.nssol.nipponsteel.com/datarobot/solution/datarobot/
https://bit.ly/2PPZG5C
機械学習の自動化がAIの民主化を加速する
https://www.datarobot.com/jp/
docker(18) なぜdockerで機械学習するか 書籍・ソース一覧作成中 (目標100)
https://qiita.com/kaizen_nagoya/items/ddd12477544bf5ba85e2
参考文献
データサイエンティストのためのDockerfileを作ります（とりあえず完成）
https://qiita.com/richi40/items/19d653c9c52d5eac4598
データサイエンティストを目指す人のpython環境構築 2016
https://qiita.com/y__sama/items/5b62d31cb7e6ed50f02c
当時はdockerがまだMac, Windowsで普及していなかったため。
自己参照(self reference)
プログラマにも読んでほしい「QC検定にも役立つ！QCべからず集」
https://qiita.com/kaizen_nagoya/items/d8ada7b7fceafe2e5f0e
データサイエンティストの気づき「勉強だけして仕事に役立てない人。大嫌い！」。『それ自分かも ? 』ってなった。
https://qiita.com/kaizen_nagoya/items/d85830d58d8dd7f71d07
データサイエンティスト志望者の５つの門
https://qiita.com/kaizen_nagoya/items/ee5fa7b2a7f7c2b450d4
解析と分析の違い
https://qiita.com/kaizen_nagoya/items/1cbec26c185351b2ce3b
プログラマのための化学入門
https://qiita.com/kaizen_nagoya/items/19da0013d82646563aa8
仮説（195）与件解析(data analysis)入門
https://qiita.com/kaizen_nagoya/items/d9474c3bdb8ea0029bee
転職(1) なぜ経済学徒を辞め、計算機屋になったか（経済学部入学前・入学後・卒業後対応）
https://qiita.com/kaizen_nagoya/items/06335a1d24c099733f64
仮説(95) 確率論及統計論
https://qiita.com/kaizen_nagoya/items/89d0a91a56d33529e85c
仮説(93) 科学三分類・四分類・五分類と算譜(program)
https://qiita.com/kaizen_nagoya/items/a2f2b9cc3a51b6af7603
安全（８）HAZOPとTRIZを適用した新製品開発とその安全分析
https://qiita.com/kaizen_nagoya/items/888de040771e1cee1f73
安全（5）機械の制御システムの設計における安全分析の事例報告
https://qiita.com/kaizen_nagoya/items/55c6701f81a3d2742796
立体交差と踏切の安全分析に基づきIoT/AIでできること。
https://qiita.com/kaizen_nagoya/items/a3bc0a6f590727430d1f
安全（0）安全工学シンポジウムに向けて
https://qiita.com/kaizen_nagoya/items/c5d78f3def8195cb2409
安全（１５）分析手法
https://qiita.com/kaizen_nagoya/items/4762016b57cfc1a8c56e
言語と像
https://qiita.com/kaizen_nagoya/items/4a03d444d304da98dab3
分析の基礎
https://qiita.com/kaizen_nagoya/items/db7c05e1dbb80f8e0e50
Ethernet 記事一覧 Ethernet(0)
https://qiita.com/kaizen_nagoya/items/88d35e99f74aefc98794
Wireshark 一覧 wireshark(0)、Ethernet(48)
https://qiita.com/kaizen_nagoya/items/fbed841f61875c4731d0
線網（Wi-Fi）空中線(antenna)(0) 記事一覧(118/300目標)
https://qiita.com/kaizen_nagoya/items/5e5464ac2b24bd4cd001
C++ Support(0)
https://qiita.com/kaizen_nagoya/items/8720d26f762369a80514
Coding Rules(0) C Secure , MISRA and so on
https://qiita.com/kaizen_nagoya/items/400725644a8a0e90fbb0
Autosar Guidelines C++14 example code compile list(1-169)
https://qiita.com/kaizen_nagoya/items/8ccbf6675c3494d57a76
Error一覧(C/C++, python, bash...) Error(0)
https://qiita.com/kaizen_nagoya/items/48b6cbc8d68eae2c42b8
なぜdockerで機械学習するか 書籍・ソース一覧作成中 (目標100)
https://qiita.com/kaizen_nagoya/items/ddd12477544bf5ba85e2
言語処理100本ノックをdockerで。python覚えるのに最適。:10+12
https://qiita.com/kaizen_nagoya/items/7e7eb7c543e0c18438c4
プログラムちょい替え（0）一覧:4件
https://qiita.com/kaizen_nagoya/items/296d87ef4bfd516bc394
一覧の一覧( The directory of directories of mine.) Qiita(100)
https://qiita.com/kaizen_nagoya/items/7eb0e006543886138f39
官公庁・学校・公的団体（NPOを含む）システムの課題、官（０）
https://qiita.com/kaizen_nagoya/items/04ee6eaf7ec13d3af4c3
プログラマが知っていると良い「公序良俗」
https://qiita.com/kaizen_nagoya/items/9fe7c0dfac2fbd77a945
LaTeX(0) 一覧
https://qiita.com/kaizen_nagoya/items/e3f7dafacab58c499792
自動制御、制御工学一覧（０）
https://qiita.com/kaizen_nagoya/items/7767a4e19a6ae1479e6b
Rust(0) 一覧
https://qiita.com/kaizen_nagoya/items/5e8bb080ba6ca0281927
小川清最終講義、最終講義（再）計画, Ethernet(100) 英語(100) 安全(100)
https://qiita.com/kaizen_nagoya/items/e2df642e3951e35e6a53
＜この記事は個人の過去の経験に基づく個人の感想です。現在所属する組織、業務とは関係がありません。＞
文書履歴(document histry)
ver. 0.10 初稿 20181024 夕
ver. 0.11 追記 20181024 夜
ver. 0.12 参考文献、標題追記 20190622
ver. 0.13 docker anaconda 追記 20190623
ver. 0.14 Data Robot Advent Calendar 2020 参加記念 20201208
ver. 0.15 ありがとう追記 20230525
最後までおよみいただきありがとうございました。
いいね 💚、フォローをお願いします。
Thank you very much for reading to the last sentence.
Please press the like icon 💚 and follow me for your happy life.
