Data Scientistのための環境

よりよい環境を基本Open Sourceで環境構築する

docker

すべてDockerで提供する

Dockerの利点

PCのOSに依存しない処理が可能
Ubuntu/Debianの安定したカーネルが利用できる
GCC/GNU, clang/LLVMのコンパイラが利用できる。

なぜdockerで機械学習するか書籍・ソース一覧作成中 (目標100)
https://qiita.com/kaizen_nagoya/items/ddd12477544bf5ba85e2

Python, Rをはじめとして100冊の本の環境を作成中。
50をようやく超え、この記事を整理しはじめた。

Python

場合によって、Python2, python3を別のdockerで起動できる。

言語処理100本ノックをdockerで。python覚えるのに最適。
https://qiita.com/kaizen_nagoya/items/7e7eb7c543e0c18438c4

Anaconda

Anacondaの公式リリースをdocker で利用する

macOS

$ docker run -v /Users/administrator/Downloads/nakamori/kaizen:/home/kaizen -p 8888:8888 -it continuumio/anaconda3 /bin/bash

-v は　host:docker で共有できる。hostにあるファイルは別のフォルダに複写すればdocker hubに登録しても再利用できる。
-p は、ブラウザなど通信をする場合に指定する。
-it は、shellを利用する場合に指定し、shell名を最後に記載する。
continuumio/anaconda3は、anacondaの公式配布。

2G近くファイルを占めるのが要注意点。

conda

conda updateを利用する。
　tensorflowなどはcondaが便利。

Windows(M.S.)にPython3(Anaconda3)を導入する（7つの罠）
https://qiita.com/kaizen_nagoya/items/7bfd7ecdc4e8edcbd679

Windows(M.S.) にAnaconda3(python3)を　2019年版
https://qiita.com/kaizen_nagoya/items/c05c0d690fcfd3402534

pip

condaでは揃っていないソフトはpipで導入

機械学習自動化

Data Robotという有償のサービスがある。

機械学習を自動化するプラットフォームDataRobot
https://www.itis.nssol.nipponsteel.com/datarobot/solution/datarobot/
~~https://bit.ly/2PPZG5C~~

機械学習の自動化がAIの民主化を加速する
https://www.datarobot.com/jp/

docker(18) なぜdockerで機械学習するか書籍・ソース一覧作成中 (目標100)
https://qiita.com/kaizen_nagoya/items/ddd12477544bf5ba85e2

参考文献

データサイエンティストのためのDockerfileを作ります（とりあえず完成）
https://qiita.com/richi40/items/19d653c9c52d5eac4598

データサイエンティストを目指す人のpython環境構築 2016
https://qiita.com/y__sama/items/5b62d31cb7e6ed50f02c

当時はdockerがまだMac, Windowsで普及していなかったため。

自己参照(self reference)

プログラマにも読んでほしい「QC検定にも役立つ！QCべからず集」
https://qiita.com/kaizen_nagoya/items/d8ada7b7fceafe2e5f0e

データサイエンティストの気づき「勉強だけして仕事に役立てない人。大嫌い！」。『それ自分かも ? 』ってなった。
https://qiita.com/kaizen_nagoya/items/d85830d58d8dd7f71d07

データサイエンティスト志望者の５つの門
https://qiita.com/kaizen_nagoya/items/ee5fa7b2a7f7c2b450d4

解析と分析の違い
https://qiita.com/kaizen_nagoya/items/1cbec26c185351b2ce3b

プログラマのための化学入門
https://qiita.com/kaizen_nagoya/items/19da0013d82646563aa8

仮説（195）与件解析(data analysis)入門
https://qiita.com/kaizen_nagoya/items/d9474c3bdb8ea0029bee

転職(1) なぜ経済学徒を辞め、計算機屋になったか（経済学部入学前・入学後・卒業後対応）
https://qiita.com/kaizen_nagoya/items/06335a1d24c099733f64

仮説(95) 確率論及統計論
https://qiita.com/kaizen_nagoya/items/89d0a91a56d33529e85c

仮説(93) 科学三分類・四分類・五分類と算譜(program)
https://qiita.com/kaizen_nagoya/items/a2f2b9cc3a51b6af7603

安全（８）HAZOPとTRIZを適用した新製品開発とその安全分析
https://qiita.com/kaizen_nagoya/items/888de040771e1cee1f73

安全（5）機械の制御システムの設計における安全分析の事例報告
https://qiita.com/kaizen_nagoya/items/55c6701f81a3d2742796

立体交差と踏切の安全分析に基づきIoT/AIでできること。
https://qiita.com/kaizen_nagoya/items/a3bc0a6f590727430d1f

安全（0）安全工学シンポジウムに向けて
https://qiita.com/kaizen_nagoya/items/c5d78f3def8195cb2409

安全（１５）分析手法
https://qiita.com/kaizen_nagoya/items/4762016b57cfc1a8c56e

言語と像
https://qiita.com/kaizen_nagoya/items/4a03d444d304da98dab3

分析の基礎
https://qiita.com/kaizen_nagoya/items/db7c05e1dbb80f8e0e50

Ethernet 記事一覧　Ethernet(0)
https://qiita.com/kaizen_nagoya/items/88d35e99f74aefc98794

Wireshark 一覧 wireshark(0)、Ethernet(48)
https://qiita.com/kaizen_nagoya/items/fbed841f61875c4731d0

線網（Wi-Fi）空中線(antenna)(0) 記事一覧(118/300目標)
https://qiita.com/kaizen_nagoya/items/5e5464ac2b24bd4cd001

C++ Support(0)　
https://qiita.com/kaizen_nagoya/items/8720d26f762369a80514

Coding Rules(0) C Secure , MISRA and so on
https://qiita.com/kaizen_nagoya/items/400725644a8a0e90fbb0

Autosar Guidelines C++14 example code compile list(1-169)
https://qiita.com/kaizen_nagoya/items/8ccbf6675c3494d57a76

Error一覧(C/C++, python, bash...) Error(0)
https://qiita.com/kaizen_nagoya/items/48b6cbc8d68eae2c42b8

なぜdockerで機械学習するか書籍・ソース一覧作成中 (目標100)
https://qiita.com/kaizen_nagoya/items/ddd12477544bf5ba85e2

言語処理100本ノックをdockerで。python覚えるのに最適。:10+12
https://qiita.com/kaizen_nagoya/items/7e7eb7c543e0c18438c4

プログラムちょい替え（0）一覧:4件
https://qiita.com/kaizen_nagoya/items/296d87ef4bfd516bc394

一覧の一覧( The directory of directories of mine.) Qiita(100)
https://qiita.com/kaizen_nagoya/items/7eb0e006543886138f39

官公庁・学校・公的団体（NPOを含む）システムの課題、官（０）
https://qiita.com/kaizen_nagoya/items/04ee6eaf7ec13d3af4c3

プログラマが知っていると良い「公序良俗」
https://qiita.com/kaizen_nagoya/items/9fe7c0dfac2fbd77a945

LaTeX(0) 一覧　
https://qiita.com/kaizen_nagoya/items/e3f7dafacab58c499792

自動制御、制御工学一覧（０）
https://qiita.com/kaizen_nagoya/items/7767a4e19a6ae1479e6b

Rust(0) 一覧　
https://qiita.com/kaizen_nagoya/items/5e8bb080ba6ca0281927

小川清最終講義、最終講義（再）計画, Ethernet(100) 英語(100) 安全(100)
https://qiita.com/kaizen_nagoya/items/e2df642e3951e35e6a53

＜この記事は個人の過去の経験に基づく個人の感想です。現在所属する組織、業務とは関係がありません。＞

文書履歴(document histry)

ver. 0.10 初稿　20181024 夕
ver. 0.11 追記　20181024 夜
ver. 0.12 参考文献、標題追記 20190622
ver. 0.13 docker anaconda 追記 20190623
ver. 0.14 Data Robot Advent Calendar 2020 参加記念 20201208
ver. 0.15 ありがとう追記　 20230525

最後までおよみいただきありがとうございました。

いいね　💚、フォローをお願いします。

Thank you very much for reading to the last sentence.

Please press the like icon 💚　and follow me for your happy life.

https://b.hatena.ne.jp/guide/bbutton