Researcher(Data Scientist)の実務と必要なスキル

実務でResearcherとして

• 実際にやること
• 必要なスキル
• 対応する参考本

の独り言メモ．
＊増えたら足してく．

【前提】
下記０・２はSQL（BigQuery），１・３・４・５はPythonで行う場合．

０．ETL

やること

提供されたデータをBigQueryに入れて使える状態にする

１．データ分析（データの可視化）

やること

• データを知る
  • 最終的な目的に対して，それを達成できるようなデータであるか（期待するデータであるか）
  • 十分な量のデータがあるか
  • 欠陥値がないか
  • 外れ値がないか
  • どんな特徴量が抽出できるか
  • どうやって特徴量を抽出するか
  • データが示す意図はなにか

必要なスキル

• データのプロット力と考察力
  • なんのグラフでプロットするか
  • グラフから何がわかるか
• カラムの必要不必要さを見極める力
  • 目的変数に対してどのカラムが必要で，どのカラムが不必要で，何のカラムを追加すればよいか

対応本

• Pythonデータサイエンスハンドブック

  • https://www.amazon.co.jp/Python%E3%83%87%E3%83%BC%E3%82%BF%E3%82%B5%E3%82%A4%E3%82%A8%E3%83%B3%E3%82%B9%E3%83%8F%E3%83%B3%E3%83%89%E3%83%96%E3%83%83%E3%82%AF-%E2%80%95Jupyter%E3%80%81NumPy%E3%80%81pandas%E3%80%81Matplotlib%E3%80%81scikit-learn%E3%82%92%E4%BD%BF%E3%81%A3%E3%81%9F%E3%83%87%E3%83%BC%E3%82%BF%E5%88%86%E6%9E%90%E3%80%81%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92-Jake-VanderPlas/dp/4873118417/ref=sr_1_1?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&crid=2PORKQ9WVMT43&dchild=1&keywords=python%E3%83%87%E3%83%BC%E3%82%BF%E3%82%B5%E3%82%A4%E3%82%A8%E3%83%B3%E3%82%B9%E3%83%8F%E3%83%B3%E3%83%89%E3%83%96%E3%83%83%E3%82%AF&qid=1591782381&sprefix=Python%E3%83%87%E3%83%BC%E3%82%BF%2Caps%2C258&sr=8-1

• Pythonによるデータ分析入門

  • https://www.amazon.co.jp/Python%E3%81%AB%E3%82%88%E3%82%8B%E3%83%87%E3%83%BC%E3%82%BF%E5%88%86%E6%9E%90%E5%85%A5%E9%96%80-%E7%AC%AC2%E7%89%88-%E2%80%95NumPy%E3%80%81pandas%E3%82%92%E4%BD%BF%E3%81%A3%E3%81%9F%E3%83%87%E3%83%BC%E3%82%BF%E5%87%A6%E7%90%86-Wes-McKinney/dp/487311845X/ref=sr_1_1?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&dchild=1&keywords=Python%E3%81%AB%E3%82%88%E3%82%8B%E3%83%87%E3%83%BC%E3%82%BF%E5%88%86%E6%9E%90%E5%85%A5%E9%96%80&qid=1591782542&sr=8-1

２．データ前処理

やること

• データを学習できる状態にする
  • 欠陥値の処理
  • 外れ値の処理
  • ダミー変数化
  • ベクトル化
  • 特徴量の抽出

必要なスキル

• SQLの実装力
• なにとなにから，どの特徴量が抽出できるかの整理とその実装力

対応本

• 前処理大前
  • https://www.amazon.co.jp/%E6%9C%AC%E6%A9%8B-%E6%99%BA%E5%85%89-ebook/dp/B07C3JFK3V/ref=sr_1_1?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&dchild=1&keywords=%E5%89%8D%E5%87%A6%E7%90%86%E5%A4%A7%E5%85%A8&qid=1591782611&sr=8-1
• ビックデータ分析・活用のためのSQLレシピ
  • https://www.amazon.co.jp/%E3%83%93%E3%83%83%E3%82%B0%E3%83%87%E3%83%BC%E3%82%BF%E5%88%86%E6%9E%90%E3%83%BB%E6%B4%BB%E7%94%A8%E3%81%AE%E3%81%9F%E3%82%81%E3%81%AESQL%E3%83%AC%E3%82%B7%E3%83%94-%E5%8A%A0%E5%B5%9C-%E9%95%B7%E9%96%80/dp/4839961263/ref=sr_1_1?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&dchild=1&keywords=SQL%E3%83%AC%E3%82%B7%E3%83%94&qid=1591782694&sr=8-1

３．モデリング

やること

1. データの読み込み
2. モデル実装
   • モデルの選択選定
   • パラメータの推定
   • アルゴリズムの実装

• 結果の表示

必要なスキル

• Pythonでの実装力
• 機械学習の知識
• 活用ライブラリの知識
• その他アルゴリズムの知識

対応本

• Kaggleで勝つデータ分析の技術
  • https://www.amazon.co.jp/Kaggle%E3%81%A7%E5%8B%9D%E3%81%A4%E3%83%87%E3%83%BC%E3%82%BF%E5%88%86%E6%9E%90%E3%81%AE%E6%8A%80%E8%A1%93-%E9%96%80%E8%84%87-%E5%A4%A7%E8%BC%94-ebook/dp/B07YTDBC3Z/ref=sr_1_1?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&crid=3FWT4AODCAKWA&dchild=1&keywords=kaggle%E3%81%A7%E5%8B%9D%E3%81%A4%E3%83%87%E3%83%BC%E3%82%BF%E5%88%86%E6%9E%90%E3%81%AE%E6%8A%80%E8%A1%93&qid=1591782231&sprefix=Kagglede%2Caps%2C254&sr=8-1
• Pythonデータサイエンスハンドブック
• Pythonではじめる機械学習
  • https://www.amazon.co.jp/Python%E3%81%A7%E3%81%AF%E3%81%98%E3%82%81%E3%82%8B%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92-%E2%80%95scikit-learn%E3%81%A7%E5%AD%A6%E3%81%B6%E7%89%B9%E5%BE%B4%E9%87%8F%E3%82%A8%E3%83%B3%E3%82%B8%E3%83%8B%E3%82%A2%E3%83%AA%E3%83%B3%E3%82%B0%E3%81%A8%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%81%AE%E5%9F%BA%E7%A4%8E-Andreas-C-Muller/dp/4873117984/ref=sr_1_1?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&dchild=1&keywords=Python%E3%81%A7%E5%A7%8B%E3%82%81%E3%82%8B%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92&qid=1591782489&sr=8-1

４．評価

やること

• 精度評価
• 考察

必要なスキル

• recall-precision等の評価関数の知識と活用力
• 結果のプロット力
• 条件別(カテゴリ別)の結果のプロット力
• 結果とその精度から何がわかるか

対応本

• Kaggleで勝つデータ分析の技術
• Pythonではじめる機械学習