このページについて

データ分析試験を受験するにあたって、自分が見直ししやすいように要点をまとめたシートを作成した。
記載内容は翔泳社「Pythonによるあたらしいデータ分析の教科書」から章ごとにまとめていくことにする。

データ分析エンジニアの役割

データサイエンティスト　予測洞察系

データ分析エンジニア　実データ管理、分析系、データ工学実践系

大量のデータからカテゴライズや数値予測を行う方法として以下の３つ

以下３つ

教師あり学習
正解ラベルがある。　正解ラベルは目的変数と呼ぶ。
目的変数を決定するためのデータは説明変数という。
さらに以下２つに分類
- 教師あり回帰 ・・・目的変数が連続値である
- 教師あり分類・・・目的変数がカテゴライズできる
教師なし学習
正解ラベルなし。主にデータの特徴から予測する。
クラスタリング、次元削減のタスクがある。
強化学習
ブラックボックス的な環境で実行する際に、
報酬を最大化するような状態に応じた行動を学習していく手法
囲碁や将棋等ルール上で勝ちにつながる行動をとった際に最大報酬を与え学習させる。

↓手順の流れと使用ライブラリ

パッケージとはPythonに機能を追加するもの
用途に応じてパッケージを使用する