AIデータ分析チートシート

AIデータ分析初心者の私が、データ分析の工程ごとに使えるメソッドや属性を簡単に確認できるように備忘録として残します。

#目次
1.インポート
2.データの読み込み
3.データ概要の確認
4.データ処理
5.モデル学習と推論
6.モデル評価
7.可視化

#1. インポート
##決定木をインポート

from sklearn.tree import DecisionTreeClassifier
from sklearn.tree import DecisionTreeRegressor

##ロジスティック回帰をインポート

from sklearn.linear_model import LogisticRegression

##主成分分析PCAをインポート

from sklearn.decomposition import PCA

##ランダムフォレスト回帰のインポート

from sklearn.ensemble import RandomForestRegressor as RFR

##SVMのインポート

from sklearn.svm import SVC
from sklearn.svm import LinearSVC

##K近傍法のインポート

from sklearn.neighbors import KNeighborsClassifier

##K平均法のインポート

from sklearn.cluster import KMeans

##勾配ブースティングのインポート

from sklearn.ensemble import GradientBoostingClassifier

##確率的勾配降下法

from sklearn.linear_model import SGDClassifier

##ナイーブベイズのインポート

from sklearn.naive_bayes import GaussianNB

##XGBoostのインポート

import xgboost as xgb

##ラベルエンコーダーのインポート

from sklearn.preprocessing import LabelEncoder

##preprocessingのインポート

from sklearn import preprocessing

##train_test_splitのインポート

from sklearn.cross_validation import train_test_split

##モデル評価のためのMSEのインポート

from sklearn.metrics import mean_squared_error

##モデル評価のためのRMSEのインポート

from sklearn.metrics import mean_squared_error

##モデル評価のためのR2決定係数のインポート

from sklearn.metrics import r2_score

##モデル評価のためのaccuracy_scoreをインポート

from sklearn.metrics import accuracy_score

##交差検証スコアのインポート

from sklearn.model_selection import cross_val_score

##ボストン近郊の住宅情報に関するデータセットのインポート

from sklearn.datasets import load_boston

##アイリスに関するデータセットのインポート

from sklearn.datasets import load_iris

##seabornのインポート

import seaborn as sns

##missingnoのインポート

import missingno as msno

#2. データの読み込み
##学習データの読み込み

train_data = pd.read_csv('train.csv')

##テストデータの読み込み

test_data = pd.read_csv('test.csv')

##学習用とテスト用データに分割

(x_train, x_test, y_train, y_test) = train_test_split(x, y, test_size = 0.2)

#3. データ概要の確認
##平均・標準偏差等の各列の要約統計量を取得

data.describe()

##dfとseriesの先頭・末尾の行を返す

data.head()
data.tail()

##dfの各列間の相関係数を算出

data.corr()

##seriesのユニークな要素の値のリストを返す

data['hoge'].unique()

##行か列にnanが含まれているかの確認
any()をisnull()の結果に対して適用することで、行・列ごとに欠損値NaNをひとつでも含むか判定

data.isnull().any()

##dfの各列のデータ型を取得

data.dtypes

##dfのカラム一覧を取得
リスト化→list(data.columns)

data.columns

##missingnoを使ったdfの欠損値の可視化

msno.matrix(df)
msno.bar(df)
msno.heatmap(df)

#4. データ処理
##dfに新たな列を追加したり既存の列に新たな値を代入
A = 0の場合、

data.assign(A = 0)

##dfの行結合

all_data = pd.concat([train_data, test_data])

##Seriesのインデックスと値の取得

df['hoge'].value_counts().index
df['hoge'].value_counts().values

##dfのコピー

data_copy = data.copy()

##dfの文字列のダミー化

data.hoge = data.hoge.replace({'yes': 1, 'no': 0})

##dfのカラムのデータをダミー変数に変換

pd.get_dummies(df['hoge'])

##dfの不要なカラムの削除
axis = 0は行、axis = 1は列を指定
inplaceをTrueにすることで、元のdfが変更される

df.drop(['hoge'], axis = 1, inplace = True)

##カラム名の削除

feature_cols = list(set(data.columns) - set(['hoge']))
features = data[feature_cols]

##欠損値の置き換え
0に置き換える場合、

df.fillna(0)

##標準化

scaler = preprocessing.StandardScaler().fit(x_train)
x_train_scaled = scaler.transform(x_train)
x_test_scaled = scaler.transform(x_test)

##ラベルの数値化
LabelEncoder()→宣言
le.fit()→ラベルとラベルIDの対応づけ
le.transform()→変換

for i in range(train.shape[1]):
    if train.iloc[:, i].dtypes == object:
        le = LabelEncoder()
        le.fit(train.iloc[:, i].values + test.iloc[:, i].values)
        train.iloc[:, i] = le.transform(train.iloc[:, i].values)
        test.iloc[:, i] = le.transform(test.iloc[:, i].values)

#5. モデル学習と推論
##ランダムフォレストによる学習と回帰分析

rfr = RFR()
rfr.fit(x_train, y_train)
y_test_pred = rfr.predict(x_test)
rfr.score(y_test, y_test_pred)

##決定木の学習と推論

clf = DecisionTreeClassifier()
(clf = DecisionTreeRegressor())
clf = clf.fit(x_train, y_train)
pred = clf.predict(x_train)
plot_tree(clf)

##ロジスティック回帰の学習と推論

clf = LogisticRegression()
clf.fit(x_train, y_train)
clf.predict(x_test)

##SVMの学習と推論

svc = SVC()
(svc = LinearSVC())
svc.fit(x_train, y_train)
pred = svc.predict(x_test)

##主成分分析の学習と推論

pca = PCA(n_components = 3)
pca.fit_transform(x_train)
pca.fit(x_test)

##K近傍法の学習と推論

knn = KNeighborsClassifier()
knn.fit(x_train, y_train)
pred = knn.predict(x_test)

##K平均法の学習と推論

km = KMeans(n_clusters=3)
result = km.fit(x_data)
x = x_data[:,0]
y = x_data[:,1]
X = result.cluster_centers_[:,0]
Y = result.cluster_centers_[:,1]

##勾配ブースティングの学習と推論

gbk = GradientBoostingClassifier()
gbk.fit(x_train, y_train)
pred = gbk.predict(x_test)

##確率的勾配降下法の学習と推論

sgd = SGDClassifier()
sgd.fit(x_train, y_train)
pred = sgd.predict(x_test)

##ナイーブベイズの学習と推論
正規分布を仮定したベイズ分類

clf = GaussianNB()
clf.fit(x_train, y_train)
clf.predict(x_test)

##XGBoostの学習と推論

xgb = xgb.XGBRegressor()
xgb.fit(x_train, y_train)
y_train_pred = xgb.predict(x_train)
y_test_pred = xgb.predict(x_test)

#6. モデル評価
##MSE(Mean Squared Error)

scores = mean_squared_error(y, y_pred)

##RMSE(Root Mean Squared Error)

scores = sqrt(mean_squared_error(y, y_pred))

##R2決定係数

scores = r2_score(y, y_pred)

##モデル評価

accuracy_score(y, y_pred)

##交差検証スコア

scores = cross_val_score(clf, x, y, cv = 5)

#7. 可視化
##折れ線グラフ

plt.plot(df['hoge'])

##棒グラフ

plt.bar(df['hoge'])

##散布図

plt.scatter(df['hoge'], df['hogehoge'])

##ヒストグラム

plt.hist(df['hoge'], label = 'hoge')

##円グラフ

values = df['hoge'].value_counts().values
label = df['hoge'].value_counts().index
plt.pie(values, labels = label)

##箱ひげ図

plt.boxplot(df['hoge'])

##ラベルをつける

plt.xlabel('x_title')
plt.ylabel('y_title')

##グリッドつける

plt.grid()

##描画

plt.show()