pandas 基本機能

基礎項目に加え、データサイエンス・機械学習、Kaggle等でよく使う機能をまとめました。

Pandasは、Pythonでデータ分析を行うためのライブラリで、データの読み込みや編集、統計量の表示が可能。
公式ドキュメント：http://pandas.pydata.org/pandas-docs/stable/

0.ライブラリのインポート

import pandas as pd

1.シリーズとデータフレーム

pandasには、Numpyをベースとした Series と DataFrame という型が存在する。

■ Seriesの生成

ser = pd.Series([10, 15, 20, 25])

>>> ser
0    10
1    15
2    20
3    25
dtype: int64

■ DataFrameの生成

pd.DataFrame([[100, "a", True],
             [150, "b", False],
             [300, "c", False],
             [550, "d", True]])

　DataFrameオブジェクトを作る方法は多数ある

pd.DataFrame(np.arange(12).reshape((3, 4)))

# 辞書からデータフレームを作成
pd.DataFrame({
   'A' : [1, 5, 2, 7, 3],
   'B' : [1, 6, 2, 2, 4]
})

2.データの基本操作・整形

生成したデータを使い基本操作を解説します。

■ データの作成

df = pd.DataFrame(np.arange(15).reshape((3, 5)))
df

■ 行名、列名の指定

df.index = ["01", "02", "03"]
df.columns = ["A", "B", "C", "D", "E"]
df

■ 列を指定し表示

df["A"]　#A列のみ表示

■ 複数の列の指定

df[["A", "B"]] #[]忘れないように..

■ 行の指定

df[1:] #2行目以降を表示

■ locメソッドを使った範囲指定

　loc[]の引数には、行名、列名を入力する

df.loc["02", ["B", "D"]] #行"02"、列"B"と"D"の値を出力

■ ilocメソッドを使った範囲指定

　loc[]の引数には、行番号、列番号を入力する

df.iloc[:2, 2:4]

■ 条件で抽出

df[df["E"] > 5] #列Eが5より大きいデータを抽出

■ queryメソッドで抽出

SQL構文のように複数条件で抽出可能

df.query("A > 3 and C < 10")

■ 列の削除

df.drop("A", axis=1) #列名を指定

■ 行の削除

df.drop(["01", "03"])

■ 列の追加

df['new']=[100,200,300]
df

3.データを基本情報を調べる

アヤメのデータを使って基本情報を抽出します。

■ CSVファイルの読み込み

df = pd.read_csv("/Users/..../iris.csv") 

#CSVファイルのローカルアドレスをタプルに入力
#CSVに区切りがある場合はタプルに("~.scv", sep = ",")のように指定する

■ 最初の5行のみ表示

df.head() #タプル内に数字を指定し任意の行数に変えることも可能

■ 最後の5行のみを表示

df.tail()

■ データフレームの大きさを確認

>>> df.shape

(150, 5) 　#150行5列のデータフレーム

■ 基本統計量をまとめて表示

df.describe()

■ 基本統計量メソッド

.max() 　最大値
.min()　最小値
.mode() 　最頻値
.mean() 　平均値
.median() 　中央値
.std() 　標準偏差
.count() 　件数
.corr()　相関係数（列間のデータの相関関係を数値化、主にテーブル全体に対して使う。）
.unique()　カテゴリカルデータの項目を表示
.value_counts() 　項目別数量

df.mean() #列ごとの平均を出力

4.その他の実用的な整形メソッド

データ分析で使う様々なメソッドを紹介します。
3.同様アヤメのデータ(df)を使用します。

■ ソート・並べ替え

df.sort_values(by="PetalWidth")
#"PetalWidth"列でソート
#デフォルトでは昇順

df.sort_values(by="PetalWidth",ascending=False)
#降順

■ グループバイ


df_groupby = df.groupby("Name") #Name列で集約されたオブジェクトを作成

df_groupby.mean() #Nameのカテゴリー別平均

df_groupby.describe() #カテゴリー別基本統計量をまとめて表示

■ ピポッドテーブル

新しくデータフレームを作成します

df=DataFrame([['1-09','A','Apple',150],
              ['1-10','A','Banana',100],
              ['1-10','C','Orange',200],
              ['1-10','C','Aplle',170],
              ['1-11','B','Orange',200],
              ['1-11','D','Orange',210],
              ['1-12','B','Banana',110]],
              columns=['Date','Shop','Fruit','Price'])
df

df.pivot_table(values = 'Price', index = 'Shop', aggfunc = sum)
#店舗別の売上合計

df.pivot_table(values = 'Price', index = 'Shop', columns = 'Fruit', aggfunc = sum)
#columnsを追加し商品別に売上を表示

df.pivot_table(values = 'Price', index = 'Shop', columns = 'Fruit', 
               aggfunc = sum, fill_value = 0)
#fill_value = 0 でNaNを0に変換

df.pivot_table(values = 'Price', index = 'Shop', columns = 'Fruit', 
               aggfunc = sum, fill_value = 0, margins = True)
#margins = True 合計を表示

df.pivot_table(values = 'Price', index = ['Date','Shop'], columns = 'Fruit', 
               aggfunc = sum, fill_value = 0, margins = True)
#'Date'を加えてindexを階層化

■ データフレームの連結

データフレーム df を改めて確認

df

同じ構造をもつ df_2 を作成

df_2 = DataFrame([['1-13','D','Banana',100],
                 ['1-13','C','Orange',200],
                 ['1-13','B','Apple',150],
                 ['1-14','C','Aplle',170],
                 ['1-14','A','Banana',120],
                 ['1-15','C','Orange',210],
                 ['1-15','D','Banana',100]],
                 columns=['Date','Shop','Fruit','Price'])
df_2

df、 df_2 を行で連結

pd.concat([df, df_2], ignore_index=True)
#ignore_index=True でインデックスの振り直しが可能

df、 df_2 を列で連結

pd.concat([df, df_2], axis=1, join_axes=[df.index])

連結元のデータをラベルで分けて連結

pd.concat([df, df_2], axis=1, join_axes=[df.index], keys=['X', 'Y'])

■ データフレームの結合

引き続きデータフレーム df を使用

df

*df_3を作成 *

df_3 = DataFrame([['1','A','East'],
                 ['2','B','West'],
                 ['3','C','South'],
                 ['4','D','North'],
                 ['5','E','EC']],
                 columns=['Shop_No','Shop','Area'])
df_3

'Shop'を基点に結合

pd.merge(df, df_3, on='Shop')

howで結合方法を選択可能

inner: 両方のデータに含まれるキーだけを残す。(内部結合)
left: 1つめのデータのキーをすべて残す。(左外部結合)
right: 2つめのデータのキーをすべて残す。(右外部結合)
outer: すべてのキーを残す。（完全外部結合）

pd.merge(df, df_3, on='Shop', how='left')

pd.merge(df, df_3, on='Shop', how='right')

5.その他メモ

■ インデックス番号で抽出

df.ix[5:10]

■ データ変換（DataFrame → Numpy配列）

アルゴリズムによってはDataFrameのままでは読み込めないものもあり、その際に変換が必要。

df["A"].values  #列AをNumpy配列に変換

■ データフレームに関数を適用

#データフレームの全ての値を2乗にしたい場合
func = lambda x: x**2
df.apply(func)

#列に適用し更新したい場合
df["A"] = df["A"].apply(func)


#タプルにそのまま関数を書いても良い
df.apply(lambda x: x**2)

■ インデックス変更・更新

df.set_index('Date', inplace=True)
#第一引数にindexにしたい列名を入力
#inplace=True でデータを更新

■ オブジェクト型のみに絞る / オブジェクト型を除外

#オブジェクト型のみ出力
df.select_dtypes(include=['object'])

#オブジェクト型を除外
df.select_dtypes(exclude=['object'])

■ エクセルファイルの読み込み

pd.read_excel("~.xlsx")

Pandas 基礎とよく使う機能メモ