Series
DataFrame
例として、機械学習の入門書でよく使用される iris データセットを使用する。
import pandas as pd
df = pd.read_csv("https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data", header=None, encoding='utf-8')
行名・列名の変更
行方向はインデックスindex、列方向はcolumnsで指定できる。
df.set_axis(['Row1', 'Row2', 'Row3'], axis=0) # 行名を一括で変更 (行数と引数の要素数は合わせましょう）
df.set_axis(['Row1', 'Row2', 'Row3'], axis='index') # 行名を一括で変更
df.set_axis(['A', 'B', 'C', 'D', 'E'], axis=1) # 列名を一括で変更 (列数と引数の要素数は合わせましょう）
df.set_axis(['A', 'B', 'C', 'D', 'E'], axis='columns') # 列名を一括で変更
デフォルトではデータフレームは修正されないので：
df.set_axis(['A', 'B', 'C', 'D', 'E'], axis=1, inplace=True)
また上記の方法とは別に、
df.index = ... # 何らかのtupleを渡すことができる
df.columns = ['A', 'B', 'C', 'D', 'E']
でも修正できる。この場合は元の DataFrame も修正される。
1行ずつ解析
# (1)
for index, row in df.iterrows():
# index : インデックスの数字
# row : pandas.Series
# (2)
for row in df.itertuples():
# row : pandas.core.frame.Pandas
# (3)
for row in df.itertuples(name=None):
# row : 通常の tuple
# ex. 0列目の値を参照する
print(row[0])
要素にアクセスする
df.head() # 冒頭の表示、引数に数字を入れることでprintする行数を指定できる
df.tail() # 末尾の表示、<同上>
簡単なDataFrameに対して解説する（6行4列、要素は乱数で初期化された値）
import numpy as np
np.random.seed(123)
df_rnd = pd.DataFrame(
np.random.randn(6,4),
index=['R-0', 'R-1', 'R-2', 'R-3', 'R-4', 'R-5'],
columns=['C-0', 'C-1', 'C-2', 'C-3'])
# C-0 C-1 C-2 C-3
# R-0 -1.085631 0.997345 0.282978 -1.506295
# R-1 -0.578600 1.651437 -2.426679 -0.428913
# R-2 1.265936 -0.866740 -0.678886 -0.094709
# R-3 1.491390 -0.638902 -0.443982 -0.434351
# R-4 2.205930 2.186786 1.004054 0.386186
# R-5 0.737369 1.490732 -0.935834 1.175829
# 行の情報を持ってくる
df_rnd.loc["R-0"] # 行ラベルでアクセスする
df_rnd.iloc[0] # index番号でアクセスする（ラベル名でのアクセスと同じ結果）
# 複数行の情報を持ってくる
df_rnd.loc[['R-0', 'R-1']]
df_rnd.loc[0:2]
# 列の情報を持ってくる
df_rnd.loc[:, "C-0"] # 列ラベルでアクセスする
df_rnd.iloc[:, 0] # 列インデックスでアクセス（2人のageを持ってこれる）
基本的な使い方
リストからDFを作成
リストを用意して、それを用いてDataFrameを初期化すると簡単に作成することができる。
>>> import pandas as pd
>>> list = [["2020/01/01", "12:30", "Yamada", "寝た"], ["2020/01/02", "13:30", "Tanaka", "帰省した"]]
>>> pd.DataFrame(data=list)
0 1 2 3
0 2020/01/01 12:30 Yamada 寝た
1 2020/01/02 13:30 Tanaka 帰省した
>>> pd.DataFrame(data=list, index=["A","B"], columns=["日付", "時間", "名前", "行動"])
日付 時間 名前 行動
A 2020/01/01 12:30 Yamada 寝た
B 2020/01/02 13:30 Tanaka 帰省した
DataFrameからSeries
DataFrameのいち部分を切り取ると、Seriesが返ってくる。
>>> list = ["a", "a", "a", "a", "b", "b", "b", "b", "b", "b", "b", "b", "c", "c"]
>>> df = pd.DataFrame(list)
>>> type(df)
<class 'pandas.core.frame.DataFrame'>
>>> type(df[0])
<class 'pandas.core.series.Series'>
テクニック
以下のデータフレームは
list = [['', '', '']]
df = pd.DataFrame()
要素を数える
value_counts()
# DataFrame
df = pd.read_csv("input.csv")
df.loc[0] // 0行目の取得
df.["列名"] // 指定したcolumn(=列)の値の取得
df.at[0,1] // 0行1列目のデータを取得
df.at[0,"列名"] // 0行目
len(df) 行数
len(df.columns) 列数
## 削除
drop
df.drop(columns='カラム名', axis=1) #行なら1
## 抽出
df[ df['year'].str.contains('2020')]