分析のためにpythonを習得しているので、具体的な集計・分析手法や前処理の方法を学んできたが
ここらでよく使うpandasについてちゃんと勉強してみよう、と思いメモ。
知っている人には当たり前なんだろうけど、どこかふわふわした理解のままではスッキリしないので。
参考文献はこちら
Pythonによるデータ分析入門
参考文献を見ながら、自分の手でコード書いて実行。
重要な箇所を見て気付いたことを少し書く、というスタイルですので無駄に長いです。。。
※引用箇所が参考文献の本文です。
シリーズ（Series）
よく出てきて混乱を起こしたやつ。わかったようなわからないような。
Numpyのarrayとの違いがよくわからなかった。
インデックスについて
シリーズは１次元の配列のようなオブジェクトです
連続した値と、それに関連付けられたインデックスというデータラベルの配列が含まれます
おお、なるほど。知らなかった、インデックスがセットになってくるのが大事なのか。
x = pd.Series([1,2,3,4])
x
＜結果＞
0 1
1 2
2 3
3 4
１、２、３、４はシリーズのデータで、０、１、２、３というのがインデックスなんですね。
これはインデックスを指定しなかったからこうなるようでインデックスを指定することもできる。
x = pd.Series([1,2,3,4], index = ['a','b','c','d'])
x
＜結果＞
a 1
b 2
c 3
d 4
インデックスを指定したのでちゃんと変わっています。
Numpyの配列と違って、１つの値や複数の値を参照するときにインデックスのラベルを使って指定することができます。
そういえばそんなことしていたな、と改めて納得。道場で基礎を磨くのはやっぱり悪くない。
x['b']
＜結果＞
2
計算
条件指定によるフィルタリング、スカラー値の掛け算、数学的な関数の適用、などのNumpyの関数
やNumpy風の操作を行った場合も、インデックスとデータ値との関連は保持されます。
x[x > 2]
＜結果＞
c 3
d 4
x * 2
＜結果＞
a 2
b 4
c 6
d 8
np.exp(x)
＜結果＞
a 2.718282
b 7.389056
c 20.085537
d 54.598150
計算されて値は変わってるけどインデックスは変わってないですね。理解。
シリーズをインデックスとデータ値がマッピングされた固定長の順序つきディクショナリととらえ
る見方もあります。ディクショナリを使う多くの文脈では、シリーズを使うことができるでしょう。
'b' in x
＜結果＞
True
'e' in x
＜結果＞
False
いろいろな作成方法
pythonのディクショナリ形式のデータがある場合は、それを使ってシリーズを作成することができます。
y = {'a': 100, 'b': 200, 'c': 300, 'd': 400}
z = pd.Series(y)
z
＜結果＞
a 100
b 200
c 300
d 400
ここまでやって、エクセルのINDEX関数で参照していたのが、今作っているインデックスなのかなと気付く。理解。
今作ったシリーズに対して
w = ['a','b','C','D']
t = pd.Series(y, index = w)
t
＜結果＞
a 100.0
b 200.0
C NaN
D NaN
インデックスを付け替えようとすると、元のインデックスと対応しているデータはそのままデータ値で、
そうでない箇所（ここでは大文字のCとD）は、NaNになっています。
NaNはpandasでは欠損値、または、NA値として扱われます。
また'c'と'd'は、指定したwには含まれていないため、作成されたシリーズからは除外されています。
そんな処理になっていたのか。これも知らなかった。
pandasのisnull関数とnotnull関数は欠損値を特定するために使います。
pd.isnull(t)
＜結果＞
a False
b False
C True
D True
pd.notnull(t)
＜結果＞
a True
b True
C False
D False
シリーズはこれらの関数をインスタンスメソッドとしても持っています
t.isnull()
＜結果＞
a False
b False
C True
D True
算術演算をするときに別々のインデックス付けされたデータが自動的に整形される、というものがあります。
z
＜結果＞
a 100
b 200
c 300
d 400
t
＜結果＞
a 100.0
b 200.0
C NaN
D NaN
z + t
＜結果＞
C NaN
D NaN
a 200.0
b 400.0
c NaN
d NaN
シリーズのインデックスは代入して置き換えることができます。
t.index = ['1','2','3','4']
t
＜結果＞
1 100.0
2 200.0
3 NaN
4 NaN
ちゃんとインデックスが変わっています。
データフレーム（DataFrame）
これもわかるようなわからないようなの代表。
データフレームはテーブル形式のデータ構造を持ち、順序づけられた列を持っています。各列には
別々の型（数値型、文字列型、ブール型など）を持たせることができます。データフレームは行と列の
両方にインデックスを持っています
１列の中では同じ型です、ということかな、どのようにデータを持っているかが大事なのか。
行方向にも列方向にもインデックスがある→インデックスの組み合わせでデータを特定できそう。
データフレームはシリーズをバリューとしても持つディクショナリと見ることができます。
（各シリーズのインデックスを全体で共有しているようなイメージです）
ちょっとイメージが湧かないので、今はスルーします。
作成方法
一般的な方法は同じ長さを持つリスト型のバリューを持ったディクショナリか、Numpyの配列を使う方法です。
data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada', 'Nevada'],
'year': [2000, 2001, 2002, 2001, 2002, 2003],
'pop': [1.5, 1.7, 3.6, 2.4, 2.9, 3.2]}
frame = pd.DataFrame(data)
frame
＜結果＞
state year pop
0 Ohio 2000 1.5
1 Ohio 2001 1.7
2 Ohio 2002 3.6
3 Nevada 2001 2.4
4 Nevada 2002 2.9
5 Nevada 2003 3.2
操作
列の並べ替え
列の順番を指定すると、データフレームの列はその順番で並びます。
pd.DataFrame(data, columns=['year', 'state', 'pop'])
＜結果＞
year state pop
0 2000 Ohio 1.5
1 2001 Ohio 1.7
2 2002 Ohio 3.6
3 2001 Nevada 2.4
4 2002 Nevada 2.9
5 2003 Nevada 3.2
左から指定した順番に並んでいることがわかります。
データの無い列の指定
指定した列がデータを持っていない場合、その列は結果として欠損値が代入されます
frame2 = pd.DataFrame(data, columns=['year', 'state', 'pop', 'debt'],
index = ['one','two','three','four','five','six'])
frame2
＜結果＞
year state pop debt
one 2000 Ohio 1.5 NaN
two 2001 Ohio 1.7 NaN
three 2002 Ohio 3.6 NaN
four 2001 Nevada 2.4 NaN
five 2002 Nevada 2.9 NaN
six 2003 Nevada 3.2 NaN
もともとなかった’debt’には欠損値のNaNが代入されています。
データの取り出し
データフレームの列はディクショナリ風の参照や、属性指定をすることで、シリーズとして
取り出すことができます。
frame2['state']
＜結果＞
one Ohio
two Ohio
three Ohio
four Nevada
five Nevada
six Nevada
取り出したシリーズはデータフレームの持っていたインデックスと同じインデックスを持ち、name属性も適切に設定されています。
行も一夜名前で参照することができます。名前で参照するときには、locという属性を使います。
frame2.loc['three']
＜結果＞
year 2002
state Ohio
pop 3.6
debt NaN
ここでは'three'という名前で参照しているので、'three'行のデータがカラム名と共に表示されています。
データの代入
列の値は代入して変更できます。
frame2['debt'] = 16.5
frame2
＜結果＞
year state pop debt
one 2000 Ohio 1.5 16.5
two 2001 Ohio 1.7 16.5
three 2002 Ohio 3.6 16.5
four 2001 Nevada 2.4 16.5
five 2002 Nevada 2.9 16.5
six 2003 Nevada 3.2 16.5
先ほどはNaN値であった'debt'に16.5が代入されているのがわかります。
frame2['debt'] = np.arange(6.)
frame2
＜結果＞
year state pop debt
one 2000 Ohio 1.5 0.0
two 2001 Ohio 1.7 1.0
three 2002 Ohio 3.6 2.0
four 2001 Nevada 2.4 3.0
five 2002 Nevada 2.9 4.0
six 2003 Nevada 3.2 5.0
列の長さが一致していれば、np.arangeを列指定で代入することもできるんですね。
なんとなくやっていたことの理解が深まる。
シリーズを列に代入する場合は、ラベルはデータフレームのインデックスに従って正確に一致
するように代入が行われ、データフレームのインデックスに対応するものがない場合は、欠損値が
挿入されます。
val = pd.Series([-1.2, -1.5, -1.7], index = ['two', 'four', 'five'])
frame2['debt'] = val
frame2
＜結果＞
year state pop debt
one 2000 Ohio 1.5 Nan
two 2001 Ohio 1.7 -1.2
three 2002 Ohio 3.6 NaN
four 2001 Nevada 2.4 -1.5
five 2002 Nevada 2.9 -1.7
six 2003 Nevada 3.2 NaN
おお、確かにインデックスが一致しているのでその箇所だけ代入されています。
存在しない列への代入（列の生成）、列の削除
存在しない列に代入を行うと、新しい列が作成されます。
delキーワードを使うと、ディクショナリと同じように列を消すことができます。
frame2['eastern'] = frame2.state == 'Ohio'
frame2
＜結果＞
year state pop debt eastern
one 2000 Ohio 1.5 NaN True
two 2001 Ohio 1.7 -1.2 True
three 2002 Ohio 3.6 NaN True
four 2001 Nevada 2.4 -1.5 False
five 2002 Nevada 2.9 -1.7 False
six 2003 Nevada 3.2 NaN False
もともとなかった'eastern'に代入しようとすると、新しく列が生成され、代入したいデータが入っています。
列の追加は確かにこんな風にやってた。仕組みがわかると面白い。
del frame2['eastern']
frame2
＜結果＞
year state pop debt
one 2000 Ohio 1.5 NaN
two 2001 Ohio 1.7 -1.2
three 2002 Ohio 3.6 NaN
four 2001 Nevada 2.4 -1.5
five 2002 Nevada 2.9 -1.7
six 2003 Nevada 3.2 NaN
ちゃんと消えていますね。
ネストしたディクショナリ
ネストしたディクショナリをデータフレームに渡すと、pandasは外側のディクショナリのキーを
列のインデックスとして解釈し、内側のインデックスのキーを行のインデックスとして解釈します。
pop = {'Nevata': {2001: 2.4, 2002: 2.9},
'Ohio': {2000: 1.5, 2001: 1.7, 2002: 3.6}}
frame3 = pd.DataFrame(pop)
frame3
＜結果＞
Nevata Ohio
2001 2.4 1.7
2002 2.9 3.6
2000 NaN 1.5
外側のディクショナリのキー ＝ 'Nevada'、'Ohio'の２つですね。これが列のインデックスになっています。
内側のインデックスのキー ＝ '2000'、'2002'と言った年データです。これが行のインデックスになっています。
行列の入れ替え
データフレームはNumpyの配列と同様な文法で転置することができます。
frame3.T
＜結果＞
2001 2002 2000
Nevata 2.4 2.9 NaN
Ohio 1.7 3.6 1.5
行と列が入れ替わっているのがわかります。
value参照
value属性を参照すると、データフレームの中のデータが２次元のndarrayとして戻されます。
frame3.values
＜結果＞
array([[2.4, 1.7],
[2.9, 3.6],
[nan, 1.5]])
インデックスオブジェクト
pandasのインデックスオブジェクトは、軸のラベルやその他のメタデータ（軸のname属性やnames属性など）を
保持する役目を持っています。シリーズやデータフレームを初期化するときに、配列やシーケンスなどで指定した
ラベルは、内部的にはインデックスオブジェクトに変換されます。
obj = pd.Series(range(3), index = ['a','b', 'c'])
index = obj.index
index
＜結果＞
Index(['a', 'b', 'c'], dtype='object')
説明のまんまですね。インデックスがオブジェクトになっています。
インデックスオブジェクトは配列と似ているだけでなく、固定長のセットしても機能します。
frame3.columns
＜結果＞
Index(['Nevata', 'Ohio'], dtype='object')
'Ohio' in frame3.columns
＜結果＞
True
まとめ
この本ですが、最初読んだとき意味不明で泣きそうでしたが、pythonの実際の操作をやってみて
少し慣れた今見るととても理解が進みました。
とりあえず手を動かしてみる、その後しっかり理解する、という順番で学んでいくの良さそうです。