個人用pandas

pandas

補足

qiita用テーブルコードを作るコード

def make_table(lines):
    str = []
    table = "|  |"
    for i in range(len(lines)):
        if i == 0:
            str.append(lines[i].split())

            for j in range(len(str[i])):
                table += " " + str[i][j] + " |"

            table += "\n" + "|"
            
            for j in range(len(str[0]) + 1):
                table += ":-:|"
        else:
            str.append(lines[i].split())
            table = table + "\n" + "|"
            for j in range(len(str[i])):
                table = table + " " + str[i][j] + " |"
    return table

pandasのインポート

通常pdとしてインポートする

import pandas as pd

---

Seriesオブジェクト

Seriesオブジェクトの作成、index labelはデフォルトでは0から始まる整数値

s = pd.Series([1,2,3,4])
s2 = pd.Series([68, 83, 112, 68], index=["alice", "bob", "charles", "darwin"])
meaning = pd.Series(42, ["life", "universe", "everything"])  #すべて42になる

辞書を用いて作成することもできる

weights = {"alice": 68, "bob": 83, "colin": 86, "darwin": 68}
s3 = pd.Series(weights)
s4 = pd.Series(weights, index = ["colin", "alice"])  #ラベルの指定、順番もこの通りになる
s6 = pd.Series([83, 68], index=["bob", "alice"], name="weights")  #nameを持つこともできる

keysメソッドでキーを出力

s2.keys()

整数値インデックス、またはラベルで呼び出せる

s2[1]
s2["bob"]

ただし、整数値インデックスとラベルのどちらで呼び出すのか明確にするためにilocメソッドやlocメソッドを用いる（integer location, location）

s1.iloc[1]
s1.loc["bob"]
s1.iloc[0:2]
s1.loc[1:]

Seriesと配列の演算が可能

s + [5,6,7,8]

Seriesオブジェクトと１次元スカラーの演算や比較演算子はすべての要素に適応される。これをブロードキャストという。

s + 100
s * 2
s < 4

---

DataFrameオブジェクト

DataFrameの作成

DataFrameオブジェクトは様々な方法で作成できる

Seriesの辞書を渡す方法

people_dict = {
    "weight": pd.Series([68, 83, 112], index=["alice", "bob", "charles"]),
    "birthyear": pd.Series([1984, 1985, 1992], index=["bob", "alice", "charles"], name="year"),
    "children": pd.Series([0, 3], index=["charles", "bob"]),
    "hobby": pd.Series(["Biking", "Dancing"], index=["alice", "bob"]),
}
people = pd.DataFrame(people_dict)

	weight	birthday	children	hobby
alice	68	1985	Nan	Biking
bob	83	1984	3.0	Dancing
charls	112	1992	0.0	Nan

行と列を指定することもできる

d2 = pd.DataFrame(
        people_dict,
        columns=["birthyear", "weight", "height"],
        index=["bob", "alice", "eugene"]
     )

	birthyear	weight	height
bob	1984.0	83.0	NaN
alice	1985.0	68.0	NaN
eugene	NaN	NaN	NaN

行列を渡してDataFrameを作成する

import numpy as np
values = [
            [1985, np.nan, "Biking",   68],
            [1984, 3,      "Dancing",  83],
            [1992, 0,      np.nan,    112]
         ]
d3 = pd.DataFrame(
        values,
        columns=["birthyear", "children", "hobby", "weight"],
        index=["alice", "bob", "charles"]
     )

	birthyear	children	hobby	weight
alice	1985	NaN	Biking	68
bob	1984	3.0	Dancing	83
charles	1992	0.0	NaN	112

辞書の辞書を渡す

d4 = pd.DataFrame({
    "birthyear": {"alice": 1985, "bob": 1984, "charles": 1992},
    "hobby": {"alice": "Biking", "bob": "Dancing"},
    "weight": {"alice": 68, "bob": 83, "charles": 112},
    "children": {"bob": 3, "charles": 0}
})

	birthyear	hobby	weight	children
alice	1985	Biking	68	NaN
bob	1984	Dancing	83	3.0
charles	1992	NaN	112	0.0

行や列、行列の呼び出し、検索

列名を指定して列を呼び出す

df1 = people["weitht"]
df2 = people[["weight", "children"]]

行ラベルを指定して行を呼び出す

df = people.loc["charles"]

ilocメソッドで行や列、行列を呼び出せる

d5 = people.iloc[:,2:]

ブール配列で指定する（Trueである行のみが取り出される）

people[np.array([True, False, True])]

これを利用して条件に適合する行だけ取り出すこともできる（ブロードキャスト）

people[people["birthyear"] < 1990]

query()メソッドで検索することもできる

people.query('birthyear<1990')

特定の列以外を取り出す場合はdrop()メソッド

people.drop('people')

列、行の追加

DataFrameがSeries（列）の辞書であるから、辞書のように列を追加することができる

people["age"] = 2018 - people["birthyear"]  # adds a new column "age"
people["over 30"] = people["age"] > 30      # adds another column "over 30"
birthyears = people.pop("birthyear")
del people["children"]

insert()メソッドを用いて指定した位置に挿入することもできる

people.insert(1, "height", [172, 181, 185])

assign()メソッドは新しく列を追加したDataFrameを作成する

people.assign(
    body_mass_index = people["weight"] / (people["height"] / 100) ** 2,
    has_pets = people["pets"] > 0
)

同じ割り当て内で作成した列にアクセスすることはできない。したい場合はlambda関数を用いる

(people
     .assign(body_mass_index = lambda df: df["weight"] / (df["height"] / 100) ** 2)
     .assign(overweight = lambda df: df["body_mass_index"] > 25)
)

その他DataFrameの操作

データフレーム（行列）の転置はT属性を使う

df.T

キー（属性名、列名）やインデックス（行名）を配列として受け取る

df.keys()
df.columns
df.index