初めに

pandasって使いこなせたらめっちゃかっこいいですよねわかる．ってことで講義で教授からもらった資料や個人的に大事だなって思ったところをまとめておきたいと思います．
ほかにも「これ大事だろ」ってことだったり「これちがくね？」って点があったら教えてください

目次

pandasとは

データ操作を効率的に行うPythonライブラリ．
pandasでできること
- データの読み込み，整形，加工，結合，保存
- データの検索，表計算，集計
- データの可視化

pandasのデータ型

pandasには大きく分けて二つのデータ型がある．
- DataFrame
  - 表形式データで値,インデックス,カラムからなる．Excelみたいな感じ
- Series
  - 1次元データで値,インデックスからなる．listみたいな感じ

pandasのインポート

pandasは慣習的にpdとして読み込む

import pandas as pd

ファイルからデータの読み込み

csvファイルの読み込み

pd.read_csv("csvファイルパス",encoding="文字コード")

df = pd.read_csv("csvファイルパス":str,encoding="文字コード":str)
type(df)
#>DataFrame

csvファイルパスはそのまま
encodingのデフォルトはutf_8(国際標準)．日本語ファイルや国勢調査などのオフィシャルのデータによくある．

Excelファイルの読み込み

pd.read_excel("Excelファイルのパス":str,"シートの名前":str)

df = pd.read_excel("Excelファイルのパス","シートの名前")

シートの名前はファイルの中に1シートしかないときいらない．

webサイトの票データの取得

pd.read_html(url:str,encoding:str)

df = pd.read_html("url",encoding)

DataFrameの表示

DataFrameの表示にはdisplay()が有効．print()でもいいけど見やすさがレベチ．

DataFrameの上位表示

DataFrameは基本たくさんのデータがあるので全部表示させると画面がごちゃごちゃする．
中身がどんな内容であるか確認したいときはhead()を使うといい

type(df) == DataFrame #True

display(df.head())
#冒頭5行の表示

display(df.head(3))
#冒頭3行の表示

ファイルへ出力

DataFrameをcsvファイルとして出力

dataFrame.to_csv("csvファイルパス",index=False,encoding="utf_8")

df.to_csv("csv.csv")

index:indexを出力するときはTrue,いらなければFalse

DataFrameをExcelファイルとして出力

Excelファイルとして出力する際は外部ライブラリopenpyxlのインストールが必要．
DataFrame.to_excel("Excelファイルパス",sheet_name="シート名",index,encoding)

DataFrame.to_excel("Excelファイルパス",sheet_name="シート名",index=False,encoding="utf_8")

既存のExcelファイルにシートを追加して出力

import openpyxl

with pd.ExcelWriter("Excelファイルパス",engine="openpyxl",mode="a") as writer:
    DataFrame.to_excel(writer,sheet_name="シート名",index=False,encoding="utf_8")

データ構造の確認

行数と列数の確認

DataFrame.shape

display(df.head(3))

都道府県コード	都道府県名	元号	和暦（年）	西暦（年）	人口（総数）	人口（男）	人口（女）
0	1	北海道	大正	9	1920	2359183	1244322
1	2	青森県	大正	9	1920	756454	381293
2	3	岩手県	大正	9	1920	845540	421069

df.shape
#>(939,8)

#データの抽出

列の抽出

一列抽出

データフレーム["列名"]->Series型

df_col = df["人口（総数）"]
df_col


0	232453
1	75343
2	83123
...	...

複数列抽出

データフレーム[["列名1","列名2",...]]->DataFrame

df_cols = df[["人口（総数）", "人口（男）", "人口（女）"]]
df_cols

	人口（総数）	人口（男）	人口（女）
0	232453	1244322	1114861
1	756454	381293	375161
2	845540	421069	424471
.	...	...	...

条件に合ったデータの抽出

pandasではDataFrameに演算子が使用できる．

TF = df["西暦（年）"] == 2000
TF


0	False
1	False
2	False
.	...

さらにTrueのみの抽出ができる

df_TF = df[TF]
df_TF

	都道府県コード	都道府県名	元号	和暦（年）	西暦（年）	人口（総数）	人口（男）	人口（女）
751	1	北海道	12	2000	123213	12321	12321	53241

これよりこんな書き方で書ける

df_TrueFalse = df[df["西暦（年）] == 2000]

論理演算子を用いた複数条件の抽出

FT2 = df[(df["西暦（年）"] == 2000) & (df["都道府県名"] == "奈良県")]

特定の要素の選択，取得，変更

locやilocが使える

loc

単独の要素を選択
- DataFrame.loc["行名","列名"]
複数の要素を選択
- DataFrame.loc[["行名1","行名2",...],["列名1","列名2",...]]
スライス表記
- Dataframe.loc['行名1' : '行名2', '列名1':'列名2']

iloc

単独の要素を選択
- DataFrame.iloc[行番号，列番号]
複数の要素を選択
- DataFrame.iloc[[行番号,行番号2,...],[列番号1,列番号2,...]]
スライス表記
- DataFrame.iloc[行番号(開始):行番号(終了),列番号(開始):列番号(終了)]
- 終了の数値は-1まで出力されることに注意
- 10:20を表示したければ10:21