python pandas 勉強 最近のまとめ

要素ごとの集計

いろいろやってみたんですが、
こんな感じで落ち着きました。

for sp in set(data['要素']):
    df_op = data[data['要素'] == sp]
    com_plot(df_op,sp)　　#集計する関数へ移動。

集計するファイルを１つから複数に

ファイル名称を選択していたが、
*（アスタリスク）を使うようにした。

import glob

print("トランザクションデータ読み込み開始")
csv_name    =   r"インプットデータのあるフォルダ\*.csv"
csv_files   =   glob.glob(csv_name)
list = []

for f in csv_files:
    list.append(pd.read_csv(f, index_col=0).drop(['Payment Number','Refund Number'], axis=1))
df = pd.concat(list)

複数選択することができたので、日付を入力させて動き方を変更する

「YYMMDD」、「YYMM」、「all」のいずれかを入力することで処理内容を変更する。
※トランザクションデータは日時で保持しており、月ごとにフォルダを分けているので、
　関数先で入力日付からyy、mm、ddを分解もしている。

def main():
    print("集計日付を指定「YYMMDD」 or 「YYMM」 or 「all」")
    print("集計日付の形式で取得内容を変更")
    day = input("集計日付を指定 -> ")
    print("")

    if (len(day) == 6):
        print("日時データ集計")
        df = day_data(day)
        data_plot(df,day,True)
        top_20(df,day)
    elif (len(day) == 4):
        df = o_mon_data(day)
        data_plot(df,day,True)
        top_20(df,day)
    elif (day == all):
        df = month_data()
        data_plot(df,day,False)
    else:
        print("やりなおしー")
        main()

if __name__ == '__main__':
    main()


def day_data(day):
    print("これで抽出→:", day)
    yy = day[:2]
    mm = day[2:4]

top20の作成

TOTALを付与→sort→TOTAL削除
私の環境ではTOTAK行、列の削除時にちょっと怒られる。。。

#TOTALで降順ソート
data.sort_values(['TOTAL'],ascending=False,inplace=True)

#上位20位のものを使用して、行列入れ替え
pvtop20=data[:21]

#TOTAL行、列の削除
drop_idx = ['TOTAL']
pvtop20.drop(drop_idx, inplace=True)

drop_col = ['TOTAL']
pvtop20.drop(drop_col, axis=1, inplace=True)

付加情報紐づけ

キーが同じデータから紐づけ。
辞書（dict）を使う想定だったけど、
pandasの機能がすごかった。。。

print(デイリーデータ　＋アルファ)
data = pd.merge(df, tenbun_meisai, on=["キー"])

perlでのcsv集計が考え方のベースだったが
なんやかんややりたいことはできてきた。

tkinter書き忘れてたから追記

import os, tkinter, tkinter.filedialog, tkinter.messagebox

# ファイル選択ダイアログの表示
root = tkinter.Tk()
root.withdraw()

#csvを抽出したいので拡張子がcsvを表示
fTyp = [("","*.csv")]

#インプットファイルが存在するフォルダを指定
iDir = r'hoge' 

#インプットファイル選択
tkinter.messagebox.showinfo('データ抽出対象選択','処理ファイルを選択してください！')

file = tkinter.filedialog.askopenfilenames(filetypes = fTyp,initialdir = iDir)

list = []
for f in file:
    list.append(pd.read_csv(f, index_col=0).drop(['Payment Number','Refund Number'], axis=1))
df = pd.concat(list)