概要

Pythonでやった作業について，忘れないようまとめます。
※Pythonの学習中に行ったことなので、もっと便利な関数や手法があるかもしれません。

ファイルパスの操作（OSモジュールを使用）

ファイル名（拡張子付き）の取り出し

import os
fpath="aaa/bbb/ccc/ddd.png"
fname=os.path.basename(fpath)
# ddd

ファイル名（拡張子なし）の取り出し

import os
fpath="aaa/bbb/ccc/ddd.png"
fname=os.path.splitext(os.path.basename(fpath))[0]
# ddd

拡張子のみの取り出し

import os
fpath="aaa/bbb/ccc/ddd.png"
fname=os.path.splitext(os.path.basename(fpath))[1]
# .png

ディレクトリパスの取り出し

import os
fpath="aaa/bbb/ccc/ddd.png"
fname=os.path.dirname(fpath)
# aaa/bbb/ccc

ファイルパスからファイル名のみを抜き出す(OSモジュールを使用せず)

splitを使う

fpath="aaa/bbb/ccc/ddd.png"
f_split=fpath.split('/')
fname=f_split[-1]

split()で区切り文字で分割，分割した配列の最後がファイル名．
区切り文字はあらかじめ調べるor決める必要がある
参考：javascript（nodejs）でフルパスからファイル名のみを取得する方法 - Nodachisoft

正規表現を使う

import re
fpath="aaa/bbb/ccc/ddd.png"
m = re.match(r".+[\\/](.+?)([-_.]*)?$",fpath)  
print(m[1])
# ddd.png

参考：Pythonでパス文字列からファイル名・フォルダ名・拡張子を取得、結合 | note.nkmk.me

ファイル読み書きテンプレ

JSON

#.jsonの読み取り
import json
with open("test_r.json","r",encoding="utf-8") as f:
    d_read=json.load(f)
#.jsonへ書き込み
with open("test_w.json", 'w',encoding="utf-8") as f:
    json.dump(d_write, f, indent=2,ensure_ascii=False)

保存時、indentを付けることでインデントが付き、ensure_ascii

DataFrameのよく使う？操作

NaN埋め、型変換

指定した列のみを型変換する場合

l_cols=['A','B','C']
d_rep={}
for col in ctg_columns:
    d_rep[col]=str
df=df.astpye(d_rep)

列名:型の辞書型を作成し、.astypeに指定する。
.fillnaも同じ手法でできる

l_cols=['A','B','C']
d_rep={}
for col in ctg_columns:
    d_rep[col]=0
df=df.fillna(d_rep)

df.groupbyをグループごとにfor文で回す

import pandas as pd
for idx,df_group in df.groupby(["馬番","着順"]):
    # 何かの処理
    print(idx)

正規表現の利用

正規表現で途中にある数値を取得

re.searchを使うことで文字列の途中からマッチする。

import re
fname="hogehoge24.png"
m=re.match(r"[0-9]{1,2}",fname)
print(m[0])
#24

ファイル名のパターンが決まっているなら、間の文字列を抜き出すことでも取り出せる。
「(.+)」で任意の１文字以上の文字列にマッチする。

import re
fname="hogehoge24.png"
m=re.match(r"[0-9]{1,2}",fname)
m=re.search(r"hogehoge(.+)\.png",fname) 
print(m[1])
#24

re.matchだと先頭からのマッチとなり、途中にあるパターンを抜き出せない。
参考：【python】re.match より re.search を使おう
　　　正規表現でファイルの拡張子を取り除く方法。

datetimeをdatetimeに変換

Javascriptから取得した時刻をPythonのdatetimeに変換する

convert_datetime.py

import re
from datetime import datetime
time_JS="2022-12-28T12:58:30+09:00"
# 年・月・日を取得
m=re.search("([0-9]{4})-([0-9]{2})-([0-9]{2})",time_JS)
# 時・分・日を取得
m2=re.search("([0-9]{2}):([0-9]{2}):([0-9]{2})",time_JS)
# Pythonのdatetimeに変換
res_datetime=datetime(int(m[1]),int(m[2]),int(m[3]),int(m2[1]),int(m2[2]),int(m2[3]))
print(res_datetime)

GPX(xml)を処理し、座標データをDataframeにする

やったこと：StravaのGPXデータから，GoogleMapから取得した座標データと最も近い点を求め，そこを通過した時刻を出力

実装概要

ElementTreeによるxmlデータの読み込み
緯度・経度・時刻をDataframeに格納
Dataframeと指定した緯度・経度を比較し最も近い値の時刻を出力

Pythonによるxmlの読み込み

xml.etree.ElementTreeという標準ライブラリを使う．
https://qiita.com/sino20023/items/0314438d397240e56576
https://pg-chain.com/python-xml-elementtree

import xml.etree.ElementTree as ET
tree = ET.parse('_3776_day1_.xml')
root = tree.getroot()
# root[0]:<metadata>，root[1]:<trk>.root[1]の2つ目？を↓で取り出す．
tree_trkseg = root[1][2]
for child in tree_trkseg:
    print(child.attrib['lat'],child.attrib['lon'],child[1].text)

このFor文によって、緯度・経度・時刻を抜き出すことができる。

必要なデータをDataframeに格納

緯度・経度・時間の３つを格納したDataframeの作成

df_cdata = pd.DataFrame(columns=['lat','lon','time'])

for child in tree_trkseg:
    # lat（緯度）lon（経度）time（時間）をデータフレームに格納
    df_cdata=df_cdata.append(pd.Series([child.attrib['lat'],child.attrib['lon'],child[1].text],index=df_cdata.columns),ignore_index=True)

１行目で空のDataframeを作成、２行目のFor文で緯度・経度・時刻の入ったpd.Seriesを作成し、１行目のDataframeにappendします。

指定した座標とマッチング

緯度・経度ともにDataframeから最も近い値をそれぞれ探し，その時刻を出力します．
こちらのサイトを参考に、入力した値から一番差が少ないDataframeの行を出力しました。
https://funmatu.wordpress.com/2018/10/01/pandas-dataframe%E5%86%85%E3%81%8B%E3%82%89%E6%9C%80%E3%82%82%E8%BF%91%E3%81%84%E5%80%A4%E3%82%92%E6%8E%A2%E3%81%99/

l_lat = df['lat'].sub(SEARCHLAT).abs().argsort()[:5]
l_lon = df['lon'].sub(SEARCHLON).abs().argsort()[:5]
for i in l_lat:
    print(i,df['time'][i])
print("===============================")
for i in l_lon:
    print(i,df['time'][i])

緯度・経度で別々の行が出力されるため，近い順に5行の時刻を出力した後、最も近い（と思われる）値を参考にしました。

Python備忘録

概要