本記事ではcubic splineを用いて、時系列データを補間する方法を紹介します。
スッと出来るようになりたいのですが、使いたいときには忘れている。。。
補間処理する前にデータの時間単位を細かくするところがポイントです。

はじめに

センサーデータ等で複数のデータを取り扱う際にデータの時系列的に同期取れていない場合、補完処理が必要になる。例えば、こんなデータがあるとする。

data1とdata2があって、時系列が一見あっているように見えるが、、、実は合っていない。

こんなデータを機械学習の学習データとして取り扱うには、補間処理が必要となる。
また、ミリ秒単位のデータとなっているため、データ量削減のために秒単位のデータにしたい。

結果のイメージ

結果のイメージはこちら↓

元データ(x)に対して、補間した新しいデータ(○)が1秒単位に整形され、かつ元のデータと同じ曲線上にあり、尤もらしい値を取っているように見えるようになりました。
(あくまで補間なので本当に、その時点でその値になったとは保証できません。)

補間処理の手法はいくつかありますが、今回はcubic補間法を適用しました。cubic補間は、スプライン曲線を使用してデータを滑らかに補間する方法です。スプライン曲線は、前後のデータ含めた3点から、滑らかな曲線を生成します。
そのため、最初のデータは前の時点のデータがないため、次点のデータをそのまま採用しています。ご注意ください。

手順の詳細

以下の手順にそって詳細です。

データの時系列を丸める(四捨五入する)

まずは、データを細かくした上で補間するため、処理しやすいようにデータを丸めます。

df1['Timestamp'] = df1['Timestamp'].dt.round("0.1S") # 100ミリ秒以下を丸める
df2['Timestamp'] = df2['Timestamp'].dt.round("0.1S") # 100ミリ秒以下を丸める

ここで100ミリ秒単位で四捨五入することで誤差が発生するため、丸める単位は各自で検討願います。

                   Timestamp  Value1
0 2023-08-24 15:00:19.292372   25.65
1 2023-08-24 15:00:20.392646   25.62
2 2023-08-24 15:00:21.394758   25.61
3 2023-08-24 15:00:22.395541   25.59
4 2023-08-24 15:00:23.396453   25.62
5 2023-08-24 15:00:24.397867   25.64
6 2023-08-24 15:00:25.401104   25.62
7 2023-08-24 15:00:26.400618   25.65
8 2023-08-24 15:00:27.401027   25.62
9 2023-08-24 15:00:28.402504   25.61

↑こういったデータが↓こうなります。

                Timestamp  Value1
0 2023-08-24 15:00:19.300   25.65
1 2023-08-24 15:00:20.400   25.62
2 2023-08-24 15:00:21.400   25.61
3 2023-08-24 15:00:22.400   25.59
4 2023-08-24 15:00:23.400   25.62
5 2023-08-24 15:00:24.400   25.64
6 2023-08-24 15:00:25.400   25.62
7 2023-08-24 15:00:26.400   25.65
8 2023-08-24 15:00:27.400   25.62
9 2023-08-24 15:00:28.400   25.61

扱うデータを外部結合する

次に今回扱うデータは2系統なので2つのデータを外部結合し、歯抜けデータを作ります。

data_list = pd.merge(df1,df2,on = "Timestamp", how='outer') # 外部結合 該当するTimestampがない場合はNaNで行追加

この時点ではデータは以下のようになります。

Timestamp                Value1  Value2
2023-08-24 15:00:19.300   25.65     NaN
2023-08-24 15:00:19.400     NaN   25.60
2023-08-24 15:00:20.400   25.62   25.61
2023-08-24 15:00:21.400   25.61   25.64
2023-08-24 15:00:22.400   25.59   25.61
2023-08-24 15:00:23.400   25.62   25.61
2023-08-24 15:00:24.400   25.64   25.64
2023-08-24 15:00:25.300     NaN   25.65
2023-08-24 15:00:25.400   25.62     NaN
2023-08-24 15:00:26.400   25.65   25.64

NaNになっているところが歯抜け(同期がとれていない箇所）です。

resampleしてデータを時系列として細分化

次にresampleして、100ミリ秒間隔になるようにデータを追加していきます。

                         Value1  Value2
Timestamp
2023-08-24 15:00:19.300   25.65     NaN
2023-08-24 15:00:19.400     NaN    25.6
2023-08-24 15:00:19.500     NaN     NaN
2023-08-24 15:00:19.600     NaN     NaN
2023-08-24 15:00:19.700     NaN     NaN
2023-08-24 15:00:19.800     NaN     NaN
2023-08-24 15:00:19.900     NaN     NaN
2023-08-24 15:00:20.000     NaN     NaN
2023-08-24 15:00:20.100     NaN     NaN
2023-08-24 15:00:20.200     NaN     NaN

こんな感じに大量の時間情報だけの空行をつくります。

ようやく補間

pandasのinterpolate関数をつかって補間します。methodパラメータを指定することで様々な補間方法を試せます。

data_list["Value1"].interpolate(method="cubic",inplace = True)
data_list["Value2"].interpolate(method="cubic",inplace = True)

結果は↓

                            Value1     Value2
Timestamp
2023-08-24 15:00:19.300  25.650000        NaN
2023-08-24 15:00:19.400  25.644600  25.600000
2023-08-24 15:00:19.500  25.639902  25.596373
2023-08-24 15:00:19.600  25.635849  25.594123
2023-08-24 15:00:19.700  25.632385  25.593119
2023-08-24 15:00:19.800  25.629457  25.593230
2023-08-24 15:00:19.900  25.627007  25.594326
2023-08-24 15:00:20.000  25.624980  25.596276
2023-08-24 15:00:20.100  25.623322  25.598949
2023-08-24 15:00:20.200  25.621976  25.602215

先頭データ以外は補間することができました。

1秒単位に切り出し

補間自体は既にできましたが、100ミリ秒単位だとデータが膨大になってしまうため、1秒単位に切り出します。

data_list_re = data_list.resample('1S').first() # resamplingにより1秒単位の先頭を採用

２つのデータのおなじタイミングでの値を得ることができましたね。

                        Value1     Value2
Timestamp
2023-08-24 15:00:19  25.650000  25.600000
2023-08-24 15:00:20  25.624980  25.596276
2023-08-24 15:00:21  25.615800  25.633970
2023-08-24 15:00:22  25.594596  25.624164
2023-08-24 15:00:23  25.603977  25.604015
2023-08-24 15:00:24  25.638535  25.628176
2023-08-24 15:00:25  25.624601  25.648887
2023-08-24 15:00:26  25.639300  25.646490
2023-08-24 15:00:27  25.636437  25.625883
2023-08-24 15:00:28  25.607431  25.623818

ソースコード

import matplotlib.pyplot as plt
from matplotlib.dates import MicrosecondLocator, SecondLocator
from datetime import datetime
import pandas as pd

data1 = [
[25.65,"2023-08-24 15:00:19.292372"],
[25.62,"2023-08-24 15:00:20.392646"],
[25.61,"2023-08-24 15:00:21.394758"],
[25.59,"2023-08-24 15:00:22.395541"],
[25.62,"2023-08-24 15:00:23.396453"],
[25.64,"2023-08-24 15:00:24.397867"],
[25.62,"2023-08-24 15:00:25.401104"],
[25.65,"2023-08-24 15:00:26.400618"],
[25.62,"2023-08-24 15:00:27.401027"],
[25.61,"2023-08-24 15:00:28.402504"],
[25.66,"2023-08-24 15:00:29.435129"],
]

data2 = [
[25.60,"2023-08-24 15:00:19.432731"],
[25.61,"2023-08-24 15:00:20.430275"],
[25.64,"2023-08-24 15:00:21.438256"],
[25.61,"2023-08-24 15:00:22.427294"],
[25.61,"2023-08-24 15:00:23.431058"],
[25.64,"2023-08-24 15:00:24.434484"],
[25.65,"2023-08-24 15:00:25.336280"],
[25.64,"2023-08-24 15:00:26.434633"],
[25.62,"2023-08-24 15:00:27.448013"],
[25.63,"2023-08-24 15:00:28.439745"],
[25.64,"2023-08-24 15:00:29.401826"],
[25.65,"2023-08-24 15:00:30.404341"],
]

df1 = pd.DataFrame(data1, columns=['Value1', 'Timestamp'])
df2 = pd.DataFrame(data2, columns=['Value2', 'Timestamp'])
# Timestamp列をdatetime型に変換
df1['Timestamp'] = pd.to_datetime(df1['Timestamp'])
df2['Timestamp'] = pd.to_datetime(df2['Timestamp'])

df1 = df1[['Timestamp', 'Value1']]# 列の順番を入れ替える

df1['Timestamp'] = df1['Timestamp'].dt.round("0.1S") # 100ミリ秒以下を丸める
df2['Timestamp'] = df2['Timestamp'].dt.round("0.1S") # 100ミリ秒以下を丸める

data_list = pd.merge(df1,df2,on = "Timestamp", how='outer') # 外部結合 該当するTimestampがない場合はNaNで行追加
data_list = data_list[['Timestamp', 'Value1', 'Value2']]# 列の順番を入れ替える
data_list = data_list.sort_values('Timestamp') # 日付順にSort
data_list.set_index("Timestamp", inplace = True) # 補完処理のためにindexにdateを指定

data_list = data_list.resample('0.1S').mean() #100ミリ秒単位にデータを追加

#補間処理を実施し、NaNになっている個所へ値をはめていく
data_list["Value1"].interpolate(method="cubic",inplace = True)
data_list["Value2"].interpolate(method="cubic",inplace = True)

data_list_re = data_list.resample('1S').first() # resamplingにより1秒単位の先頭を採用

fig, ax = plt.subplots(figsize=(10, 6))  # グラフのサイズを調整

# 元データをplot
ax.plot(df1['Timestamp'], df1['Value1'], marker='x', linestyle='', color='b', label='data1')
ax.plot(df2['Timestamp'], df2['Value2'], marker='x', linestyle='', color='g', label='data2')

# 補間したcubic spline曲線
ax.plot(data_list.index, data_list['Value1'], marker='', linestyle='-', color='b')
ax.plot(data_list.index, data_list['Value2'], marker='', linestyle='-', color='g')

# 補間したcubic spline曲線のうち1秒単位の時点
ax.plot(data_list_re.index, data_list_re['Value1'], marker='o', linestyle='', color='b', label='data1-new')
ax.plot(data_list_re.index, data_list_re['Value2'], marker='o', linestyle='', color='g', label='data2-new')

# 秒単位のグリッドを追加
ax.xaxis.set_major_locator(SecondLocator(interval=1))  # 秒単位のメジャーロケータ
ax.xaxis.set_minor_locator(MicrosecondLocator(interval=1000*100)) # 100m秒単位のメジャーロケータ

plt.xlabel('Timestamp')
plt.ylabel('Value')
plt.legend()
plt.xticks(rotation=45)  # X軸のラベルを45度回転して表示
plt.grid()

plt.tight_layout()  # レイアウト調整
plt.show()  # グラフの表示

以上。