ChatGPTとPythonで学ぶ Prophet #Python

皆さんこんにちは。今日も引き続きChatGPT先生をお招きして、「ChatGPTとPythonで学ぶ Prophet」というテーマで雑談したいと思います。それではChatGPT先生、よろしくお願いします。

assistant:

こんにちは、よろしくお願いします。今日はProphetについて学びますね。

ProphetはFacebookが開発した時系列解析を行うためのライブラリです。Prophetはトレンドや周期性などのパターンを捉えるために特に設計されています。これらのパターンはビジネスや経済、天候等の時間的変動を含む多くの問題に適用できます。

それではPythonを使って具体的な使い方を見てみましょう。まずはライブラリをインストールします:

!pip install pandas prophet

user:

ありがとうございます。それでは、Prophetについて学ぶためのPythonコードを書いてください。その際に、型ヒントも導入してください。コード中に日本語での説明も可能な限り詳しくお願いします。Pythonのコーディング規約PEP8に準拠してください。

assistant:

まずは、Prophetを用いて簡単な時系列予測を作成する例を示します。今回はProphetの公式ドキュメントの例題を参考にしました。
航空旅客数のデータセットを用いて、その未来の航空旅客数を予測します。

import pandas as pd
from prophet import Prophet

# データの読み込み
df = pd.read_csv('https://raw.githubusercontent.com/jbrownlee/Datasets/master/airline-passengers.csv')

# Prophetで扱うために、列名を調整
df.columns = ['ds', 'y']

# ds(日付)列をdatetime型に変換
df['ds'] = pd.to_datetime(df['ds'])

# モデルのインスタンス化
m = Prophet()

# モデルの学習
m.fit(df)

# 未来の日付フレームを作成 (ここでは1年分を指定)
future = m.make_future_dataframe(periods=365)

# 予測
forecast = m.predict(future)

# 予測結果のプロット
m.plot(forecast)

pythonのコードは上記となります。まずcsvファイルからデータをロードし、その後列名をProphetが理解できる形式に変えます。

次に、Prophetモデルのインスタンスを作成し、モデルにデータを適合させます。

未来の日付のデータフレームを作成した後、この日付に対する予測を行います。

最後に、結果のプロットを行います。予測された数値は青色のラインで描画され、不確実性の範囲は青色の帯で示されます。ここで言う不確実性の範囲とは、モデルが予測する「95%信頼区間」を表しています。

Prophetはその用途と規模により、より高度な設定や調整も可能な強力なツールです。情報が多すぎて迷ったら公式のドキュメントを参考にすると良いでしょう。

user:

最後の１年は実測値ではなく予測結果なんですね？

assistant:

その通りです。m.make_future_dataframe(periods=365)この部分のコードで次の1年分の「未来」の日付群を作成し、それに対してm.predict(future)で予測を行っています。したがって、最後の1年間の数値は予測結果となります。

なお、ここでProphetが予測値と共に出力している不確実性の範囲は、予測の信頼度を見積もるためのものです。大まかな傾向をつかむには役立つツールですが、正確な数値を必要とする場合や重大な意思決定を行う場面では、その限界を理解した上で使用することが重要です。

user:

ありがとうございます。Prophetの特徴を、ARIMA、SARIMA、GARCH と比較しながら詳しく説明していただけますか？

assistant:

時系列分析ではいくつかの主要な手法があります。それぞれの特性を知ることで、適切な手法を選択できます。それぞれの特性の概要を以下にまとめました。

ARIMA（Autoregressive Integrated Moving Average）: 自己回帰統合移動平均は、時系列データのトレンドやパターンを捉えるために広く使用されている手法です。このモデルは非季節性データに適していますが、季節性パターンを効果的に捉えることは難しいです。
SARIMA（Seasonal ARIMA）: SARIMAは季節性を含む時系列データに適用されます。これはARIMAに季節性成分を追加したモデルで、季節性パターンを考慮に入れることが可能です。
GARCH（Generalized Autoregressive Conditional Heteroskedasticity）: GARCHは、時系列データの変動が時間によって変化する状況（条件付き不均一分散）をモデル化できます。主に金融データなど、数値が大きく上下するケースで使用されます。
Prophet: ProphetはFacebookによって開発された手法で、ビジネスの視点から時系列予測を行うために設計されました。ARIMAやSARIMAと同じく、トレンドや季節性を捉えることができます。また、Prophetの大きな特徴としては、「休日効果」もモデルに組み込むことができます。これは他の手法が持たない特性であり、ビジネスの現場で頻繁に必要となる機能です。さらにProphetは欠損値がある場合でも予測が可能で、トレンドの変化点の自動検出、不確実性の推定を行うことができます。

以上が各モデルの一部の特徴です。それぞれの手法には長所と短所があり、使用するデータや問題の内容によってどの手法を使用するべきかが変わることを念頭に置いておくことが重要です。

user:

Prophetにはどのようなパラメーターがありますか？

assistant:

Prophetは多くのパラメータを持っていますが、その中でも特に重要で主なパラメータをいくつか示します：

growth: 'linear'または'logistic'を選びます。デフォルトは'linear'です。これは予測の背後にある全体的なトレンドの形状を指定します。'logistic'を選んだ場合は、予測の上限と下限を指定することも重要になります。
holidays: Prophetは特定の日付に対する影響（例えば休日やイベントなど）を持つことができます。このパラメータでは、それらの日付とその影響を指定できます。
seasonality_mode: 'additive'または'multiplicative'を選ぶことができます。これは季節性の成分が足される形（'additive'）になるか、掛けられる形（'multiplicative'）になるかを指定します。デフォルトは'additive'です。
n_changepoints: トレンドが変化する可能性のある点の数を指定します。デフォルトは25です。
changepoint_prior_scale: トレンドの変化の柔軟性を制御します。値が大きいほど、より大きなトレンドの変化を許容します。デフォルトは0.05です。

これらはあくまで一部のパラメータであり、Prophetには更に多くのパラメータがあります。パラメータの詳細やその他のパラメータについては、公式ドキュメントを参照することを推奨します。

user:

「Prophetの大きな特徴としては、「休日効果」もモデルに組み込むことができます。」とありますが、どの日が休日か、ユーザが指定する必要があるでしょうか？

assistant:

はい、その通りです。Prophetで休日効果を考慮するためには、ユーザが自分で休日と休日の影響を定義する必要があります。具体的にはPandasのDataFrameを作成し、それをモデルに渡します。

例えば、次のように休日を定義することができます。

holidays = pd.DataFrame({
  'holiday': 'my_holiday',
  'ds': pd.to_datetime(['2022-12-25', '2023-12-25']),
  'lower_window': 0,
  'upper_window': 1,
})

ここで'lower_window'と'upper_window'は休日の前後何日間を休日効果の影響範囲とするかを定義するパラメータです。上記の例では、休日の当日から翌日までを休日の影響範囲としています。

このように定義した休日のデータフレームをProphetのモデルに渡すことで、予測時に休日効果を考慮することができます。

m = Prophet(holidays=holidays)
...

ただし、注意点としてProphetの休日機能は、休日がデータセットの全体的な傾向に大きな影響を与える場合にのみ有用です。休日がそれほど影響を与えないケースでは、休日を考慮することでむしろモデルが過学習を起こす可能性もあります。

user:

「Prophetは欠損値がある場合でも予測が可能で、トレンドの変化点の自動検出、不確実性の推定を行うことができます。」とありますが、トレンドの変化点の自動検出をする例を書いてください。

assistant:

Prophetはデータから自動的にトレンドの変化点を検出し、それをモデルに組み込むことができます。

以下に示すのは、Prophetのデフォルト設定（25の変化点を自動的に抽出する）で、自動的にトレンドの変化点が検出され、変化点のプロットを表示する例です。

from prophet import Prophet
import pandas as pd

# データの読み込みと列名の設定
df = pd.read_csv('https://raw.githubusercontent.com/jbrownlee/Datasets/master/airline-passengers.csv')
df.columns = ['ds', 'y']
df['ds'] = pd.to_datetime(df['ds'])

# モデルのインスタンス化とフィッティング
m = Prophet()
m.fit(df)

# 変化点のプロット
from matplotlib import pyplot as plt
fig = m.plot(df)
a = add_changepoints_to_plot(fig.gca(), m, df)
plt.show()

上記のプログラムは航空旅客数のデータを用いています。add_changepoints_to_plot()関数を用いることで、モデルにより特定された変化点（ここでは旅客数のトレンドに変化が見られる点）がある列をプロットします。プロットでは、自動的に検出された変化点が縦の赤線として表示されます。

なお、Prophetライブラリを使用しながら特定の数の変化点を指定したい場合や、一部の特定の日に強制的に変化点を設けたい場合には、それらを指定することも可能です。具体的にはn_changepointsパラメータやchangepointsパラメータを設定することにより調整可能です。詳しくはProphetの公式ドキュメントをご参照ください。

user:

ありがとうございます。上記コードをベースに、下記エラーを修正した全コードを書いてください。またその際に、型ヒントも導入してください。コード中に日本語での説明も可能な限り詳しくお願いします。Pythonのコーディング規約PEP8に準拠してください。

13:01:14 - cmdstanpy - INFO - Chain [1] start processing
13:01:14 - cmdstanpy - INFO - Chain [1] done processing
/home/ikemen/.local/lib/python3.10/site-packages/prophet/plot.py:72: FutureWarning: The behavior of DatetimeProperties.to_pydatetime is deprecated, in a future version this will return a Series containing python datetime objects instead of an ndarray. To retain the old behavior, call `np.array` on the result
  fcst_t = fcst['ds'].dt.to_pydatetime()
/home/ikemen/.local/lib/python3.10/site-packages/prophet/plot.py:73: FutureWarning: The behavior of DatetimeProperties.to_pydatetime is deprecated, in a future version this will return a Series containing python datetime objects instead of an ndarray. To retain the old behavior, call `np.array` on the result
  ax.plot(m.history['ds'].dt.to_pydatetime(), m.history['y'], 'k.',
---------------------------------------------------------------------------
KeyError                                  Traceback (most recent call last)
File /usr/local/lib/python3.10/site-packages/pandas/core/indexes/base.py:3790, in Index.get_loc(self, key)
   3789 try:
-> 3790     return self._engine.get_loc(casted_key)
   3791 except KeyError as err:

File index.pyx:152, in pandas._libs.index.IndexEngine.get_loc()

File index.pyx:181, in pandas._libs.index.IndexEngine.get_loc()

File pandas/_libs/hashtable_class_helper.pxi:7080, in pandas._libs.hashtable.PyObjectHashTable.get_item()

File pandas/_libs/hashtable_class_helper.pxi:7088, in pandas._libs.hashtable.PyObjectHashTable.get_item()

KeyError: 'yhat'

The above exception was the direct cause of the following exception:

KeyError                                  Traceback (most recent call last)
Cell In[3], line 15
     13 # 変化点のプロット
     14 from matplotlib import pyplot as plt
---> 15 fig = m.plot(df)
     16 a = add_changepoints_to_plot(fig.gca(), m, df)
     17 plt.show()

File ~/.local/lib/python3.10/site-packages/prophet/forecaster.py:1886, in Prophet.plot(self, fcst, ax, uncertainty, plot_cap, xlabel, ylabel, figsize, include_legend)
   1866 def plot(self, fcst, ax=None, uncertainty=True, plot_cap=True,
   1867          xlabel='ds', ylabel='y', figsize=(10, 6), include_legend=False):
   1868     """Plot the Prophet forecast.
   1869 
   1870     Parameters
   (...)
   1884     A matplotlib figure.
   1885     """
-> 1886     return plot(
   1887         m=self, fcst=fcst, ax=ax, uncertainty=uncertainty,
   1888         plot_cap=plot_cap, xlabel=xlabel, ylabel=ylabel,
   1889         figsize=figsize, include_legend=include_legend
   1890     )

File ~/.local/lib/python3.10/site-packages/prophet/plot.py:75, in plot(m, fcst, ax, uncertainty, plot_cap, xlabel, ylabel, figsize, include_legend)
     72 fcst_t = fcst['ds'].dt.to_pydatetime()
     73 ax.plot(m.history['ds'].dt.to_pydatetime(), m.history['y'], 'k.',
     74         label='Observed data points')
---> 75 ax.plot(fcst_t, fcst['yhat'], ls='-', c='#0072B2', label='Forecast')
     76 if 'cap' in fcst and plot_cap:
     77     ax.plot(fcst_t, fcst['cap'], ls='--', c='k', label='Maximum capacity')

File /usr/local/lib/python3.10/site-packages/pandas/core/frame.py:3893, in DataFrame.__getitem__(self, key)
   3891 if self.columns.nlevels > 1:
   3892     return self._getitem_multilevel(key)
-> 3893 indexer = self.columns.get_loc(key)
   3894 if is_integer(indexer):
   3895     indexer = [indexer]

File /usr/local/lib/python3.10/site-packages/pandas/core/indexes/base.py:3797, in Index.get_loc(self, key)
   3792     if isinstance(casted_key, slice) or (
   3793         isinstance(casted_key, abc.Iterable)
   3794         and any(isinstance(x, slice) for x in casted_key)
   3795     ):
   3796         raise InvalidIndexError(key)
-> 3797     raise KeyError(key) from err
   3798 except TypeError:
   3799     # If we have a listlike key, _check_indexing_error will raise
   3800     #  InvalidIndexError. Otherwise we fall through and re-raise
   3801     #  the TypeError.
   3802     self._check_indexing_error(key)

KeyError: 'yhat'

assistant:

上記のエラーは、m.plot(df)にてdfを入力として使用しているため、エラー「KeyError: 'yhat'」が発生しています。このコードではm.plot()にはトレーニングデータではなく、予測結果を渡す必要があります。

また、add_changepoints_to_plot()を使うためには、from fbprophet.plot import add_changepoints_to_plotというインポート行も追加する必要があります。

なお、型ヒントとはPythonの機能で、関数の引数や返り値などの型を明示的に指定できます。型ヒントがあると、コードを読む人がその変数がどのような型であるべきかをすぐに把握することができ、エラーの防止やデバッグを容易にします。ただし、上記のコードでは関数が使われていないため、型ヒントが必要な部分はありません。

以上の点を反映した修正版のコードは以下の通りです。このコードはPythonのコーディング規約PEP8に準拠しています。

from prophet import Prophet
from prophet.plot import add_changepoints_to_plot
from matplotlib import pyplot as plt
import pandas as pd

# データの読み込みと列名の設定
df = pd.read_csv('https://raw.githubusercontent.com/jbrownlee/Datasets/master/airline-passengers.csv')
df.columns = ['ds', 'y']
df['ds'] = pd.to_datetime(df['ds'])

# モデルのインスタンス化とフィッティング
m = Prophet()
m.fit(df)

# 予測期間の作成と予測の実行
future = m.make_future_dataframe(periods=365)
forecast = m.predict(future)

# 変化点のプロット
fig = m.plot(forecast)
a = add_changepoints_to_plot(fig.gca(), m, forecast)
plt.show()

上記のコードは、航空旅客数のデータを用いてProphetによる時系列予測を行い、その予測結果とトレンドの変化点をプロットしています。add_changepoints_to_plot()関数を用いることで、自動的に検出されたトレンドの変化点がプロットに表示されます。

user:

縦に描かれた赤い波線が、自動的に検出されたトレンドの変化点ですかね。

assistant:

そうです。Prophetが自動的に検出したトレンドの変化点は、プロット上で縦の赤い線として表示されます。これらの変化点は、時系列データのトレンドが変わる可能性があるポイントを表しています。Prophetはこれらのポイントを特定し、それを考慮した上で予測を行います。

user:

その他にも、Prophetができる機能はありますか？

assistant:

はい、Prophetは多岐にわたる機能を提供しています。以下に、いくつかの主要な機能を示します：

外れ値の取り扱い: Prophetは外れ値の影響を受けにくいです。外れ値は通常、極端な値をとるデータポイントを指し、これらはしばしば予測モデルの学習を妨げます。しかし、Prophetはこれらの影響を軽減することができます。
欠損値の取り扱い: Prophetは欠損値を無視して予測を行うことができます。つまり、完全な時系列データがない場合でも、それらの間の予測を生成することができます。
異なる複数の周期性の取り扱い: Prophetは年次、週次、日次など、データに存在する複数の周期性を自動的に検出し、それらを考慮して予測を行います。
トレンドの変化点の自動検出: Prophetはデータから自動的にトレンドの変化点を検出し、それを予測に反映します。
休日効果の考慮: Prophetはユーザーが指定した休日やイベントの影響を考慮して予測を行います。
不確実性の推定: Prophetは予測の不確実性を推定し、それを含めた予測区間を提供します。これにより、予測結果の信頼度を把握することができます。
モデルの可視化: Prophetは、予測結果や成分をプロットし、モデルの理解を助けるツールを提供します。

これらはProphetが提供する一部の機能に過ぎません。Prophetは柔軟性が高く、各種のパラメータや設定を調整することで、さまざまなシナリオや要件に対応することが可能です。

user:

なるほど、だいたい雰囲気は掴めました。ありがとうございます！

assistant:

どういたしまして！もし他にProphetや時系列解析についての質問があれば、いつでもお気軽にどうぞ。それらに関連する問題を解決するお手伝いをいたします。また、他の分析手法やプログラミングに関する質問も歓迎します。引き続きどうぞよろしくお願いいたします！

user:

最後に、Prophetをネタにしたコントを創作してください。

assistant:

コントシチュエーション: あるデータ分析チームのオフィス

【登場人物】

ボス（Boss）
分析チームのメンバーA（Member A）
分析チームのメンバーB（B）
Prophet（Prophet）

【コント開始】

（ボスが突然部屋に現れる）

Boss: 「おはよう、皆。私たちのクライアントは次の四半期の売上予測を待っている。それには時系列分析が必要だ。どうする？」

Member A: 「そうだね、ARIMAモデルを使ってみるのはどうだろう？」

Member B: 「それは良いけど、季節性や休日効果を考慮するのは大変だよ。」

（そこへ、神秘的な存在であるProphetが登場）

Prophet: 「私が助けてあげましょう。」

Member A: 「あ、Prophet！ARIMAよりも使い勝手が良くて、欠損値のあるデータでも問題ないんだよね？」

Prophet: 「その通り。さらに、トレンドの変化点を自動的に検出して、休日効果も考慮しますよ。」

Member B: 「素晴らしい！それならあとは不確実性の推定をしてくれれば、完璧だね。」

Prophet: 「それもバッチリです。不確実性の推定も提供します。」

Boss: 「素晴らしい、ではProphetに任せよう。次の四半期の売上予測、期待していますよ！」

Prophet: 「任せてください！」

（笑い声と拍手で幕）

【コント終了】

このコントでは、様々な機能を持っているProphetモデルがヒーローのように登場し、チームの問題を解決するというストーリーを描いています。ユーモラスなやり取りを通じて、Prophetが提供する主要な機能が紹介されています。

user:

オチはないんですか？オチは？

assistant:

大変失礼しました。オチを含めたコントを再度作成いたします。

【コント開始】

（ボスが突然部屋に現れる）

Boss: 「皆さん、明日までに来年の売上予測が必要だ！」

Member A: 「ええっ、1年分のデータを分析して予測を出すなんて…」

Member B: 「しかも休日や特別なイベントなどを考慮に入れるとなると…」

（その時、神秘的な存在であるProphetが登場）

Prophet: 「そんな時は私にお任せを」

Member A: 「Prophet君だ！頼りになるね。」

Prophet: 「休日や特別なイベントもしっかり予測に反映させるよ」

Boss: 「すばらしい！明日までには大丈夫だな？」

Prophet: 「もちろんです。ただし...」

Boss: 「ただし、何だ？」

Prophet: 「デバッグは自分でお願いします！」

（一同、笑いながら）: 「なんとー！」

【コント終了】