能動的推論エージェントのモニタリング機能の実装を検討します。
モニタリング指標
このモニタリングシステムの観測指標は以下の通りとします。
| 指標名 | 意味する内容 |
|---|---|
|
Belief States Evolution 信念状態の推移 |
・ エージェントの状態認識の推移 ・ 1に近いほどその状態である確信が強い ・ 0に近いほどその状態でないと判断 |
|
Belief Stability 信念の安定性の時系列変化 |
・ 値が小さいほど信念が安定 ・ 値が大きいほど信念が不安定 ・ 学習の収束度を示す指標 |
|
Action Selection Probability 行動選択確率 |
・ 行動選択の偏りを表示 ・ 均等な分布は探索的な行動を示す ・ 偏りは特定行動への収束を示す |
|
Action Selection Trend 行動選択の傾向変化 |
・ 行動選択戦略の変化を示す ・ 高い値は特定行動の優位性 ・ 変動は戦略の探索を示す |
|
Free Energy Evolution 変分自由エネルギーの推移 |
・ モデルの予測精度を示す ・ 値が小さいほど予測が正確 ・ 上昇は予測精度の低下を示す |
|
Prediction Error 予測誤差 |
・ 予測の正確さを直接的に示す ・ 値が小さいほど予測が正確 ・ 変動は予測の不安定さを示す |
実装
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from collections import defaultdict
class MonitoringSystem:
def __init__(self):
"""モニタリングシステムの初期化"""
self.history = defaultdict(list)
def record(self, **kwargs):
"""
データの記録
Parameters:
-----------
**kwargs : 記録するデータの名前と値のペア
"""
for key, value in kwargs.items():
self.history[key].append(value)
def analyze_beliefs(self):
"""信念状態の分析"""
beliefs = np.array(self.history['beliefs'])
# 基本統計量の計算
mean_beliefs = np.mean(beliefs, axis=0)
std_beliefs = np.std(beliefs, axis=0)
# 信念の安定性（分散の時間変化）
stability = np.array([np.var(beliefs[max(0, i-10):i+1], axis=0)
for i in range(len(beliefs))])
return {
'mean_beliefs': mean_beliefs,
'std_beliefs': std_beliefs,
'stability': stability
}
def analyze_actions(self):
"""行動選択の分析"""
actions = np.array(self.history['actions'])
# 行動の頻度分析
action_counts = np.bincount(actions)
action_probs = action_counts / len(actions)
# 行動の時間的変化（移動平均）
window_size = 10
action_trends = np.array([np.mean(actions[max(0, i-window_size):i+1])
for i in range(len(actions))])
return {
'action_probs': action_probs,
'action_trends': action_trends
}
def analyze_learning(self):
"""学習過程の分析"""
free_energy = np.array(self.history['free_energy'])
observations = np.array(self.history['observations'])
# 自由エネルギーの変化
fe_trend = np.array([np.mean(free_energy[max(0, i-10):i+1])
for i in range(len(free_energy))])
# 予測誤差の計算
predicted_obs = np.array(self.history['predicted_observations'])
prediction_errors = np.abs(predicted_obs - observations)
return {
'fe_trend': fe_trend,
'prediction_errors': prediction_errors
}
def plot_comprehensive_analysis(self):
"""包括的な分析結果の可視化"""
belief_analysis = self.analyze_beliefs()
action_analysis = self.analyze_actions()
learning_analysis = self.analyze_learning()
fig = plt.figure(figsize=(15, 12))
gs = fig.add_gridspec(3, 2)
# 信念状態の推移
ax1 = fig.add_subplot(gs[0, 0])
beliefs = np.array(self.history['beliefs'])
for i in range(beliefs.shape[1]):
ax1.plot(beliefs[:, i], label=f'State {i}')
ax1.set_title('Belief States Evolution')
ax1.set_xlabel('Time Step')
ax1.set_ylabel('Probability')
ax1.legend()
# 信念の安定性
ax2 = fig.add_subplot(gs[0, 1])
for i in range(belief_analysis['stability'].shape[1]):
ax2.plot(belief_analysis['stability'][:, i],
label=f'State {i} Stability')
ax2.set_title('Belief Stability')
ax2.set_xlabel('Time Step')
ax2.set_ylabel('Variance')
ax2.legend()
# 行動選択の傾向
ax3 = fig.add_subplot(gs[1, 0])
ax3.bar(range(len(action_analysis['action_probs'])),
action_analysis['action_probs'])
ax3.set_title('Action Selection Probability')
ax3.set_xlabel('Action')
ax3.set_ylabel('Probability')
# 行動の時間的変化
ax4 = fig.add_subplot(gs[1, 1])
ax4.plot(action_analysis['action_trends'])
ax4.set_title('Action Selection Trend')
ax4.set_xlabel('Time Step')
ax4.set_ylabel('Action Probability')
# 自由エネルギーの推移
ax5 = fig.add_subplot(gs[2, 0])
ax5.plot(learning_analysis['fe_trend'])
ax5.set_title('Free Energy Evolution')
ax5.set_xlabel('Time Step')
ax5.set_ylabel('Free Energy')
# 予測誤差の推移
ax6 = fig.add_subplot(gs[2, 1])
ax6.plot(learning_analysis['prediction_errors'])
ax6.set_title('Prediction Error')
ax6.set_xlabel('Time Step')
ax6.set_ylabel('Error')
plt.tight_layout()
plt.show()
def save_analysis_report(self, filename='analysis_report.txt'):
"""分析レポートの保存"""
belief_analysis = self.analyze_beliefs()
action_analysis = self.analyze_actions()
learning_analysis = self.analyze_learning()
with open(filename, 'w') as f:
f.write("Active Inference Agent Analysis Report\n")
f.write("=====================================\n\n")
f.write("1. Belief State Analysis\n")
f.write("-----------------------\n")
f.write(f"Mean beliefs: {belief_analysis['mean_beliefs']}\n")
f.write(f"Belief stability: {np.mean(belief_analysis['stability'])}\n\n")
f.write("2. Action Selection Analysis\n")
f.write("---------------------------\n")
f.write(f"Action probabilities: {action_analysis['action_probs']}\n")
f.write(f"Action trend stability: {np.std(action_analysis['action_trends'])}\n\n")
f.write("3. Learning Process Analysis\n")
f.write("---------------------------\n")
f.write(f"Mean free energy: {np.mean(learning_analysis['fe_trend'])}\n")
f.write(f"Mean prediction error: {np.mean(learning_analysis['prediction_errors'])}\n")
使用例
# 使用例
def demo_monitoring():
# モニタリングシステムの初期化
monitor = MonitoringSystem()
# シミュレーションデータの生成（例）
n_steps = 100
n_states = 3
# ダミーデータの生成と記録
for t in range(n_steps):
beliefs = np.random.dirichlet(np.ones(n_states))
action = np.random.choice([0, 1])
free_energy = np.random.normal(-1, 0.1)
observation = np.random.randint(0, 4)
predicted_obs = np.random.randint(0, 4)
monitor.record(
beliefs=beliefs,
actions=action,
free_energy=free_energy,
observations=observation,
predicted_observations=predicted_obs
)
# 分析の実行と可視化
monitor.plot_comprehensive_analysis()
monitor.save_analysis_report()
if __name__ == "__main__":
demo_monitoring()
各グラフセットが6つの指標を示しています。
このグラフセットから以下の特徴が読み取れます：
- 行動選択は比較的バランスが取れている
- エージェントの学習は完全な収束には至っていない
- 信念状態は継続的に更新され、固定化されていない
- 予測精度に改善の余地がある