ragas で prompt_trace.outputs.get("output", {})[0], となったときは、Timeout を伸ばして対処

背景

ragas 2.0 を利用しようとしていて、あるとき、意味不明なエラーが出たので対処した記録

error

{path}\Lib\site-packages\ragas\callbacks.py", line 167, in parse_run_traces
    "output": prompt_trace.outputs.get("output", {})[0],
              ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~^^^

結論

直接の原因は以下のように、Time Out が発生し、その結果 outputs が欠如していたって話っぽい

Exception raised in Job[33]: TimeoutError()

で、結果が無いまま進むと、件名のエラーに

対処法

ragas.RunConfig を使って、Time Out 設定を延長してやると解決はする

Time out の延長

from ragas import RunConfig, evaluate

run_config = RunConfig(timeout=300) # timeout を伸ばす
result = evaluate(
    dataset,
    metrics=[
        faithfulness,
        ...,
    ],
    run_config=run_config # timeout を設定
)

補足

以下を見ると logging も出来るって話

log

run_config = RunConfig(timeout=120, log_tenacity=True)

あとがき

RAG としての検証は 8軸あるんかな？まずはこれらを見えるようにするのが第一目標ですね・・ :?