背景

ragas でも言語設定があったのでメモ

記録

2025/1

ragas 2.12 かな

with language

metrics = [
    ContextRecall(llm=evaluator_llm),
    ContextEntityRecall(llm=evaluator_llm),
    ContextPrecision(llm=evaluator_llm),
    ResponseRelevancy(llm=evaluator_llm, embeddings=evaluator_embeddings),
    Faithfulness(llm=evaluator_llm),
    NoiseSensitivity(llm=evaluator_llm),
]
metrics_with_language = await update_metrics(metrics, language="japanese", llm=evaluator_llm)

2024 年度

sentence_segmenter も設定出来ていたが、以下で削除となった。
背景については追ってないので、詳細知りたければ以下からどうぞ

with language

from ragas.metrics.base import get_segmenter
sentence_segmenter = get_segmenter(language="japanese", clean=False)
metrics = [
    ContextRecall(llm=evaluator_llm),
    ContextEntityRecall(llm=evaluator_llm),
    ContextPrecision(llm=evaluator_llm),
    ResponseRelevancy(llm=evaluator_llm, embeddings=evaluator_embeddings),
    Faithfulness(llm=evaluator_llm, sentence_segmenter=sentence_segmenter),
    NoiseSensitivity(llm=evaluator_llm, sentence_segmenter=sentence_segmenter),
]
metrics_with_language = await update_metrics(metrics, language="japanese", llm=evaluator_llm)

あとがき

version lock せずに追従すると、色々大変よね。
運用じゃなく試作なので、 lock はしたくないんだけど