Ragas

Ragasとは

• Ragas は、検索拡張生成 (RAG) パイプラインの評価に役立つフレームワーク

• 公式ページ

  • https://docs.ragas.io/en/stable/#

• Metricsがいっぱい用意されている

  • Faithfulness(忠実度)
  • Answer Relevance
  • Context Precision
  • Context Relevancy
  • Context Recall
  • Context entities recall
  • Answer semantic similarity
  • Answer Correctness
  • Aspect Critique