RAG 評価指標チートシート

RAGの指標は、おおむね次の4つの層に分けられます。

Retrieverは見つけられるか
        ↓
Contextは完全で、ノイズがないか
        ↓
Generatorは正しく、証拠に基づいて回答できるか
        ↓
システム全体が安全で、高速かつ経済的か

従来の検索指標は、通常、手作業でラベル付けした関連文書から直接計算でき、LLM Judgeを必要としません。現在のNVIDIAのRetriever評価には、Precision、Recall、nDCG、MAP、Reciprocal Rank、Success@kが含まれています。Ragas、AWS、Databricksは、Context、Groundedness、Correctness、Citationなど、RAG全体を対象とする指標を補っています。

@k は検索結果の先頭 k 件だけを確認することを表します。たとえば Recall@10 は先頭10件だけを見ます。

1. 検索・ランキング指標

直感的な理解

Hit@k：
少なくとも1つ見つかったか？

Recall@k：
見つけるべき証拠のうち、どれだけ見つかったか？

Precision@k：
検索結果のうち、本当に役立つものはどれだけか？

nDCG@k：
最も重要な証拠が最上位にあるか？

All-Evidence@k：
証拠チェーンがすべてそろっているか？

All-Evidence@k は実用的なエンジニアリング用カスタム指標ですが、Recall、nDCG、MAPのように統一された標準名称があるわけではありません。設計時には「証拠グループ」を単位にラベル付けし、同じ要件を満たす複数の同等な証拠を許容するとよいでしょう。

2. Contextの品質指標

従来のRetriever指標は、一般に手作業でラベル付けした関連文書に依存します。一方、Context系の指標では、最終的に生成モデルへ渡すContextがクリーンで、完全かつ十分かを、参照回答やLLM Judgeで判定することが多くなっています。

Context RecallとRecall@kの違い

Recall@k：
手作業でラベル付けした関連文書または証拠IDに基づいて計算する。

Context Recall：
参照回答に含まれる事実を基に、それらをContextから支えられるかを判定する。

3. 回答生成の品質指標

CorrectnessとFaithfulnessは異なる

Correctness：
回答は現実または標準回答に照らして正しいか？

Faithfulness：
回答は検索されたContextから支えられるか？

たとえば、次のような場合があります。

回答は正しいが、Contextによる裏付けがない。
→ モデルが自分の記憶から推測し、たまたま正解した可能性がある。

回答はContextに忠実だが、回答自体は誤っている。
→ ナレッジベースの文書が古いか、もともと誤っている可能性がある。

4. 引用品質の指標

たとえば、次のようになります。

回答に10個の事実が含まれている。
そのうち2つだけを引用し、その2つの引用はどちらも正しい。

Citation Precision = 高い
Citation Coverage = 低い

5. 拒否・回答可能性の指標

「回答がよいか」だけを評価するのでは不十分です。システムがいつ拒否すべきかを理解しているかも評価する必要があります。

理想的な状態は次のとおりです。

証拠がある → 正しく回答する
証拠がない → 拒否する
曖昧さがある → 先に確認する
権限がない → アクセスを拒否する

6. セキュリティ、権限、本番指標

これらは必ずしも統一された学術指標ではありませんが、企業で導入する際には通常、ハードなRelease Gateとして扱うべきです。

セキュリティ指標は通常、次を要求すべきです。

Unauthorized Retrieval Rate = 0
Cross-tenant Leakage Rate = 0

権限漏えいを、他の品質指標の改善で相殺してはいけません。

7. 最初に推奨する最小限の指標セット

RAGシステムを構築し始めたばかりなら、すべての指標を一度に実装する必要はありません。まずは次のセットから始められます。

この組み合わせは、次のように覚えられます。

Recall：
すべて見つけられたか？

nDCG：
ランキングはよいか？

All-Evidence：
証拠チェーンはそろっているか？

Context Precision：
ノイズはどれくらいあるか？

Correctness：
回答は正しいか？

Faithfulness：
回答は証拠に基づいているか？

Completeness：
回答に抜けはないか？

Citation：
引用は正確かつ完全か？

Refusal：
証拠がないときに作り話をしないか？

Latency / Cost / ACL：
システムを安全に本番投入できるか？

参考資料

• NVIDIA NeMo Evaluator Retriever Metrics https://docs.nvidia.com/nemo/microservices/latest/evaluator/metrics/retriever.html
• Ragas Context Precision https://docs.ragas.io/en/stable/concepts/metrics/available_metrics/context_precision/
• AWS Bedrock Knowledge Base Evaluation Metrics https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base-eval-llm-results.html
• Microsoft RAG Evaluation Guidance https://learn.microsoft.com/en-us/azure/architecture/ai-ml/guide/rag/rag-llm-evaluation-phase