RAG 系统上线后无法逐条人工查看时,怎样持续评估检索和回答质量?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

1 篇

快手

后端开发工程师
一面
查看原面经 →
评测集阶段可以自己构造数据测试,但真正上线以后不可能每次人工看答案,上线以后怎么知道系统效果好不好?
追问
有没有什么办法去看上线之后的检索效果?回答效果应该怎么评估?
追问
如果暂时不考虑耗时,主要看“检索内容对不对、生成答案好不好”,应该怎么看这些质量?
追问
现在已经有很多线上 RAG 系统,业界一般怎么做 RAG 效果评估?
追问
你自己会怎么评估?

相关题目

4 题