RAG 链路过长、首 Token 延迟高时,怎样定位并精简模型调用?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

1 篇

虾皮

Java 后端开发实习生
实习二面
查看原面经 →
你说 RAG 链路太长,具体是哪些环节导致首字 Token 延迟高?
为什么一开始要设计这么长的链路?
后续你打算怎么减少大模型调用次数或降低延迟?

相关题目

4 题