实现动态 Batching 调度器,满批或等待超过 20 毫秒刷新,并避免慢请求阻塞整批。

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

1 篇

拼多多

大模型研发
一面
查看原面经 →
手撕:实现一个动态 batching 的调度器。请求随时进来,攒到 batch size 或者超过 20 毫秒就 flush,要求单线程安全,且不能因为一个慢请求拖住整批。
他问慢请求怎么办
他问超时之后那个请求的结果怎么返回
他问那它占的显存什么时候释放

相关题目

4 题