AI系统与训练推理工程
“百分之三十”未说明对应的指标与取值条件。
从工程角度看，你是如何优化大模型训练和推理效率的？
优化大模型推理速度的方法。优化都有哪些方向，每个方向下有什么优化方法？
你在LLM推理优化方面做了哪些工作？
你具体看到了什么、你做了什么、你怎么判断哪些算子值得优化？
你怎么判断当前是高峰期？百分之三十这个值怎么选的？
prefill和decode在GPU上的计算特征有什么区别？
你知道哪些大模型推理中的算子融合案例？
原题完整原题
从工程角度看，你是如何优化大模型训练和推理效率的？优化大模型推理速度的方法。优化都有哪些方向，每个方向下有什么优化方法？你在LLM推理优化方面做了哪些工作？你具体看到了什么、你做了什么、你怎么判断哪些算子值得优化？你怎么判断当前是高峰期？百分之三十这个值怎么选的？prefill和decode在GPU上的计算特征有什么区别？你知道哪些大模型推理中的算子融合案例？ 「字节跳动、百度、美团、腾讯混元、阿里巴巴、阿里通义」
你们的项目耗费的token情况？ 「阿里巴巴」
原题倒排表与BitSet优化，这种优化对CPU和内存的具体收益是什么？ 「阿里巴巴」
原题假如需要支持Streaming输出，但当前服务延迟又超标，你会怎么折中设计？ 「百度」
原题假设在项目上线前，发现模型推理延迟过高，你会如何快速定位和优化？ 「京东」
原题分层面阐述推理优化思路，结合阿里跨境场景说明具体适配方法。 「阿里巴巴」
原题分析动态批处理与静态批处理的优缺点，以及在高并发低延迟场景中如何设计批处理策略平衡吞吐量与响应时间？动态批处理了解过吗？动静态检测了解多少？ 「腾讯、阿里巴巴」
原题“动静态检测”未说明检测对象与判定规则。
同一个batch内的prompt之间可能有共同的前缀，怎么在prefill阶段利用它来减少重复计算？ 「字节跳动」
原题后处理计算速度有哪些困难，如何解决？ 「美团」
原题吞吐量的定义是什么？ 「字节Seed」
原题
暂无题目