AI系统与训练推理工程
哪些环节最有可能成为性能瓶颈？ 「阿里巴巴」
原题图优化具体是怎么选的，开发流程是什么。 「蚂蚁集团」
原题在LLM推理里，prefill是什么意思？ 「阿里巴巴」
原题在保证准确率的前提下，是否有办法减少调用链路？ 「阿里巴巴」
原题在大模型推理服务中，如何实现高并发与低延迟？ 「字节跳动」
原题在大模型推理阶段，KV Cache的作用是什么？ 「美团」
原题在大规模推理时，如何优化显存使用？ 「腾讯」
原题在实际本地部署vLLM服务时，如何权衡上下文长度与显存占用的关系？是否应用过量化或动态批处理等技术？ 「腾讯混元」
原题在将一个千亿参数级别的多模态大模型部署到云端进行推理服务时，遇到了首字生成延迟(TTFT)过高导致用户流失的问题。在不改变模型权重和架构的前提下，你会采取哪些纯系统及工程层面的优化策略？ 「腾讯」
原题在推理中，如何平衡速度和精度的要求？ 「腾讯」
原题
暂无题目