AI系统与训练推理工程
【vLLM稳定性与高效性】VLLM在大规模训练中，如何确保稳定性和高效性？ 「腾讯」
原题【vLLM部署与调优】怎么用vLLM部署并调优一个推理服务？ 「美团」
原题【云平台与自建平台对比】你如何看待云厂商的AI平台（如SageMaker， VertexAI）和自建平台之间的取舍（Build vs. Buy）？ 「美团」
原题【低延迟高吞吐技术选型】客户要求同时满足低延迟和高吞吐，如何进行技术方案选型？ 「腾讯」
原题【向量索引系统改造】假如你要引入向量索引系统，在线serving服务要做什么改造？ 「腾讯」
原题【大模型推理算力分配与负载均衡】对DeepSeek 671B模型进行推理时，是如何做算力分配和负载均衡的？ 「字节跳动」
原题【工程优化与模型微调权衡】你们会怎么判断这个问题是通过工程链路优化就够了，还是需要做模型微调和训练？ 「字节Seed」
原题【推理服务自动扩缩容】如何设计一个AI推理服务的自动扩缩容策略？ 「腾讯」
原题【推理框架搭建】推理框架是如何搭建的？ 「阿里通义」
原题【模型Serving设计】什么是模型serving，如何设计一个高性能的模型serving系统？ 「蚂蚁集团」
原题
暂无题目