AI系统与训练推理工程
【线上高峰吞吐量】线上高峰吞吐量大概是多少? 「字节跳动」
原题【训练与推理区别】大模型训练和推理的区别 「字节跳动」
原题【Agent部署问题】Agent部署时遇到哪些问题? 「美团」
原题【AI服务完整流程】能描述一下从用户请求、模型训练到在线serving的完整流程吗? 「字节跳动」
原题【API超时与报错处理】如果遇到api超时和报错怎么解决? 「字节跳动」
原题【DCGM监控告警】DCGM监控告警怎么搭? 「美团」
原题【K8s配置与指标注入】怎么修改k8s里面的config正则表达来注入指标? 「阿里巴巴」
原题来源未提供待修改的 config 正则表达式。
【PD分离推理框架】PD分离推理框架:vLLM / TensorRT (Sglang了解不多) nano-vLLM。 「百度」
原题【Pod自动恢复】Pod挂了怎么自动恢复? 「美团」
原题【Text Generation Inference】Text generation inference的优点、缺点、功能有哪些?以及如何使用docker运行web server? 「腾讯混元」
原题
暂无题目