AI系统与训练推理工程
【有限算力微调】如何在有限算力下做大模型微调? 「美团」
原题【模型显存估算】10.7B/11.7B规模模型使用GRPO训练时的显存占用开销及优化方式。 「美团」
原题【训练加速】不降低效果的情况下怎么加速训练？ 「百度」
原题【长上下文显存优化】在长文本训练（如agentic场景）或生成式推荐中，用户行为序列越来越长，容易导致OOM或显存持续膨胀，你有什么好的优化方法？ 「字节跳动、美团」
原题【OOM处理】基于LibTorch Java绑定的训练框架，如何利用Java的JVM调优与Flink的内存管理，避免OOM以保障训练稳定？ 「阿里巴巴」
原题【推理瓶颈诊断】有没有性能瓶颈？ 「腾讯」
原题【尾延迟】尾延迟是啥？ 「腾讯」
原题【KV Cache】KV Cache是什么？其原理是什么？缓存的是什么，为什么要做这个缓存？为什么是KV Cache而不是Q Cache？KV-Cache如何优化？如何帮助推理加速？KVCache的优化方法有哪些？ 「百度、阿里通义」
原题【Prefill与Decode阶段】预填充阶段（Prefill）和解码阶段（Decode）有什么区别？ 「小红书、腾讯」
原题【vLLM】是否了解 vLLM 框架? 「快手」
原题
暂无题目