AI系统与训练推理工程
在端到端延迟必须控制在50毫秒以内的限制下，你会怎么权衡模型的各个模块结构？ 「腾讯」
原题在规划模块中如何避免频繁的内存分配导致的延迟尖刺？ 「腾讯」
原题多模态大模型的推理效率如何优化？ 「京东」
原题大模型在decode阶段跑batch和只跑一个有什么区别？ 「小红书」
原题大模型推理优化手段：模型量化、蒸馏、KV缓存、批处理推理原理。 「阿里通义」
原题大语言模型上下文很长时，kv cache显存爆炸的解决方案。 「蚂蚁集团」
原题算子强度的定义归一化怎么做的？信号的意义？ 「字节Seed」
原题“归一化怎么做的？信号的意义？”未给出指标、公式或前文所指，需补充上下文。
【Attention加速】在推荐系统或NLP领域，有哪些方法可以加速attention算子的计算？是否了解dpattention？ 「字节Seed、百度、阿里巴巴」
原题dpattention 未提供具体实现与版本。
【FlashAttention】讲一下FlashAttention的核心原理、思想和做法，以及它主要解决了大模型训练/推理中的什么瓶颈？ 「字节跳动、百度、美团」
原题【FLOPs估算】推理时FLOPs大概多少？计算量(FLOPs)是如何估算的？ 「快手、阿里巴巴」
原题
暂无题目