AI系统与训练推理工程
算子融合(Operator Fusion)在推理优化中的作用、访存瓶颈分析及适用性是什么？
是否有过算子融合或KVCache优化的实践经验？
原题完整原题
【算子融合】算子融合(Operator Fusion)在推理优化中的作用、访存瓶颈分析及适用性是什么？是否有过算子融合或KVCache优化的实践经验？ 「百度、美团、腾讯混元」
【计算量与访存量】attention层的计算量和访存量的计算，mlp层的计算量 「小红书」
原题什么是训练推理一致性？
训练和推理在系统优化上有什么区别？
原题完整原题
【训练推理一致性】什么是训练推理一致性？训练和推理在系统优化上有什么区别？ 「蚂蚁集团」
来源未定义 Steady/Persistent Batching 的具体实现。
什么是连续批处理(Continuous Batching)？它与传统静态批处理、动态批处理(Dynamic Batching)、稳态批处理(Steady Batching)和持久批处理(Persistent Batching)有什么区别？
介绍continuous batching和chunked prefill。
原题完整原题
【连续批处理】什么是连续批处理(Continuous Batching)？它与传统静态批处理、动态批处理(Dynamic Batching)、稳态批处理(Steady Batching)和持久批处理(Persistent Batching)有什么区别？介绍continuous batching和chunked prefill。 「字节跳动、小红书、百度、腾讯」
Float4类型的作用是什么？它是否总是能带来性能提升？在什么场景下使用Float4会更高效？LLM任务和深度学习任务对不同数据精度格式的偏好是什么？
是否做过量化或动态批处理？
原题完整原题
【量化技术】Float4类型的作用是什么？它是否总是能带来性能提升？在什么场景下使用Float4会更高效？LLM任务和深度学习任务对不同数据精度格式的偏好是什么？是否做过量化或动态批处理？ 「百度、腾讯、阿里巴巴」
沙箱执行速度如何优化？ 「字节跳动」
原题【AdaCache】AdaCache 论文的核心亮点是什么？ 「字节跳动」
原题此处 AdaCache 指扩散特征缓存论文中的方法。
【DeepSeekV3加速】DeepSeekV3为什么快？ 「腾讯」
原题FlashAttention原理？核心原理、优化方法（如分块、Online softmax）以及flash/paged attention分块对齐。
FlashAttention V1/V2/V3核心差异及解决的问题？
FlashDecoding原理？
请分别说明各版本的优化点，包括Online softmax、CUDA kernel实现等。FlashAttention数学推理公式是什么？它如何优化内存访问？为什么计算量没减少却能加速？FlashAttention主要用在哪个阶段？attention的优化方式，flashattention怎么维护分母？
rankmixer有试过吗？
原题完整原题
【FlashAttention】FlashAttention原理？核心原理、优化方法（如分块、Online softmax）以及flash/paged attention分块对齐。FlashAttention V1/V2/V3核心差异及解决的问题？FlashDecoding原理？请分别说明各版本的优化点，包括Online softmax、CUDA kernel实现等。FlashAttention数学推理公式是什么？它如何优化内存访问？为什么计算量没减少却能加速？FlashAttention主要用在哪个阶段？attention的优化方式，flashattention怎么维护分母？rankmixer有试过吗？ 「京东、字节Seed、字节跳动、百度、腾讯、蚂蚁集团、阿里巴巴、阿里通义」
【FlashDecoding】FlashDecoding原理、与FlashAttention的区别及适用场景？ 「阿里巴巴」
原题
暂无题目