AI Infra：训练、推理与 GPU 平台工程
量化后为什么不一定更快？量化 Matmul、反量化、Prefill 和 Decode 的瓶颈如何判断？
原题流水线并行的 Bubble 从哪里来？1F1B、Zero-Bubble 与 DualPipe 如何调度？
原题如何设计大模型在线推理服务？
原题投机采样中 Draft 与 Target 模型如何交互？什么时候会加速，什么时候反而变慢？
原题MoE 的 Expert Parallel 如何做 Dispatch/Combine、负载均衡和通信优化？DeepEP/EPLB 分别解决什么问题？
原题CPU、GPU 与 NPU 的体系结构和优化目标有什么差异？如何为训练/推理工作负载选硬件？
原题Stride、View/Contiguous 与 NHWC/NCHW 如何影响张量算子的正确性和性能？
原题Prefill 与 Decode 的算子形态和瓶颈为何不同？Matmul、KV 传输和量化应如何分别优化？
原题SpMV 和 GEMM 的计算、访存特征有什么不同？优化方向如何选择？
原题Attention 与 FFN 的计算量和参数量谁更大？
原题
暂无题目