AI Infra：训练、推理与 GPU 平台工程
如何用 Roofline 和算术强度指导 CUDA 算子优化？从 GEMM 分块到寄存器压力如何逐层定位？
原题FlashAttention 为什么更快？Online Softmax、Tiling、重计算和不同版本分别解决什么瓶颈？
原题KV Cache 占用如何计算，为什么不能只按请求数做容量规划？
原题如何从模型结构估算参数量、FLOPs、训练显存、推理访存与 MFU？
原题如何估算 All-Reduce/All-to-All 通信量并实现计算通信重叠？拓扑和 RDMA 如何影响结果？
原题GPU 内存层次如何使用？Pinned Memory、Shared Memory、Bank Conflict 与异步 H2D/D2H 分别解决什么问题？
原题vLLM/SGLang 的请求调度与 Continuous Batching 如何工作？请求被抢占后如何恢复？
原题大模型训练吞吐低时，如何用 MFU、Profiler、通信和流水线空泡定位瓶颈？
原题CUDA 的 Thread、Warp、Block、Grid 和 SM 如何映射？SIMT、同步与 Warp 分歧如何影响性能？
原题FP8、NVFP4、INT8 与 W4A16 的数值格式、缩放粒度和硬件执行路径有何不同？
原题量化后为什么不一定更快？量化 Matmul、反量化、Prefill 和 Decode 的瓶颈如何判断？
原题流水线并行的 Bubble 从哪里来？1F1B、Zero-Bubble 与 DualPipe 如何调度？
原题如何设计大模型在线推理服务？
原题投机采样中 Draft 与 Target 模型如何交互？什么时候会加速，什么时候反而变慢？
原题MoE 的 Expert Parallel 如何做 Dispatch/Combine、负载均衡和通信优化？DeepEP/EPLB 分别解决什么问题？
原题CPU、GPU 与 NPU 的体系结构和优化目标有什么差异？如何为训练/推理工作负载选硬件？
原题Stride、View/Contiguous 与 NHWC/NCHW 如何影响张量算子的正确性和性能？
原题Prefill 与 Decode 的算子形态和瓶颈为何不同？Matmul、KV 传输和量化应如何分别优化？
原题SpMV 和 GEMM 的计算、访存特征有什么不同？优化方向如何选择？
原题Attention 与 FFN 的计算量和参数量谁更大？
原题CUDA Graph 为什么能降低推理开销？为什么可能额外占显存，Prefill 与 Decode 哪个阶段更适合？
原题PD 分离解决什么问题，Prefill 与 Decode 资源比例怎么定？
原题模型版本升级如何做到可观测、可灰度、可回滚？
原题CUDA、Triton、CUTE 与 MLIR 分别位于什么抽象层？算子编译链和选型依据是什么？
原题KV Cache 命中率如何评估与优化？
原题AIOps 如何结合告警、Metrics、Logs、Trace 和服务拓扑完成证据驱动的 RCA，并安全执行自动处置？
原题DeepSpeed ZeRO 的三个阶段分别做什么？
原题大模型训练出现 OOM 时，如何定位原因并进行显存优化？
原题训练与推理引擎的核心模块、底层工作与优化方向是什么？
原题AI Infra 和 Agent Infra 有什么区别？
原题如果让你设计一个生产级 AI Infra 平台，你会怎么拆？
原题分布式训练为什么容易失败，如何恢复？
原题GPU 利用率很低，但请求延迟很高，怎么排查？
原题GPU 上的同步方法代码可能有哪些问题，如何排查？
原题原题未附具体同步代码。
GPU 峰值性能、计算单元与寄存器等硬件参数如何影响算子性能？
原题Nsight Compute（ncu）和 Nsight Systems（nsys）有什么区别？分别适合分析什么问题？
原题推测解码中如何生成树状候选草稿？
原题SIMD 与 RVV 向量化计算如何处理尾部元素？
原题GPU 调度和普通 CPU 调度有什么不同？
原题
暂无题目