返回全部题目← 上一题59 / 114下一题 →题库/模型训练与对齐/Q-5599如何用 Roofline 与性能剖析定位和优化 GPU 算子瓶颈？知识专题：分布式训练与计算硬件题目类型：故障排查技术难度：深入收录题集：8 份暂无参考答案未标记未标记待复习已掌握收藏询问 AI选择 AI 平台KimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）自动带入当前题目本题目录收录题集相关题目收录题集8 份AI Infra 面试指南阿东玩 AI · AgentGuide · 1 条原题查看题集 →怎样判断一个算子是 compute-bound 还是 memory-bound？LLM推理系统问答阿东玩 AI · AgentGuide · 1 条原题查看题集 →原文作者Lamhot Siagian / AI Engineering Insider How would you profile an LLM inference workload to identify whether it is compute-bound or memory-bandwidth-bound?AI系统与训练推理工程阿东玩 AI · AgentGuide · 17 条原题查看题集 →你具体看到了什么、你做了什么、你怎么判断哪些算子值得优化？算子强度的定义归一化怎么做的？信号的意义？ 「字节Seed」【算子优化】算子优化到极致如何判断？能不能继续优化？算子访存效率、计算能到多满，怎么评估？ 「百度」展开其余 14 条原题【访存优化】如何通过优化访存来提升性能？ 「字节Seed」【CUDA优化技术概述】解释CUDA编程中的常见优化技术。 「蚂蚁集团」【DeepGEMM】有没有了解deepgemm？ 「阿里巴巴」【Global Memory访问优化】如何高效地访问Global Memory？ 「百度」【Shared Memory vs HBM】加载到shared memory和直接从HBM取input比为什么更快(取得数组里面数的数目都是一样的)？ 「阿里巴巴」【算子优化手段】常用的算子优化手段？ 「百度」【Softmax优化】CUDA softmax 优化。 「百度」【SRAM与HBM带宽优化】它们如何利用GPU SRAM与HBM之间的带宽瓶颈进行优化？ 「字节跳动」【Tiling Block Size选择】你的tiling block size怎么选的？为什么这样选？ 「阿里巴巴」【算子优化极致判断】如何判断算子优化到极致？ 「百度」【操作类型与计算限制】大矩阵相乘和求和类操作分别属于哪类限制(memory bound 或者 compute bound)? 「字节Seed」【GPU性能与能效优化】GPU的性能优化方法；GPU的能效比优化。 「百度」【Memory-bound判断指标】如何判断memory-bound？用什么指标判断？ 「阿里巴巴」【Roofline模型】Roofline分析？ 「阿里巴巴」项目论文与经历阿东玩 AI · AgentGuide · 1 条原题查看题集 →实习经历深度拷打重点问到一个算子要不要优化，如何判断，以及如果决定优化，具体怎么做。快手高频面试题Rocky Ding · AIGC-Interview-Book · 5 条原题查看题集 →Attention算子主要优化点如何判断算子存在问题如何根据profile结果做算子优化展开其余 2 条原题是否了解Roofline屋顶线模型算子优化常见两类瓶颈是什么展开剩余 3 份题集模型部署精华 · 推理部署综述Rocky Ding · AIGC-Interview-Book · 5 条原题查看题集 →（进阶）如何判断推理瓶颈在计算、访存还是调度？（进阶）什么是内核优化？通常会优化哪些方面？计算瓶颈和访存瓶颈在推理中分别有哪些典型表现？展开其余 2 条原题什么是计算强度？它为什么重要？（进阶）如何用Roofline模型理解推理性能上限？模型部署精华 · 性能分析与调优工具Rocky Ding · AIGC-Interview-Book · 6 条原题查看题集 →Nsight Compute 的核心指标有哪些？occupancy、算力利用率、内存带宽利用率如何解读？（进阶）如何用 Nsight Compute 的 Roofline 分析图和 Source Page 定位 Kernel 瓶颈？如何判断一个 Kernel 或模型是 Compute-Bound 还是 Memory-Bound？典型信号有哪些？展开其余 3 条原题（进阶）如何用 Roofline 模型结合硬件理论算力与带宽上限，设定合理的优化目标？（进阶）如何识别模型推理中的算子级热点？对 cost 最高的单算子如何进一步下钻分析？如何建立 Profile → Analyze → Hypothesize → Optimize → Verify 的闭环调优流程？AI Infra：训练、推理与 GPU 平台工程Onefly · zero2Agent · 2 条原题查看题集 →如何用 Roofline 和算术强度指导 CUDA 算子优化？从 GEMM 分块到寄存器压力如何逐层定位？GPU 峰值性能、计算单元与寄存器等硬件参数如何影响算子性能？相关题目4 题0030DCU 与 GPU 有什么区别？同一知识专题题目类型：比较选型技术难度：进阶相关面经：2 篇0031SIMT 有什么特点，遇到分支会发生什么？同一知识专题题目类型：原理机制技术难度：进阶相关面经：1 篇0032GPU 的存储层次和计算单元如何组织？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0033DCU 如何把数据传入寄存器，并在芯片上共享？同一知识专题题目类型：原理机制技术难度：进阶相关面经：1 篇♥♥♥♥♥← 上一题已到最后一题← 上一题Ray 如何调度任务，并处理 Worker、节点和对象故障？下一题 →分布式训练的集合通信量如何估算，怎样实现计算通信重叠？
