AI系统与训练推理工程

题集来源：阿东玩 AI（Adong）收录项目：AgentGuide查看原题集

【Timing插件实现】你在实习里写的一个timing插件，为什么要写，它底层是怎么实现的，解决了什么问题，以及为什么不用Nsight、NCU这种profiling工具直接做。「蚂蚁集团」
原题
关联题目如何设计模型执行计时插件，并与底层性能分析工具配合？AI 应用工程与治理 / 可观测性、稳定性与故障诊断方案设计深入0篇相关面经
【Transpose Kernel设计】多维tensor的transpose kernel怎么设计，是否需要根据i， j的位置设计不同的kernel。「字节跳动」
原题
关联题目多维张量的 GPU 转置 Kernel 如何设计与优化？模型训练与对齐 / 分布式训练与计算硬件方案设计深入0篇相关面经
【前缀和实现】写cuda算子：前缀和。实现一个base的，讲优化方法。「美团」
原题
关联题目实现并优化 CUDA 前缀和 Kernel。算法与编程题 / 并发、文件与工程编码代码题深入0篇相关面经
【卷积IM2COL+GEMM】卷积的实现IM2COL+GEMM。「百度」
原题
关联题目卷积如何通过 im2col 转换为 GEMM，有哪些代价？模型基础与推理 / 多模态与生成模型原理机制深入0篇相关面经
【算子优化极致判断】如何判断算子优化到极致？「百度」
原题
关联题目如何用 Roofline 与性能剖析定位和优化 GPU 算子瓶颈？模型训练与对齐 / 分布式训练与计算硬件故障排查深入0篇相关面经
【MMA与ldmatrix布局】解释mma和ldmatrix在cutlass CuTE中的thread value layout。「阿里巴巴」
原题
关联题目CuTe 中 MMA 与 ldmatrix 的线程和值布局如何对应？模型训练与对齐 / 分布式训练与计算硬件原理机制深入0篇相关面经
【Triton实现Online Softmax Attention】用Triton实现一个tiling加online softmax的Attention kernel，在SRAM上完成局部计算避免中间矩阵写入HBM，对比标准PyTorch实现，在seq_len等于2048的设定下HBM读写量减少了百分之六十。「阿里巴巴」
原题
关联题目用 Triton 实现分块与 Online Softmax 的 Attention Kernel。算法与编程题 / 并发、文件与工程编码代码题深入0篇相关面经
【矩阵乘+ReLU融合】从硬件适配、数据布局、指令调度三个维度，说明矩阵乘+ReLU融合算子的关键优化思路。「腾讯」
原题
关联题目什么是算子融合？模型训练与对齐 / 分布式训练与计算硬件原理机制基础2篇相关面经
【自定义CUDA显存分配器】现场想一个更灵活有效的显存分配方式cudaAllocator。「百度」
原题
关联题目运行时如何通过内存池、复用与原地计算降低分配开销？AI 应用工程与治理 / 模型服务、部署与交付方案设计深入0篇相关面经
【跨架构算子设计】在AI Infra底层硬件适配中，需考虑不同芯片架构(如x86、ARM、RISC-V)的指令集差异。请以“卷积算子”为例，说明如何设计跨架构兼容的算子实现方案，同时兼顾不同硬件的性能优势？「腾讯」
原题
关联题目如何设计跨处理器架构兼容且可优化的计算算子？软件工程基础 / 性能与容量工程方案设计深入0篇相关面经

题目目录

【Timing插件实现】你在实习里写的一个timing插件，为什么要写，它底层是怎么实现的，解决了什么问题，以及为什么不用Nsight、NCU这种profiling工具直接做。 「蚂蚁集团」

【Transpose Kernel设计】多维tensor的transpose kernel怎么设计，是否需要根据i， j的位置设计不同的kernel。 「字节跳动」

【前缀和实现】写cuda算子：前缀和。实现一个base的，讲优化方法。 「美团」

【卷积IM2COL+GEMM】卷积的实现IM2COL+GEMM。 「百度」

【算子优化极致判断】如何判断算子优化到极致？ 「百度」

【MMA与ldmatrix布局】解释mma和ldmatrix在cutlass CuTE中的thread value layout。 「阿里巴巴」

【Triton实现Online Softmax Attention】用Triton实现一个tiling加online softmax的Attention kernel，在SRAM上完成局部计算避免中间矩阵写入HBM，对比标准PyTorch实现，在seq_len等于2048的设定下HBM读写量减少了百分之六十。 「阿里巴巴」

【矩阵乘+ReLU融合】从硬件适配、数据布局、指令调度三个维度，说明矩阵乘+ReLU融合算子的关键优化思路。 「腾讯」

【自定义CUDA显存分配器】现场想一个更灵活有效的显存分配方式cudaAllocator。 「百度」

【跨架构算子设计】在AI Infra底层硬件适配中，需考虑不同芯片架构(如x86、ARM、RISC-V)的指令集差异。请以“卷积算子”为例，说明如何设计跨架构兼容的算子实现方案，同时兼顾不同硬件的性能优势？ 「腾讯」

【Timing插件实现】你在实习里写的一个timing插件，为什么要写，它底层是怎么实现的，解决了什么问题，以及为什么不用Nsight、NCU这种profiling工具直接做。「蚂蚁集团」

【Transpose Kernel设计】多维tensor的transpose kernel怎么设计，是否需要根据i， j的位置设计不同的kernel。「字节跳动」

【前缀和实现】写cuda算子：前缀和。实现一个base的，讲优化方法。「美团」

【卷积IM2COL+GEMM】卷积的实现IM2COL+GEMM。「百度」

【算子优化极致判断】如何判断算子优化到极致？「百度」

【MMA与ldmatrix布局】解释mma和ldmatrix在cutlass CuTE中的thread value layout。「阿里巴巴」

【Triton实现Online Softmax Attention】用Triton实现一个tiling加online softmax的Attention kernel，在SRAM上完成局部计算避免中间矩阵写入HBM，对比标准PyTorch实现，在seq_len等于2048的设定下HBM读写量减少了百分之六十。「阿里巴巴」

【矩阵乘+ReLU融合】从硬件适配、数据布局、指令调度三个维度，说明矩阵乘+ReLU融合算子的关键优化思路。「腾讯」

【自定义CUDA显存分配器】现场想一个更灵活有效的显存分配方式cudaAllocator。「百度」

【跨架构算子设计】在AI Infra底层硬件适配中，需考虑不同芯片架构(如x86、ARM、RISC-V)的指令集差异。请以“卷积算子”为例，说明如何设计跨架构兼容的算子实现方案，同时兼顾不同硬件的性能优势？「腾讯」