AI系统与训练推理工程
【SFT训练资源配置】SFT训练使用了多少张卡？训练多久？训练20m数据使用了多少张卡？ 「京东、拼多多、美团、蚂蚁集团」
原题【并行方式概述】请解释DP（数据并行）、TP（张量并行）、PP（流水线并行）的概念，并重点介绍DP的原理。另外，3种并行方式可以吗？ 「百度、腾讯混元」
原题【混合精度训练概念】混合精度训练是什么？ 「京东、阿里巴巴」
原题【3D并行适用性】平民适不适合玩3D并行？ 「腾讯混元」
原题【AllReduce算法与应用】解释AllReduce算法及其在分布式训练中的应用。 「蚂蚁集团」
原题【BatchSize选择】BatchSize怎么选？ 「百度文心」
原题【DDP原理】问我用的什么分布式训练方法，然后让我介绍DDP。 「百度」
原题【DP与PP关系】DP和PP是二选一吗？ 「阿里通义」
原题【FSDP与ZeRO】FSDP实现了ZeRO哪几个阶段？FSDP介绍？讲一下ZeRO。 「腾讯、蚂蚁集团、阿里巴巴」
原题【GPU资源配置】训练GPU资源配置如何？ 「腾讯」
原题【LoRA训练资源】LoRA 你用了多少卡？ 「美团」
原题【Megatron评价】Megatron行不行？ 「蚂蚁集团」
原题【Micro-Batch与Global Batch】Micro-Batch(MB)和GlobalBatch(GB)之间有什么区别？ 「阿里通义」
原题【Offload归属】Offload是用在Megatron还是ZeRO中？ 「阿里通义」
原题【Tensor并行与数据并行区别】解释Tensor并行和数据并行的区别。 「蚂蚁集团」
原题【torchrun】torchrun是做什么用的？ 「阿里通义」
原题【TT与TP概念】大模型训练中的TT、TP是什么？ 「京东」
原题来源未展开 TT。
【verl框架】verl是什么？ 「蚂蚁集团」
原题【ZeRO三个阶段】论文用DeepSpeed，三个Stage(ZeRO-1/2/3)分别是什么？ 「字节跳动」
原题【分布式并行策略】分布式训练中有哪些并行策略？针对大模型参数规模很大的情况，常见策略包括Tensor Parallel、Pipeline Parallel、Data Parallel等，请列举并简要说明。 「字节跳动、腾讯、阿里巴巴」
原题【分布式训练实现方式】通过配置文件实现分布式训练还是手搓代码？ 「腾讯」
原题【分布式训练常见问题】分布式训练遇到过什么问题？ 「字节跳动」
原题【分布式训练框架概览与选型】你了解哪些分布式训练框架？如何选择分布式训练框架？请结合你使用过的分布式训练方法或框架，说明在构建大规模并行训练系统时，如何进行框架选型？你了解或熟练使用过哪些训练框架？请列举，例如Megatron、DeepSpeed等。 「京东、腾讯、腾讯混元、阿里巴巴」
原题【分布式训练通信协议】大模型分布式训练的通信协议？ 「阿里通义」
原题【大模型并行方式】知道哪些大模型加速方式，数据并行、模型并行、序列并行等？简单介绍一些你知道的大模型并行方式。 「字节Seed」
原题【并行化动机】为什么要做并行化/并行化/并行策略？ 「字节Seed、字节跳动」
原题【批量化数据特征】什么样特征的数据可以被批量化处理？ 「字节Seed」
原题【数据并行原理与优缺点】解释数据并行(DataParallelism)的工作原理及其优缺点。 「蚂蚁集团」
原题【数据量扩大应对策略】如果数据量扩大怎么办？ 「字节跳动」
原题【梯度累加原理】梯度累加的原理是什么？ 「阿里巴巴」
原题【流水线并行bubble】流水线并行中的 bubble 是什么? 「字节Seed」
原题【流水线并行通信内容】流水线并行中的通信内容是什么? 「字节Seed」
原题【流水线并行通信原语】流水线并行通过哪些通信原语进行通信? 「字节Seed」
原题【混合精度计算】请解释AI-HPC中的混合精度计算。 「百度、腾讯」
原题【训练框架选择】用什么方式什么训练框架训练模型。 「京东」
原题【通信原语】有哪些通信原语?集合通信原语有哪些？ 「字节Seed」
原题【Adapter权重合并梯度爆炸】合并adapter权重的时候有没有遇到梯度爆炸？ 「美团」
原题【AllReduce算法对比】NCCL/MCCL集合通信中Ring AllReduce与Tree AllReduce的带宽与延迟差异 「腾讯混元」
原题【AllReduce通信量计算】有4块卡，数据被切成了4份，每个卡上有一份数据，设一次通信量是x，如果要实现一次All Reduce操作，需要多少通信量？ 「阿里巴巴」
原题【ColossalAI并行维度】ColossalAI有1D/2D/2.5D/3D，是什么情况？ 「腾讯混元」
原题【CPU-GPU通信瓶颈与优化】在分布式AI训练中，CPU和GPU之间的通信瓶颈是如何产生的？有哪些优化方法（如NCCL、RDMA）可以减少通信开销？ 「百度」
原题【DDP通信优化】DDP 的 gradient bucket 和 overlap 通常是如何隐藏通信开销的? 「字节跳动」
原题【DDP通信模式】中心DDP和P2P的通信过程是怎样的？请详细描述两种通信模式的流程和区别。 「字节Seed」
原题原文“中心 DDP”未说明指参数服务器还是框架数据并行。
「京东、字节跳动、腾讯混元、阿里巴巴、阿里通义」
讲一下DeepSpeed，DDP和FlashAttention。
知道DeepSpeed和Megatron吗？是否了解DeepSpeed？
deepspeed训练过程，报找不到主机。
介绍一下deepspeed的关键配置参数，及其含义?
多机训练不通，DeepSpeed配置问题。
原题完整原题
【DeepSpeed概述与故障排查】讲一下DeepSpeed，DDP和FlashAttention。知道DeepSpeed和Megatron吗？是否了解DeepSpeed？deepspeed训练过程，报找不到主机。介绍一下deepspeed的关键配置参数，及其含义? 多机训练不通，DeepSpeed配置问题。 「京东、字节跳动、腾讯混元、阿里巴巴、阿里通义」
【DP并行负载均衡】做分布式部署，DP并行，只有rank0负载过高怎么办？请分析DP并行负载均衡问题及解决方案。 「阿里巴巴」
原题【EP并行头拆分】用单卡做的工作还是多卡，多卡时有考虑ep并行的头拆分问题吗？ 「腾讯」
原题来源未说明 EP“头拆分”的具体含义。
【EP通信操作】ep的dispatch和combine 「阿里巴巴」
原题【Expert Parallel实现】ep 如何实现的? MoE 的 expert parallel 如何做的? 「美团、腾讯」
原题【FSDP版本对比】FSDP2和FSDP1的区别 「阿里巴巴」
原题【Gang Scheduling】Gang Scheduling(帮派调度)在AI训练场景中的必要性 「腾讯」
原题llm训练资源多少，并行方式如何，你训练了多久，
调整了哪些参数，
训练过程中有遇到什么问题吗？
原题完整原题
【LLM训练经验】llm训练资源多少，并行方式如何，你训练了多久，调整了哪些参数，训练过程中有遇到什么问题吗？ 「腾讯」
「字节跳动」
多机多卡训练里LoRA微调、全参数微调分别怎么操作，
LoRA原理、常用超参（R、alpha）、加在哪些层？
原题完整原题
【LoRA微调与全参数微调】多机多卡训练里LoRA微调、全参数微调分别怎么操作，LoRA原理、常用超参（R、alpha）、加在哪些层？ 「字节跳动」
【Megatron-LM模型并行】Megatron-LM的模型并行实现原理：请解释Column Parallel与Row Parallel矩阵划分策略（横切与竖切），以及如何进行算子侧切分？ 「字节Seed、腾讯、腾讯混元、阿里通义」
原题【micro-batch/gradient accumulation/global batch区别】请区分micro-batch、gradient accumulation、global batch，它们各自影响什么？请详细解释三者的概念和影响。 「字节跳动」
原题【MoE通信方式】moe并行过程中，怎么进行通信，有几种通信方式？ 「腾讯」
原题【NeMoCurator去重】为什么用NeMoCurator去重会需要多机多卡？请解释NeMoCurator去重对多机多卡的需求原因。 「腾讯」
原题【PD分离】了解PD分离吗？请解释PD分离的概念及其在分布式训练中的作用。 「百度」
原题PD 按 Prefill/Decode 推理阶段关联；原文混有“分布式训练”表述。
【PP微批次分配】PP=2时MB应该怎么分配？ 「阿里通义」
原题【PP气泡比较】PP=4和PP=2哪个气泡多？ 「阿里通义」
原题【RL资源与参数关系】rollout数量 batchsize数量和计算资源(卡的数量)有什么关系？ 「蚂蚁集团」
原题【swift参数设置】你用了swift参数怎么设置的？有2个node你如何分配你的训练参数？请说明swift参数设置方法及多节点分配策略。 「美团」
原题【work stealing】什么是work stealing？请解释work stealing的概念及其在分布式训练中的应用。 「百度」
原题【ZeRO优化器阶段】DeepSpeed ZeRO的三个阶段（ZeRO-1、ZeRO-2、ZeRO-3）分别是什么？请说明各阶段的显存优化原理、通信开销，并分析在单机8卡和双机16卡场景下，每张卡上分配的参数量是否相同及原因。 「京东、字节Seed、百度、美团、腾讯、腾讯混元、阿里巴巴、阿里通义」
原题ZeRO优化技术：
「京东、字节跳动、腾讯、腾讯混元、蚂蚁集团、阿里巴巴、阿里通义」
ZeRO-1、ZeRO-2、ZeRO-3三种优化模式的核心区别是什么？分别切分什么参数？如何减少内存占用？在显存有限时选择哪个方案？
ZeRO-2和ZeRO-3分别做了哪些优化？它们是什么并行策略方式？
ZeRO机制中Stage1/2/3分别优化什么参数？ZeRO阶段有哪些？
介绍DeepSpeed原理及使用，包括ZeRO-1、ZeRO-2和ZeRO-3的区别，以及何时使用FSDP更好？
ZeRO在进行并行计算时，如何获取其他机器上的参数？
为什么不是ZeRO-2？包括ZeRO方式具体是怎么实现的？
原题完整原题
【ZeRO优化技术】ZeRO优化技术：ZeRO-1、ZeRO-2、ZeRO-3三种优化模式的核心区别是什么？分别切分什么参数？如何减少内存占用？在显存有限时选择哪个方案？ZeRO-2和ZeRO-3分别做了哪些优化？它们是什么并行策略方式？ZeRO机制中Stage1/2/3分别优化什么参数？ZeRO阶段有哪些？介绍DeepSpeed原理及使用，包括ZeRO-1、ZeRO-2和ZeRO-3的区别，以及何时使用FSDP更好？ZeRO在进行并行计算时，如何获取其他机器上的参数？为什么不是ZeRO-2？包括ZeRO方式具体是怎么实现的？ 「京东、字节跳动、腾讯、腾讯混元、蚂蚁集团、阿里巴巴、阿里通义」
描述DeepSpeed的ZeRO优化策略，各阶段的区别？ZeRO-1、ZeRO-2、ZeRO-3分别优化了什么？
ZeRO-Offload适用场景与坑点。
怎么设置zero-stage的？
原题完整原题
【ZeRO优化策略】描述DeepSpeed的ZeRO优化策略，各阶段的区别？ZeRO-1、ZeRO-2、ZeRO-3分别优化了什么？ZeRO-Offload适用场景与坑点。怎么设置zero-stage的？ 「字节跳动、美团、腾讯、阿里通义」
【优化器分布式差异】了解单机跟分布式训练的时候优化器工作原理差别吗？请分析优化器在单机和分布式训练中的差异。 「字节跳动」
原题【分布式训练故障排查】分布式训练卡住了怎么排查？请列出分布式训练故障排查的步骤和方法。 「美团」
原题【单机与多机训练差异】之前有接触过单机单卡/单机多卡/多机多卡吗？详细分析一下之间的差异。 「阿里巴巴」
原题【参数服务器与All-Reduce对比】在分布式机器学习中，参数服务器(Parameter Server)和All-Reduce两种同步模式各有什么特点？分别适用于什么情况？ 「蚂蚁集团」
原题【同步与异步更新】如何处理分布式训练中的同步和异步更新？ 「蚂蚁集团」
原题【多卡通信技术】多机多卡分布式训练的通信问题与整体了解。多卡协同、卡间通信、NVLink、RDMA？ 「阿里巴巴」
原题【多机训练效率】为什么多机训练效率不如单机？请分析多机训练效率低下的原因。 「腾讯混元」
原题【并行策略与算法】解释数据并行(DDP)、张量并行(TP)、流水线并行(PP)和序列并行(SP)的区别及应用场景。讲讲并行训练的一些算法，数据并行、流水线并行、张量并行，ZeRO算法等。（追问）显卡使用分布和并行处理是怎样的？除了3D并行有没有其他方式大规模训练？额外加哪些并行训练？ 「字节Seed、字节跳动、腾讯、腾讯混元」
原题【并行策略区别与部署实践】分布式训练数据并行、模型并行、流水线并行的区别，阿里大模型训练如何部署？请分析三种并行策略的区别及阿里大模型部署实践。 「阿里通义」
原题【并行策略原理与调整】DP PP TP的原理和使用场景，各个阶段怎么调整? 「腾讯」
原题【并行策略概念与实现】并行(dp/tp/pp/ep各自是什么，在vllm中如何实现)？ 「字节Seed」
原题【张量并行节点内放置】为什么TP通常放在节点内？请分析张量并行节点内放置的原因。 「阿里通义」
原题【张量并行通信开销】TP开大为什么可能导致训练变慢?TP中通信开销来自哪里? 「字节跳动」
原题【张量并行通信次数】TP的allreduce的次数是多少？请分析张量并行中通信次数与模型结构的关系。 「阿里巴巴」
原题【朴素并行到Megatron流水并行】讲一下从朴素并行到Megatron的流水并行策略原理？请详细描述流水并行策略的演进和原理。 「字节Seed」
原题【流水线并行参数调节】说一下pp，pp里的参数调节会怎么影响结果 「百度」
原题【流水线并行时间与bubble率公式】流水线并行训练理想时间和 bubble 率的计算公式是什么？ 「字节Seed」
原题【流水线并行气泡】为什么会产生bubble？请解释流水线并行中气泡产生的原因及影响。 「字节Seed」
原题【混合精度训练】混合精度训练如何实现，一般有哪几种精度？ 「阿里巴巴」
原题【自动并行】什么是自动并行？为什么要使用自动并行？请解释自动并行的概念和优势。 「字节Seed」
原题【训练优化方法】除了DeepSpeed，还用过其他的什么优化方法吗？除了刚刚说到的这些，还了解过哪些模型训练推理优化的方法(DeepSpeed，数据并行，张量并行，流水线并行)？ 「字节跳动、腾讯」
原题【训练效率优化】如何提高大模型训练效率（时间、资源角度）？包括：数据量大时如何提高效率；涉及多少计算资源（有多少卡），是否涉及并行计算，如何提高效率；如果有N张显存足够大的显卡，怎么加速训练？大模型训练优化都能想到哪些方案？ 「百度、腾讯、腾讯混元、阿里巴巴」
原题【训练时间估算】迭代一个模型需要的时间，训练数据多少小时，模型参数如何、用什么卡？ 「美团」
原题【训练速度优化】训练的时候发现训练速度很慢，该从哪些方面去考虑以提高速度？ 「阿里巴巴」
原题【资源隔离】怎么做的资源隔离？ 「腾讯」
原题【集合通信与开销】通信(reduce、gather、开销考虑)与通信开销比？额外开销有多大？高到什么程度？ 「字节Seed、腾讯」
原题【3D并行设计】如何设计模型训练的3D并行（DP、PP、TP）？假设有超多的8卡A100节点（DGX A100），如何应用3D并行策略？你是如何分配DP、PP、TP的？ 「字节跳动、腾讯混元、阿里通义」
原题【AI调度器对比】Volcano与Kueue调度器在AI负载排队与抢占策略上的区别及适用场景？ 「腾讯混元」
原题【ColossalAI对比】Colossal细节和DS/Megatron比如何？ 「字节Seed」
原题【FSDP与HSDP通信对比】4机32卡H200训练从FSDP换成HSDP，通信时间会减少多少？ 「字节跳动」
原题【FSDP与Megatron对比】FSDP vs Megatron? 为什么选FSDP不选Megatron？为什么选Megatron不选FSDP？ 「蚂蚁集团」
原题【FSDP与ZeRO-3比较】如果同样是“把显存问题拆开”，应如何比较 FSDP 和 ZeRO-3? 「字节跳动」
原题【GPU亲和性与拓扑调度】GPU亲和性调度如何实现，拓扑感知调度的核心挑战？ 「腾讯」
原题【GRPO训练加速】你使用框架训练 GRPO 时，有没有针对性做训练加速相关优化？ 「阿里巴巴」
原题【K8s Gang Scheduling】在K8s上部署大模型训练时遇到Pod调度死锁或资源碎片，如何用Gang Scheduling解决？ 「腾讯混元」
原题【MCCL优化分享准备】如果让你给团队做一场关于摩尔线程GPU通信库MCCL优化的分享，你会怎么准备内容 「腾讯混元」
原题【Megatron与DeepSpeed源码】你看过metragon和deepspeed的源码吗？ 「腾讯」
原题【MoE专家死亡检测】专家死亡检测? 「百度」
原题【NCCL通信优化】NCCL通信优化，如何避免GPU间通信成为瓶颈？ 「腾讯」
原题【pipeline active分析】为什么要去看fp32 pipeline active和bf16 pipeline active? 「阿里巴巴」
原题原题未提供 pipeline active 计数器的定义或采样口径。
【RL分布式调度】RL训练中 rollout 和 actor update 如何分布式调度? 「字节跳动」
原题【RL训练框架对比】verl/AReaL/openRLHF区别? VeRL/Ray这类框架大致如何组织分布式RL? 「字节跳动、蚂蚁集团」
原题【TP/PP/DP并行】TP、PP、DP并行的区别与选型考量？给定8节点、每节点8卡、80GB H100，要训练70B级模型，应如何在TP/PP/DP间做第一版拓扑划分？ 「字节跳动、腾讯混元」
原题【Transformer训练加速】有哪些降低Transformer训练时间复杂度的工作？ 「字节跳动」
原题【VeRL代码】是否看过VeRL的代码实现？核心模块有哪些？ 「字节跳动」
原题【ZeRO-3通信原语】ZeRO-3中，详细介绍通信原语(All-Gather，Reduce-Scatter，All-Reduce) 「阿里通义」
原题【ZeRO与3D并行】有了ZeRO系列，为什么还需要3D并行？ 「腾讯混元」
原题【单机到分布式扩展设计】假设你需要将一个单机训练的模型扩展到分布式训练，你会如何设计？ 「京东」
原题【多模态大模型通信开销优化】在分布式训练多模态大模型时，如何处理多机多卡间的通信开销？ 「腾讯」
原题【大模型并行策略设计】64卡训练70B模型，应该怎么设计并行策略？请给出具体配置，并说明面试中如何回答最稳妥。 「阿里通义」
原题【大模型训练成本优化】如何优化大模型训练的成本？如何在有限资源下训练大模型？ 「蚂蚁集团」
原题【大规模AI基础设施项目】详细描述你参与过的千卡级或大规模AI训练/推理基础设施建设项目。 「腾讯混元」
原题【大规模训练经验】描述你参与过的最大的训练任务，以及遇到的挑战。 「蚂蚁集团」
原题【异步Checkpoint】训练过程中因节点故障触发Checkpoint恢复，如何设计异步Checkpoint降低存储IO对训练的阻塞？ 「腾讯混元」
原题【异步训练陈旧性】full async staleness？fully async训练会带来什么问题? 「字节跳动、阿里巴巴」
原题【弹性容错与自动重启】弹性容错和自动重启机制。 「腾讯混元」
原题【微调超大模型资源利用】在微调超大参数模型时，如何高效利用计算资源? 「蚂蚁集团」
原题【故障恢复】AI工作负载的故障恢复策略，训练作业中途失败如何快速恢复？ 「腾讯」
原题【梯度分片与环式通信实现】手写实现：在多GPU环境下，使用梯度分片与环式通信优化传输效率。 「字节跳动」
原题【模型并行/张量并行/流水线并行对比与选型】请对比“模型并行”“张量并行”“流水线并行”三种显存优化方案的技术原理，以及在单节点多卡、多节点多卡场景下的选型逻辑。 「腾讯」
原题【流水线并行与气泡】PP bubble怎么优化？介绍Pipeline Parallelism (PP) 的原理，以及如何解决气泡问题？并给出气泡（bubble）的计算公式。 「字节Seed、阿里通义」
原题【策略迁移】调研用模型和目标模型在参数量、Dense/MoE结构、训练阶段不同时，策略迁移需要注意什么？ 「字节跳动」
原题来源未说明要迁移的具体策略与训练阶段。
【算力预算分配】如果给定一个固定训练算力预算，如何在“模型参数量、训练 token 数、训练步数”之间做第一次分配? 「字节跳动」
原题【联邦学习】请解释一下联邦学习在音视频隐私保护中的应用？ 「字节跳动」
原题【训练pipeline设计】到训练的pipeline。你会怎么设计？ 「字节Seed」
原题【训练数据存储方案】存储层面对象存储+Ceph与并行文件系统Lustre/GPFS在训练数据加载中的取舍与缓存加速方案 「腾讯混元」
原题【通信带宽排查思路】多机多卡通信带宽不及预期时，从网卡绑定、NUMA、QP数量、MCCL_DEBUG排查的思路 「腾讯混元」
原题【通信算子与策略选择】在 AI 训练场景中，分布式训练常面临通信瓶颈问题。请说明 AllReduce、Broadcast、ReduceScatter 这三种核心通信算子的适用场景差异，并分析在千亿参数大模型训练中，如何选择通信策略以降低延迟、提升吞吐量? 「腾讯」
原题【长上下文训练】若将上下文扩展到1000K，该如何估算训练的算力用量？若要将模型训练到1000K的上下文长度，该从哪些方面实现，其中的难点是什么？ 「腾讯」
原题【AI-HPC趋势】AI-HPC的未来趋势。 「百度」
原题【AI基础设施发展方向】你认为AI Infrastructure未来的发展方向是什么? 「蚂蚁集团」
原题「阿里巴巴」
基于LibTorch Java绑定开发训练框架，如何借助Java的多线程机制与Flink的分布式计算，提升模型训练效率？
如何通过LibTorch Java绑定实现模型增量训练，结合Flink的增量数据处理与Spring AI，提升训练迭代速度？
用LibTorch Java绑定做模型训练时，如何通过Flink的状态管理保证训练数据一致性，同时发挥Java的可靠性优势？
原题完整原题
【LibTorch Java与Flink结合】基于LibTorch Java绑定开发训练框架，如何借助Java的多线程机制与Flink的分布式计算，提升模型训练效率？如何通过LibTorch Java绑定实现模型增量训练，结合Flink的增量数据处理与Spring AI，提升训练迭代速度？用LibTorch Java绑定做模型训练时，如何通过Flink的状态管理保证训练数据一致性，同时发挥Java的可靠性优势？ 「阿里巴巴」
【千卡集群搭建】我们现在要从零开始搭建一个千卡集群用于大模型训练，你会从哪些方面考虑?可能会遇到哪些坑? 「美团」
原题【多租户ML训练平台设计】设计一个支持多租户的ML训练平台。项目架构设计经验，如何主导设计一个支持多租户的千卡AI训练平台？ 「腾讯混元、蚂蚁集团」
原题【大规模AI集群稳定性与SLA】如何保证大规模AI集群的稳定性和SLA？ 「腾讯」
原题【大规模RLHF训练瓶颈与优化】请说明在分布式训练环境下，进行大规模RLHF训练可能遇到的技术瓶颈及优化策略。 「蚂蚁集团」
原题【大规模分布式训练系统设计】如何设计一个大规模分布式训练系统?如果你需要设计一个支持大规模模型训练的分布式训练框架，你会考虑哪些关键因素？ 「京东、蚂蚁集团」
原题【训练任务调度系统设计】如何设计一个高效的AI训练任务调度系统，确保资源利用率最大化？ 「京东」
原题【负载均衡调度】AI 训练任务的资源调度常面临“负载不均衡”问题(如部分 GPU 利用率 90%，部分仅 30%)。请分析负载不均衡的常见原因(如任务拆分、数据倾斜、通信等待)，并说明如何设计调度算法(如动态任务迁移、负载预测)进行优化？ 「腾讯」
原题【跨地域AI训练】多集群管理方案，如何实现跨地域AI训练？并说明面临的带宽时延与数据同步一致性问题。 「腾讯、腾讯混元」
原题【并行策略】了解哪些并行策略？解释张量并行和流水线并行的区别。另外，多头多batch如何并行？头和batch之间无关，直接并行，算完再拼起来。了解CP吗？ 「字节Seed、腾讯、阿里巴巴」
原题【并行策略选择】并行策略TP、PP、SP的使用场景及如何选择？训练时如何选择TP/PP等分布式策略？ 「字节跳动、阿里巴巴」
原题【MoE并行】手撕：MoE并行处理。 「阿里通义」
原题【并行策略优化】针对多模态推理时的显存瓶颈，有哪些模型并行或Pipeline并行的优化手段？ 「腾讯」
原题【流水线并行实现】手写流水线并行策略，将模型分层部署到多设备，计算通信重叠。 「字节跳动」
原题【混合引擎与自动映射】verl中的hybridengine、auto mapping原理，最大的创新点是什么？ 「腾讯」
原题显存OOM？ 「京东」
原题【CPU卸载】主要将哪部分迁移到CPU中计算？ 「阿里通义」
原题【参数量计算】已知bsz seq_len dim head，参数量是多少，和哪几个参数有关？ 「京东」
原题【批量大小影响】batchsize 调大有什么影响？ 「阿里巴巴」
原题【显存监控】nvidia-smi看到的显存占用是真实可靠的吗？ 「阿里巴巴」
原题【梯度检查点】activation checkpointing 本质上是用什么换什么？ 「字节跳动」
原题【梯度累积】什么是梯度累积(Gradient Accumulation)?何时使用？ 「蚂蚁集团」
原题模型显存估算：
模型显存估算：8B、14B、2B、7B、13B、70B等模型训练/推理/全参数微调所需显存估算方法。
8B模型训练大概用多少显存？
Qwen模型大概占用多少内存？
14B模型推理和训练要多少显存？
2B模型使用BF16全参数训练时显存占用如何估算？
7B模型如何计算训练占用的显存？
模型参数量与显存对应关系（7B、13B、70B大概对应多少GB显存）？不做量化时占用多少显存？
大模型全量微调时哪些部分占用显存？全参数微调需要多少显存？微调模型需要多大显存？
微调用什么卡？模型显存占多少？
原题完整原题
【模型显存估算】模型显存估算：8B、14B、2B、7B、13B、70B等模型训练/推理/全参数微调所需显存估算方法。包括：8B模型训练大概用多少显存？Qwen模型大概占用多少内存？14B模型推理和训练要多少显存？2B模型使用BF16全参数训练时显存占用如何估算？7B模型如何计算训练占用的显存？模型参数量与显存对应关系（7B、13B、70B大概对应多少GB显存）？不做量化时占用多少显存？大模型全量微调时哪些部分占用显存？全参数微调需要多少显存？微调模型需要多大显存？微调用什么卡？模型显存占多少？ 「京东、字节跳动、快手、百度、美团、腾讯、腾讯混元、蚂蚁集团、阿里巴巴」
【混合精度训练】混合精度训练：bf16、fp16和fp32的区别与计算；中间累加结果为什么通常要放到更宽的位宽里去承接？什么是混合精度训练(Mixed Precision Training)? 「腾讯、蚂蚁集团、阿里巴巴」
原题【LoRA显存节省】LoRA 是怎么节省显存的？ 「字节跳动」
原题【OOM处理】如果出现OOM，常见的处理方式是什么? 「腾讯」
原题【优化器显存占用】假设一个模型大小13B，使用FP16精度，那么在做全量微调的时候，Adam会占用多少显存？ 「腾讯」
原题【推理显存优化】推理主要的显存部分优化技术有哪些？ 「阿里巴巴」
原题【显存不足解决方案】如果显卡的显存不够装下一个完整的模型呢？ 「腾讯混元」
原题【显存优化技术综合】分别做了哪些优化（如优化优化器状态、优化梯度、切分参数等）来全面节省显存？请结合显存OOM、ZeRO、vLLM、梯度累积、混合精度、优化器及参数等概念进行说明。 「京东、阿里通义」
原题【有限算力微调】在消费级显卡上微调大模型时显存开销能降低多少? 「美团」
原题估算大模型训练和推理的显存占用。
LoRA微调与全参数微调显存计算及实际项目用量；
MoE模型训练与推理显存特点；
1B模型SFT与GRPO阶段显存开销；
精排模型训练与推理显存估算；
通用估算：模型参数量X-B，权重FP16，其余假设自补，估算训练和推理GPU显存占用。
原题完整原题
【模型显存估算】估算大模型训练和推理的显存占用。变体：1) LoRA微调与全参数微调显存计算及实际项目用量；2) MoE模型训练与推理显存特点；3) 1B模型SFT与GRPO阶段显存开销；4) 精排模型训练与推理显存估算；5) 通用估算：模型参数量X-B，权重FP16，其余假设自补，估算训练和推理GPU显存占用。 「字节跳动、百度、阿里巴巴」
「百度、阿里巴巴」
PagedAttention能否降低显存？为什么？
二维attention mask矩阵耗显存，计算attention时有什么节省显存的优化策略？
原题完整原题
【注意力机制显存优化】PagedAttention能否降低显存？为什么？二维attention mask矩阵耗显存，计算attention时有什么节省显存的优化策略？ 「百度、阿里巴巴」
【长上下文显存优化】上下文扩展到1000K后，训练时显存会在哪些地方暴涨？ 「腾讯」
原题显存占用与哪些因素相关？如何估计训练和推理的显存需求？
请详细说明：模型参数、优化器状态、梯度、激活值、KV Cache等各部分的显存计算方法（包括不同精度如FP16/FP32的字节数），并针对具体场景（如7B参数FP16模型，batch_size=4，seq_len=2048）估算推理显存；
计算Qwen3-8b推理所需显存；
计算全参和LoRA微调分别占多少显存；
展开其余 5 个小问
训练一个7B模型需要多少显存和时间，训练运算量多少；
不同ZeRO阶段能节省多少显存；
在3D并行下如何估计显存占用；
预填充和解码哪个更容易造成显存瓶颈；
每个版本都存空间占用高怎么解决？
原题完整原题
显存占用与哪些因素相关？如何估计训练和推理的显存需求？请详细说明：模型参数、优化器状态、梯度、激活值、KV Cache等各部分的显存计算方法（包括不同精度如FP16/FP32的字节数），并针对具体场景（如7B参数FP16模型，batch_size=4，seq_len=2048）估算推理显存；计算Qwen3-8b推理所需显存；计算全参和LoRA微调分别占多少显存；训练一个7B模型需要多少显存和时间，训练运算量多少；不同ZeRO阶段能节省多少显存；在3D并行下如何估计显存占用；预填充和解码哪个更容易造成显存瓶颈；每个版本都存空间占用高怎么解决？ 「京东、字节Seed、字节跳动、快手、百度、美团、腾讯、腾讯混元、阿里巴巴」
显存、延迟、吞吐量这三者构成不可能三角，请解释其关系。
训练和推理在资源和消耗上的区别是什么？
梯度、信息冗余、性能开销等问题在实际落地中如何体现？
原题完整原题
显存、延迟、吞吐量这三者构成不可能三角，请解释其关系。训练和推理在资源和消耗上的区别是什么？梯度、信息冗余、性能开销等问题在实际落地中如何体现？ 「字节跳动、快手、百度文心」
梯度检查点（Gradient Checkpoint）的原理是什么？如何节省显存？牺牲了什么代价？ 「阿里通义」
原题混合精度训练的原理是什么？FP16与BF16的数值稳定性差异及LossScale原理，FP16和BF16的选择考量，以及训练中哪些部分用什么精度？ 「百度、腾讯、腾讯混元」
原题训练不稳定怎么排查（loss NaN、OOM、吞吐下降）？最先看哪些基础日志/指标？ 「拼多多」
原题训练/推理显存不够时，有哪些缓解策略？请列举除FlashAttention外的其他显存优化方法（如梯度检查点、混合精度训练、ZeRO优化、模型并行、激活重计算、KV Cache优化等），说明其原理、落地难点及解决方案，并追问是否实际使用过其中某些方法。
同时，训练过程中出现OOM如何排查和解决？如何在显存受限下保证训练稳定性？
如果训练时间和算力不匹配如何优化？
训练中有什么时间换空间的做法？
有哪些降低Transformer训练时间复杂度的工作？
原题完整原题
训练/推理显存不够时，有哪些缓解策略？请列举除FlashAttention外的其他显存优化方法（如梯度检查点、混合精度训练、ZeRO优化、模型并行、激活重计算、KV Cache优化等），说明其原理、落地难点及解决方案，并追问是否实际使用过其中某些方法。同时，训练过程中出现OOM如何排查和解决？如何在显存受限下保证训练稳定性？如果训练时间和算力不匹配如何优化？训练中有什么时间换空间的做法？有哪些降低Transformer训练时间复杂度的工作？ 「快手、百度、腾讯、腾讯混元、蚂蚁集团、阿里巴巴、阿里通义」
【OOM处理】你修过一个推理/训练过程中显存异常和长稳问题，这个问题原来为什么会发生？你具体做了什么？为什么修完之后就能稳定？ 「阿里巴巴」
原题【ZeRO显存优化】使用DeepSpeed ZeRO-3微调Qwen2-72B时，估算单卡显存占用量，并解释显存分配的技术原理（如参数分片、梯度累积、优化器状态拆分等）。 「腾讯、腾讯混元」
原题【性能与成本平衡】如何在训练与推理中平衡性能与算力成本？ 「京东」
原题【有限算力微调】如何在有限算力下做大模型微调? 「美团」
原题【模型显存估算】10.7B/11.7B规模模型使用GRPO训练时的显存占用开销及优化方式。 「美团」
原题【训练加速】不降低效果的情况下怎么加速训练？ 「百度」
原题【长上下文显存优化】在长文本训练（如agentic场景）或生成式推荐中，用户行为序列越来越长，容易导致OOM或显存持续膨胀，你有什么好的优化方法？ 「字节跳动、美团」
原题【OOM处理】基于LibTorch Java绑定的训练框架，如何利用Java的JVM调优与Flink的内存管理，避免OOM以保障训练稳定？ 「阿里巴巴」
原题【推理瓶颈诊断】有没有性能瓶颈？ 「腾讯」
原题【尾延迟】尾延迟是啥？ 「腾讯」
原题【KV Cache】KV Cache是什么？其原理是什么？缓存的是什么，为什么要做这个缓存？为什么是KV Cache而不是Q Cache？KV-Cache如何优化？如何帮助推理加速？KVCache的优化方法有哪些？ 「百度、阿里通义」
原题【Prefill与Decode阶段】预填充阶段（Prefill）和解码阶段（Decode）有什么区别？ 「小红书、腾讯」
原题【vLLM】是否了解 vLLM 框架? 「快手」
原题【推理加速】模型加速的方式有哪些，分别？ 「百度」
原题【推理加速技术】有没有用到continuous batching、KV Cache、vLLM等技术？ 「字节跳动」
原题【推理框架对比】解释TensorRT、ONNXRuntime等推理框架的作用，并说明你会使用哪些推理加速框架？ 「百度、蚂蚁集团」
原题【推理瓶颈诊断】解释:瓶颈不在数据传输，在计算那边。 「腾讯」
原题【算子融合】什么是算子融合？算子融合为什么可以带来性能提升？ 「字节Seed、百度」
原题【连续批处理】有没有听说过Dynamic Batching？ 「阿里巴巴」
原题介绍PagedAttention核心思想、vLLM原理及其如何解决显存碎片化问题；对比FlashAttention等优化方法；说明VLLM核心优势、PagedAttention如何提升显存利用率、动态批处理和显存管理创新设计。 「京东、字节跳动、快手、百度、腾讯、腾讯混元、蚂蚁集团」
原题介绍TensorRT。 「快手」
原题介绍一个具体的推理场景，问在这个场景下能给出什么推理优化思路。 「字节跳动」
原题介绍下Text generation inference？ 「腾讯混元」
原题“百分之三十”未说明对应的指标与取值条件。
从工程角度看，你是如何优化大模型训练和推理效率的？
优化大模型推理速度的方法。优化都有哪些方向，每个方向下有什么优化方法？
你在LLM推理优化方面做了哪些工作？
你具体看到了什么、你做了什么、你怎么判断哪些算子值得优化？
你怎么判断当前是高峰期？百分之三十这个值怎么选的？
prefill和decode在GPU上的计算特征有什么区别？
你知道哪些大模型推理中的算子融合案例？
原题完整原题
从工程角度看，你是如何优化大模型训练和推理效率的？优化大模型推理速度的方法。优化都有哪些方向，每个方向下有什么优化方法？你在LLM推理优化方面做了哪些工作？你具体看到了什么、你做了什么、你怎么判断哪些算子值得优化？你怎么判断当前是高峰期？百分之三十这个值怎么选的？prefill和decode在GPU上的计算特征有什么区别？你知道哪些大模型推理中的算子融合案例？ 「字节跳动、百度、美团、腾讯混元、阿里巴巴、阿里通义」
你们的项目耗费的token情况？ 「阿里巴巴」
原题倒排表与BitSet优化，这种优化对CPU和内存的具体收益是什么？ 「阿里巴巴」
原题假如需要支持Streaming输出，但当前服务延迟又超标，你会怎么折中设计？ 「百度」
原题假设在项目上线前，发现模型推理延迟过高，你会如何快速定位和优化？ 「京东」
原题分层面阐述推理优化思路，结合阿里跨境场景说明具体适配方法。 「阿里巴巴」
原题分析动态批处理与静态批处理的优缺点，以及在高并发低延迟场景中如何设计批处理策略平衡吞吐量与响应时间？动态批处理了解过吗？动静态检测了解多少？ 「腾讯、阿里巴巴」
原题“动静态检测”未说明检测对象与判定规则。
同一个batch内的prompt之间可能有共同的前缀，怎么在prefill阶段利用它来减少重复计算？ 「字节跳动」
原题后处理计算速度有哪些困难，如何解决？ 「美团」
原题吞吐量的定义是什么？ 「字节Seed」
原题哪些环节最有可能成为性能瓶颈？ 「阿里巴巴」
原题图优化具体是怎么选的，开发流程是什么。 「蚂蚁集团」
原题在LLM推理里，prefill是什么意思？ 「阿里巴巴」
原题在保证准确率的前提下，是否有办法减少调用链路？ 「阿里巴巴」
原题在大模型推理服务中，如何实现高并发与低延迟？ 「字节跳动」
原题在大模型推理阶段，KV Cache的作用是什么？ 「美团」
原题在大规模推理时，如何优化显存使用？ 「腾讯」
原题在实际本地部署vLLM服务时，如何权衡上下文长度与显存占用的关系？是否应用过量化或动态批处理等技术？ 「腾讯混元」
原题在将一个千亿参数级别的多模态大模型部署到云端进行推理服务时，遇到了首字生成延迟(TTFT)过高导致用户流失的问题。在不改变模型权重和架构的前提下，你会采取哪些纯系统及工程层面的优化策略？ 「腾讯」
原题在推理中，如何平衡速度和精度的要求？ 「腾讯」
原题在端到端延迟必须控制在50毫秒以内的限制下，你会怎么权衡模型的各个模块结构？ 「腾讯」
原题在规划模块中如何避免频繁的内存分配导致的延迟尖刺？ 「腾讯」
原题多模态大模型的推理效率如何优化？ 「京东」
原题大模型在decode阶段跑batch和只跑一个有什么区别？ 「小红书」
原题大模型推理优化手段：模型量化、蒸馏、KV缓存、批处理推理原理。 「阿里通义」
原题大语言模型上下文很长时，kv cache显存爆炸的解决方案。 「蚂蚁集团」
原题算子强度的定义归一化怎么做的？信号的意义？ 「字节Seed」
原题“归一化怎么做的？信号的意义？”未给出指标、公式或前文所指，需补充上下文。
【Attention加速】在推荐系统或NLP领域，有哪些方法可以加速attention算子的计算？是否了解dpattention？ 「字节Seed、百度、阿里巴巴」
原题dpattention 未提供具体实现与版本。
【FlashAttention】讲一下FlashAttention的核心原理、思想和做法，以及它主要解决了大模型训练/推理中的什么瓶颈？ 「字节跳动、百度、美团」
原题【FLOPs估算】推理时FLOPs大概多少？计算量(FLOPs)是如何估算的？ 「快手、阿里巴巴」
原题【FP8推理】FP8推理的优势，E4M3和E5M2格式的区别？ 「腾讯」
原题【KV Cache优化】KV Cache减半到底省了什么？请分析KV Cache的内存瓶颈，并讨论KV Cache的优化方法。kvcache压缩手段(MHA、MQA、GQA、MLA) 「字节Seed、阿里巴巴」
原题【PagedAttention】详细描述vLLM中KVCache管理机制的工作原理。请详细解释PagedAttention的原理、实现方式、解决的问题（如显存利用率低、KV Cache管理问题），以及它相比传统注意力机制的优势。同时说明vLLM中PagedAttention的工作机制，并对比PagedAttention与FlashAttention的区别。 「字节跳动、百度、百度文心、美团、腾讯、蚂蚁集团、阿里巴巴、阿里通义」
原题【Prefill与Decode阶段】大模型推理分哪两个阶段（Prefill与Decode）？每个阶段的特点是什么？请结合Roofline模型，详细解释Transformer推理中Prefill和Decode两个阶段的区别，包括：各自是计算密集型还是访存密集型？为什么不能提高计算效率？以及每个阶段对应的是GEMM还是GEVM操作？ 「字节Seed、字节跳动、小红书、百度、阿里巴巴、阿里通义」
原题来源未说明 prefix cache 的实现与所指融合算子。
prefix cache融合算子融合了哪些？
请介绍SGLang中的RadixAttention以及SGLang代码实现的相关内容。请介绍你对prefix cache的了解。你是否实现过VLLM的prefix cache？
原题完整原题
【Prefix Cache】1. prefix cache融合算子融合了哪些？ 2. 请介绍SGLang中的RadixAttention以及SGLang代码实现的相关内容。请介绍你对prefix cache的了解。你是否实现过VLLM的prefix cache？ 「字节Seed、字节跳动、百度、美团」
Transformer如何加速推理？请列举推理加速技术，并解释KV Cache是什么？
训练vs推理的并行性差异？
原题完整原题
【Transformer推理优化】Transformer如何加速推理？请列举推理加速技术，并解释KV Cache是什么？训练vs推理的并行性差异？ 「京东、字节跳动」
vLLM推理框架的核心优化点、核心优势、核心性能优势、核心优化原理、优点、功能、核心优势、相较于传统大模型框架的优势、解决的问题、在哪些场景下效果明显、核心原理技术点、如何实现推理加速？请全面阐述vLLM的优化措施、目的、工作原理及适用场景。
vLLM怎么进行异步调度？
vLLM提出的KVCache管理机制主要解决了什么问题？请详细说明KVCache管理的工作原理。
VLLM的请求调度机制具体是如何工作的？
vLLM的缺点有哪些？
vLLM离线批量推理。
之前的实习有对vllm里面的结构进行优化吗？
原题完整原题
【vLLM】vLLM推理框架的核心优化点、核心优势、核心性能优势、核心优化原理、优点、功能、核心优势、相较于传统大模型框架的优势、解决的问题、在哪些场景下效果明显、核心原理技术点、如何实现推理加速？请全面阐述vLLM的优化措施、目的、工作原理及适用场景。vLLM怎么进行异步调度？vLLM提出的KVCache管理机制主要解决了什么问题？请详细说明KVCache管理的工作原理。VLLM的请求调度机制具体是如何工作的？vLLM的缺点有哪些？vLLM离线批量推理。之前的实习有对vllm里面的结构进行优化吗？ 「快手、百度、腾讯、腾讯混元、蚂蚁集团、阿里巴巴」
【延迟与吞吐量】延迟和吞吐量你更关注哪一个？在推理服务中如何平衡？ 「百度」
原题【投机解码】投机解码具体解决什么问题？请结合推理框架，讲一下投机解码的技术原理。 「百度、腾讯」
原题【推理优化总体思路】性能优化怎么做？模型推理太慢了，你会从哪些维度去优化？是否有做过大模型在GPU上训练/推理的性能优化？模型推理优化除了传统算子，还会用什么样的架构或加速手段？比如优化推理速度、解决兼容性问题，效果如何？讲了讲项目中推理优化的一些手段。 「京东、百度、美团、腾讯、阿里巴巴」
原题大模型推理加速：调参优化。
在verl推理加速框架中如何调参？
大模型推理过程中可通过调节哪些参数提高性能？
原题完整原题
【推理优化手段】大模型推理加速：调参优化。具体包括：1. 在verl推理加速框架中如何调参？2. 大模型推理过程中可通过调节哪些参数提高性能？ 「百度文心、腾讯」
量化技术（如INT8/FP8/混合精度）在推理加速中的作用与优化：量化与硬件加速的关系；量化在特定场景的优化；量化对Prefill和Decode阶段提速的影响；
PD分离、vLLM、PagedAttention等推理加速技术。
原题完整原题
【推理加速与量化技术】量化技术（如INT8/FP8/混合精度）在推理加速中的作用与优化：量化与硬件加速的关系；量化在特定场景的优化；量化对Prefill和Decode阶段提速的影响；PD分离、vLLM、PagedAttention等推理加速技术。 「百度、阿里通义」
【推理性能优化】如何优化深度学习模型的推理性能? 「蚂蚁集团」
原题【推理时延优化】如何保证速度并减少模型推理时延？ 「腾讯」
原题【推理服务设计】什么时候会出现反压(backpressure)? 「字节Seed」
原题原问只明确背压处理，没有限定TCP长连接或消息协议；关联题的具体协议条件属于延伸语境。
了解加速推理框架吗？请列举常见的推理加速框架（如DeepSpeed、vLLM、SGLang等），并说明它们各自的特点和原理。
重点介绍DeepSpeed如何优化大模型推理、提高推理效率和资源利用率，
特别是PagedAttention如何提升显存利用率？相比传统推理框架有什么优势？
另外，是否使用过vLLM或SGLang？请解释其原理。
原题完整原题
【推理框架对比】了解加速推理框架吗？请列举常见的推理加速框架（如DeepSpeed、vLLM、SGLang等），并说明它们各自的特点和原理。重点介绍DeepSpeed如何优化大模型推理、提高推理效率和资源利用率，特别是PagedAttention如何提升显存利用率？相比传统推理框架有什么优势？另外，是否使用过vLLM或SGLang？请解释其原理。 「字节跳动、百度、腾讯、腾讯混元、蚂蚁集团、阿里巴巴」
【推理瓶颈诊断】大模型推理中常见的资源瓶颈有哪些？性能拐点在哪里？这种慢是来自模型结构还是推理策略？ 「字节跳动、百度、腾讯」
原题影响模型推理速度的因素有哪些？请解释：
小模型推理时平均步数比大模型更多的原因；
推理模型通常更慢的原因；
输入prompt长度增加两倍时，底层模型推理速度会慢多少？
随着序列长度增加，Transformer模型的计算量、访存量和计算密度如何变化？
原题完整原题
【推理速度影响因素】影响模型推理速度的因素有哪些？请解释：1）小模型推理时平均步数比大模型更多的原因；2）推理模型通常更慢的原因；3）输入prompt长度增加两倍时，底层模型推理速度会慢多少？4）随着序列长度增加，Transformer模型的计算量、访存量和计算密度如何变化？ 「字节跳动、百度、腾讯、腾讯混元、阿里巴巴」
【模型编译技术】模型编译技术(如TensorRT、TVM)在推理优化中的作用。用过TensorRT或其他推理引擎吗？部署中遇到过什么坑？并解释TensorRT在底层是如何加速推理的。 「快手、百度、腾讯」
原题【算子优化】算子的细粒度，过小与过大的好处与坏处。 「百度」
原题算子融合(Operator Fusion)在推理优化中的作用、访存瓶颈分析及适用性是什么？
是否有过算子融合或KVCache优化的实践经验？
原题完整原题
【算子融合】算子融合(Operator Fusion)在推理优化中的作用、访存瓶颈分析及适用性是什么？是否有过算子融合或KVCache优化的实践经验？ 「百度、美团、腾讯混元」
【计算量与访存量】attention层的计算量和访存量的计算，mlp层的计算量 「小红书」
原题什么是训练推理一致性？
训练和推理在系统优化上有什么区别？
原题完整原题
【训练推理一致性】什么是训练推理一致性？训练和推理在系统优化上有什么区别？ 「蚂蚁集团」
来源未定义 Steady/Persistent Batching 的具体实现。
什么是连续批处理(Continuous Batching)？它与传统静态批处理、动态批处理(Dynamic Batching)、稳态批处理(Steady Batching)和持久批处理(Persistent Batching)有什么区别？
介绍continuous batching和chunked prefill。
原题完整原题
【连续批处理】什么是连续批处理(Continuous Batching)？它与传统静态批处理、动态批处理(Dynamic Batching)、稳态批处理(Steady Batching)和持久批处理(Persistent Batching)有什么区别？介绍continuous batching和chunked prefill。 「字节跳动、小红书、百度、腾讯」
Float4类型的作用是什么？它是否总是能带来性能提升？在什么场景下使用Float4会更高效？LLM任务和深度学习任务对不同数据精度格式的偏好是什么？
是否做过量化或动态批处理？
原题完整原题
【量化技术】Float4类型的作用是什么？它是否总是能带来性能提升？在什么场景下使用Float4会更高效？LLM任务和深度学习任务对不同数据精度格式的偏好是什么？是否做过量化或动态批处理？ 「百度、腾讯、阿里巴巴」
沙箱执行速度如何优化？ 「字节跳动」
原题【AdaCache】AdaCache 论文的核心亮点是什么？ 「字节跳动」
原题此处 AdaCache 指扩散特征缓存论文中的方法。
【DeepSeekV3加速】DeepSeekV3为什么快？ 「腾讯」
原题FlashAttention原理？核心原理、优化方法（如分块、Online softmax）以及flash/paged attention分块对齐。
FlashAttention V1/V2/V3核心差异及解决的问题？
FlashDecoding原理？
请分别说明各版本的优化点，包括Online softmax、CUDA kernel实现等。FlashAttention数学推理公式是什么？它如何优化内存访问？为什么计算量没减少却能加速？FlashAttention主要用在哪个阶段？attention的优化方式，flashattention怎么维护分母？
rankmixer有试过吗？
原题完整原题
【FlashAttention】FlashAttention原理？核心原理、优化方法（如分块、Online softmax）以及flash/paged attention分块对齐。FlashAttention V1/V2/V3核心差异及解决的问题？FlashDecoding原理？请分别说明各版本的优化点，包括Online softmax、CUDA kernel实现等。FlashAttention数学推理公式是什么？它如何优化内存访问？为什么计算量没减少却能加速？FlashAttention主要用在哪个阶段？attention的优化方式，flashattention怎么维护分母？rankmixer有试过吗？ 「京东、字节Seed、字节跳动、百度、腾讯、蚂蚁集团、阿里巴巴、阿里通义」
【FlashDecoding】FlashDecoding原理、与FlashAttention的区别及适用场景？ 「阿里巴巴」
原题大模型推理时，“KV 缓存(KV Cache)”是降低计算量、提升响应速度的核心机制。
请解释 KV 缓存的存储原理，以及在长序列对话场景(如上下文长度超 4k)中，如何优化 KV 缓存的存储结构以减少内存占用？
具体包括：如何通过PagedAttention等分块管理技术优化KVCache内存碎片？请结合vLLM推理框架说明PagedAttention的核心思想。
如果Decoder采用BeamSearch算法，vLLM会如何管理KVCache？
本地部署时，如何平衡vLLM的上下文长度和显存占用？
原题完整原题
【KV Cache管理】大模型推理时，“KV 缓存(KV Cache)”是降低计算量、提升响应速度的核心机制。请解释 KV 缓存的存储原理，以及在长序列对话场景(如上下文长度超 4k)中，如何优化 KV 缓存的存储结构以减少内存占用？具体包括：如何通过PagedAttention等分块管理技术优化KVCache内存碎片？请结合vLLM推理框架说明PagedAttention的核心思想。如果Decoder采用BeamSearch算法，vLLM会如何管理KVCache？本地部署时，如何平衡vLLM的上下文长度和显存占用？ 「百度、腾讯、腾讯混元」
【LoRA推理优化】LoRA加载以后会导致延迟，如何缓解? 推理阶段为消除LoRA延迟，会做权重Merge吗？ 「腾讯混元、阿里巴巴」
原题MoE（混合专家）模型推理优化：
比较3B Dense模型与32B-a3B MoE模型的推理延迟与速度。
MoE推理优化关键点（专家切换成本、负载均衡等）。
部署235B MoE模型（千分三激活）所需算力估算。
原题完整原题
【MoE推理优化】MoE（混合专家）模型推理优化：1. 比较3B Dense模型与32B-a3B MoE模型的推理延迟与速度。2. MoE推理优化关键点（专家切换成本、负载均衡等）。3. 部署235B MoE模型（千分三激活）所需算力估算。 「百度、美团、腾讯」
【OOM排查】推理时出现OOM(Out of Memory)，你如何排查和解决？ 「百度」
原题【Prefill与Decode阶段】一个prefill和decode的配额控制策略，在负载高峰时给decode预留百分之三十的算力预算，P99延迟从三秒二降到八百毫秒。请解释该策略的原理和效果。 「阿里巴巴」
原题【TensorRT】简述TensorRT在多模态模型加速中的常用Trick(如算子融合)。 「腾讯」
原题【Transformer推理优化】针对Transformer模型的自回归推理过程，forward中有哪些冗余计算可以省去？你会采用哪些优化手段？ 「腾讯、蚂蚁集团」
原题【vLLM】vLLM v0和v1架构有什么区别，比如调度上有什么不同？另外，请解释PagedAttention、连续批处理、chunked prefill、prefix caching等核心机制。vLLM最近有什么新的比较好的特性？例如对DeepSeek V4 Pro的支持等最新进展。 「字节Seed、阿里巴巴」
原题【低资源部署】如何优化大模型在低资源设备上的部署？ 「腾讯混元」
原题【多模态推理优化】请举例说明你如何优化多模态模型的推理速度。 「蚂蚁集团」
原题【投机解码】Speculative Decoding（投机解码）的原理是什么？其接收策略的具体公式是什么？草稿模型和教师模型能否保证同分布？在什么场景下使用效果最好？如何与量化技术结合，以及结合时面临哪些工程挑战？vLLM支持哪种投机解码？总显存占用优化还是推理加速，是否加速首个token生成时间？ 「字节跳动、百度、腾讯、腾讯混元、阿里巴巴」
原题【推理优化总体思路】大模型推理性能优化怎么做？请从基本思路、具体方法（包括训练和推理加速）、软件优化（硬件给定情况下）等方面阐述，并说明如果优化方案上线后性能不达预期，如何持续优化？另请描述一个你优化模型推理性能的案例，包括具体的技术手段和效果。 「京东、字节跳动、百度、美团、腾讯、腾讯混元、阿里巴巴」
原题【推理延迟诊断】AI推理延迟高的诊断方法论及优化策略，可能涉及哪些技术层面？如果在模型推理过程中出现延迟问题或项目上线前发现推理速度不达标，你会如何优化？ 「字节跳动、腾讯」
原题【推理成本优化】如何在保证性能的前提下降低模型推理成本？请对比量化、batching、缓存、蒸馏/小模型兜底等手段的优先级并说明理由。 「京东、拼多多」
原题【推理服务设计】模态感知负载均衡？ 「百度」
原题来源未明确 LLMGenerator 所指的实现。
比较LLM推理框架的优缺点与使用场景：
LLMGenerator vs vLLM（优缺点）；
TensorRT-LLM vs vLLM（典型使用场景）；
vLLM vs SGLang（包括PagedAttention技术，SGLang相比vLLM的PagedAttention在推理延迟上的优势，以及如何选择vLLM和SGLang）。
原题完整原题
【推理框架对比】比较LLM推理框架的优缺点与使用场景：1. LLMGenerator vs vLLM（优缺点）；2. TensorRT-LLM vs vLLM（典型使用场景）；3. vLLM vs SGLang（包括PagedAttention技术，SGLang相比vLLM的PagedAttention在推理延迟上的优势，以及如何选择vLLM和SGLang）。 「字节跳动、百度、蚂蚁集团、阿里巴巴、阿里通义」
【推理瓶颈诊断】如何判断LLM推理过程中的瓶颈是什么？ 「阿里巴巴」
原题【模型编译技术】为什么很多时候要先把动态图转成静态图再去做融合优化，以及动态图和静态图转换本身的开销怎么处理。 「蚂蚁集团」
原题【流水线并行】PP推理时，是一个串行的过程，1个GPU计算，其他空闲，有没有其他方式？ 「腾讯混元」
原题【算子优化】算子优化到极致如何判断？能不能继续优化？算子访存效率、计算能到多满，怎么评估？ 「百度」
原题【算子融合】FusedAttention优化怎么做的？ 「百度」
原题来源只称 FusedAttention，未指定具体实现与版本。
【缓存机制】如何设计一个高效的AI模型缓存机制，减少重复计算？ 「京东」
原题【视觉推理优化】若视觉模型在实际部署中推理速度无法满足业务需求(如实时视频分析延迟>100ms)，你会如何优化? 「京东」
原题训练推理一致性相关问题：
推理训练的分布不一致怎么解决？
训练和推理分离、异步rollout会带来什么收益和风险？
原题完整原题
【训练推理一致性】训练推理一致性相关问题：1. 推理训练的分布不一致怎么解决？2. 训练和推理分离、异步rollout会带来什么收益和风险？ 「字节跳动、腾讯混元」
【访存优化】如何通过优化访存来提升性能？ 「字节Seed」
原题【运行时内存管理】运行时的内存管理，(分层设计，内存复用，原地推理)。 「百度」
原题【长序列处理】推理时若将大量Memory以Token形式给到大模型，Token长度过长该如何处理？ 「百度」
原题【AI编译优化】请说明“AI编译优化”（如TVM、TensorRT）的核心工作流程，对比“基于模板的编译”与“自动搜索的编译”两种技术路线的优缺点，以及在面对异构硬件（CPU+GPU+NPU）时的编译策略设计。 「腾讯」
原题【MoE推理优化】如何解决MoE推理时的显存带宽瓶颈？ 「字节跳动」
原题【Prefix Cache】如果要做prefix cache，应如何在trie、hash、block table之间选择，为什么？ 「字节跳动」
原题【vLLM】怎么做vLLM的auto tune，有什么方案？手撕vLLM。 「阿里巴巴、阿里通义」
原题“手撕 vLLM”未说明具体实现范围。
【投机解码】投机采样的加速比分析公式是什么？MoE模型的投机采样会遇到什么性能问题？ 「阿里巴巴」
原题LLM推理效率问题：部署到在线系统如何解决？从用户请求到模型返回的整个链路经历哪些环节？如何优化降低TTFT、提高吞吐量？Agent推理API低延迟响应系统级优化？
情景模拟：评估自动驾驶算法实时性瓶颈、梳理优化方向、设计初步方案、预估效果并汇报。
原题完整原题
【推理优化总体思路】LLM推理效率问题：部署到在线系统如何解决？从用户请求到模型返回的整个链路经历哪些环节？如何优化降低TTFT、提高吞吐量？Agent推理API低延迟响应系统级优化？情景模拟：评估自动驾驶算法实时性瓶颈、梳理优化方向、设计初步方案、预估效果并汇报。 「京东、美团、阿里巴巴」
【推理优化手段】用LibTorch Java绑定做推理时，如何借助Flink的窗口函数与Java的高效计算，处理时序数据以降低推理latency？ 「阿里巴巴」
原题【推理服务设计】请设计一个支持弹性伸缩的AI推理服务，应对流量高峰。 「京东」
原题【视觉推理优化】设计计算机视觉推理优化方案，目标是提升“京东科技工业质检系统”的实时性，说明：模型压缩方法（如INT8量化）、推理引擎选择（如TensorRT）、批处理策略及精度损失控制（如量化后准确率下降<1%）。 「京东」
原题【计算量与访存量】手撕DeepSeek V3的每次推理访存量手算。 「字节跳动」
原题【量化基础概念】模型量化是什么，为什么能加速推理？常见的量化方法有哪些？请谈谈对模型量化的了解。 「字节跳动、百度、腾讯混元、阿里巴巴」
原题【LoRA】介绍LoRA。 「字节跳动」
原题【剪枝】有没有尝试过模型裁剪? 「美团」
原题【动态量化与静态量化】动态量化与静态量化。 「百度」
原题【数据类型对比】对比FP32、FP16、BF16、INT8四种数据格式的区别，包括IEEE754标准中的表示方式、优缺点（如精度、范围、内存占用、计算速度），并说明在AI训练和推理中如何选择精度，以及为什么BF16逐渐成为大模型训练的主流选择之一？同时对比int和fp数据类型。 「字节Seed、百度、美团、腾讯混元、阿里通义」
原题【模型压缩技术概览】模型压缩的必要性与可行性？减小模型内存占用办法？模型压缩加速方法？除了量化，了解稀疏、剪枝、模型蒸馏等技术吗？ 「腾讯混元、阿里巴巴」
原题【知识蒸馏】请介绍知识蒸馏的常见模型、改进方法、蒸馏流程、作用，以及是否考虑过蒸馏或自训练方式？ 「字节跳动、百度、美团、腾讯混元」
原题【量化与剪枝】追问1：如何进行模型量化和剪枝？ 「百度」
原题【量化原理】LLM 量化发挥作用的原理是什么？ 「百度、腾讯」
原题【量化基础概念】什么是模型量化?INT8和INT4量化的区别是什么?会损失多少精度? 「百度」
原题了解哪些模型的量化方法和加速方法？请介绍模型量化和Flash Attention。
压缩量化方法有哪些？量化的优点有哪些？权重量化、激活值量化、KV cache量化都有什么好处？大模型推理中的量化技术了解吗？大模型量化的特点。有考虑过量化？大模型的量化？
原题完整原题
【量化技术概览】了解哪些模型的量化方法和加速方法？请介绍模型量化和Flash Attention。压缩量化方法有哪些？量化的优点有哪些？权重量化、激活值量化、KV cache量化都有什么好处？大模型推理中的量化技术了解吗？大模型量化的特点。有考虑过量化？大模型的量化？ 「字节跳动、快手、百度、腾讯、阿里巴巴」
【量化策略选择】量化策略的选择。 「百度」
原题【量化算法对比】对称量化和非对称量化的区别？量化选用什么算法？ 「字节跳动、阿里通义」
原题【量化精度损失评估】量化后如何评估精度损失？请说明量化带来的精度问题。 「字节跳动、百度」
原题【量化范围确定】量化范围确定：为什么要按绝对值最大值去决定范围？ 「百度」
原题【量化训练】只做了SFT，没做后续训练是吧，最后有对模型做量化吗？ 「腾讯混元」
原题【量化部署】量化部署：对模型量化部署有了解吗？是否应用过量化或动态批处理等技术？ 「京东、腾讯混元」
原题【AWQ原理】AWQ的核心思想与原理。 「小红书、百度」
原题【INT8量化实现】手写算法：实现INT8 Per-Tensor量化与反量化函数。 「腾讯」
原题【KVCache量化】如何进行KVCache的INT8量化？ 「字节跳动」
原题【LoRA与QLoRA对比】讲下lora和qlora的区别，具体差异在哪？ 「阿里通义」
原题【PTQ与QAT对比】后量化(Post-Training Quantization)与量化感知训练(Quantization-Aware Training)的区别？ 「百度」
原题【QLoRA】QLoRA相比标准LoRA做了哪些改进？QLoRA是怎么降低资源成本的？QLoRA为什么选择NF4和FP16这组组合？QLoRA在内存优化上的具体实现？层到QLoRA量化。 「京东、百度、美团」
原题【剪枝】详细讲讲结构化剪枝和非结构化剪枝。 「阿里巴巴」
原题【数据类型对比】比较INT8、FP8、BF16、FP16、FP32等数据格式的优劣势、精度、动态范围、溢出风险，以及在量化中的表现和适用场景。具体包括：INT8与FP8的优劣势及各自适用场景；BF16、FP16、FP32的差异，FP16与BF16的区别（FP16精度高但易溢出，BF16动态范围大）；训练大模型时如何选择（训练常用BF16混合精度，推理用INT8量化加速）；除了W4A16，对INT8、FP8等业界常见量化方案的了解。 「百度、蚂蚁集团、阿里巴巴、阿里通义」
原题【激活值量化】W4A16、W8A8等量化方案中，激活值（Activation）如何量化？请结合Weight-only量化（如W8A16）说明激活值的处理方法。 「字节跳动、阿里通义」
原题【知识蒸馏】知识蒸馏在大模型压缩中的应用：如何将大模型蒸馏到小模型？黑盒蒸馏（仅使用API）和白盒蒸馏（可访问参数）有什么区别？ 「字节跳动、腾讯、阿里巴巴」
原题【量化原理】模型量化原理：介绍量化算子具体怎么算；如果把一个FP16的权重量化成INT8+FP32 scaling，量化过程怎么理解？ 「百度」
原题不同模型在本地部署和量化时会不会有明显差异？去除了什么冗余权重，int8量化Embedding？如果给你一个还没有量化的模型，要怎么推进量化？
根据哪些指标来判断码本是否收敛？
原题完整原题
【量化实践】不同模型在本地部署和量化时会不会有明显差异？去除了什么冗余权重，int8量化Embedding？如果给你一个还没有量化的模型，要怎么推进量化？根据哪些指标来判断码本是否收敛？ 「百度、蚂蚁集团、阿里巴巴」
【量化技术概览】说说你知道的那些针对LLM的量化技法，包括LLM.int8()、SmoothQuant、AWQ、GPTQ等，并说明量化的好处。 「京东、字节Seed」
原题【量化硬件】量化的硬件需要啥 找最大值，除法(倒数和乘法)，round。 「腾讯」
原题【量化策略选择】为什么权重和激活在很多场景下会采用不一样的精度策略？在量化方案选择（如INT8、INT4、GPTQ、AWQ）时，你根据什么标准选？ 「百度、阿里巴巴」
原题【量化算子】大模型量化的目标算子是什么？请详细讲解大模型的量化，包括量化算子。具体地，量化的矩阵乘维度 block 32的话左矩阵 m/32，k，右矩阵k，n/32。 「百度、美团、腾讯」
原题来源未提供 block32 的矩阵布局与形状约定。
常见的量化方式有哪些，并解释不同量化方式的权衡？
另外，QLoRA为什么选择NF4和FP16这组组合，而不是别的组合？
原题完整原题
【量化算法对比】常见的量化方式有哪些，并解释不同量化方式的权衡？另外，QLoRA为什么选择NF4和FP16这组组合，而不是别的组合？ 「美团、蚂蚁集团」
【量化粒度】量化粒度：Per-Tensor、Per-Channel和Per-Row量化的区别，权重量化为什么常用Per-Channel？ 「腾讯、阿里巴巴」
原题【量化精度恢复】精度恢复的技术手段：说明模型量化过程中“校准(Calibration)”步骤的核心作用，以及在量化后出现精度下降时，可采取哪些技术手段(如混合精度、量化感知训练)进行优化？ 「百度、腾讯」
原题【量化精度损失评估】你说可以量化，他就问你是模型量化还是向量量化，用什么方法，精度会损失多少。 「字节跳动」
原题【量化训练】fp16量化训练的策略。 「阿里巴巴」
原题【8bit量化算法设计】设计8bit量化算法，手写权重训练校准与伪量化过程 「字节跳动」
原题【AWQ原理】像AWQ这种量化方式，看起来其实给模型增加了很多步骤，比如把BF16压成更低比特，计算的时候又要做一些反量化，那为什么最后整体还是会有加速？ 「蚂蚁集团」
原题【NF4量化】你能说说NF4的分布拟合逻辑吗？ 「美团」
原题【QLoRA量化】QLoRA的NF4量化会不会破坏初始化优势？ 「百度」
原题【SmoothQuant】SmoothQuant的核心思想是什么？它如何通过解决激活值难量化的问题来确保INT8 LLM的精度正确？ 「京东、字节跳动、腾讯」
原题【低比特量化】先问fp4 说了一下mxfp4和nvfp4，但nvfp4记不大清，只知道是两层scale，然后block大小也记不得。 「腾讯」
原题【模型压缩经验】你有过LLM模型压缩或模型轻量化的经历吗？请分享一个在模型压缩与加速中的实践经验。 「京东、字节跳动」
原题【模型压缩蒸馏】如何对经过后训练的大模型进行高效的压缩和蒸馏，以适配端侧或低资源部署? 「蚂蚁集团」
原题【模型压缩部署】多模态模型在移动端部署时，常见的量化(Quantization)和剪枝策略有哪些？ 「腾讯」
原题请分享你在模型蒸馏方面的实践经验。怎么避免蒸馏限制新模型的上限？
有没有想过teacher模型logits不可获取的情况下，怎么做OPD？
请解释一下知识蒸馏在音视频模型压缩中的应用？
原题完整原题
【知识蒸馏】请分享你在模型蒸馏方面的实践经验。怎么避免蒸馏限制新模型的上限？有没有想过teacher模型logits不可获取的情况下，怎么做OPD？请解释一下知识蒸馏在音视频模型压缩中的应用？ 「字节跳动、百度、蚂蚁集团」
【量化技术概览】量化的未来发展方向。 「百度」
原题【量化推理实现】展开讲自己做的量化推理runtime：做了哪些改动、量化落在哪部分、精度掉了多少、用什么数据集测的；Linear层怎么改、数据结构怎么设计、内存布局怎么处理、正确性怎么验证？ 「蚂蚁集团、阿里巴巴」
原题【量化硬件】先问硬件怎么做量化的。 运算器算完一个tile后反量化。然后等整个内积算完再量化送回存储器。 「腾讯」
原题【量化策略选择】LLM量化技术INT8、W4A16流程，若数据分布极不均匀(最小值-10000，其余在[-1,1])应选何种量化策略？ 「腾讯混元」
原题【量化算法对比】比较GPTQ、AWQ、TurboQuant等量化算法的核心区别、适用场景及数学/工程技巧。另问：W8A8、FP8、AWQ/W4A16这些方案到底差在哪？ 「百度、腾讯、阿里巴巴」
原题【量化精度恢复】量化:INT4还能怎么救? 「百度文心」
原题【CUDA编程模型基础】CUDA编程模型基础：请说明CUDA编程模型是怎样的，包括如何求CUDA的thread id，以及能否直接编译执行.cu代码。另外，请列举你写过哪些Kernel。 「字节跳动、快手、腾讯、阿里通义」
原题【Block与Thread分配】CUDA Kernel的Block与Thread分配。 「百度」
原题【Block与Warp关系】block=256和warp的关系是什么？ 「百度」
原题【Constant Memory】Constant Memory的作用是什么？请举例说明在什么场景下适合使用Constant Memory。 「百度」
原题【CUDA Context】CUDA Context的简介。 「百度」
原题【CUDA关键字】CUDA关键字_shared_、_device_、_global_的含义和调用关系？ 「阿里通义」
原题【CUDA编程手段】CUDA有哪几种编程手段？ 「百度」
原题【Global Memory到Shared Memory搬运】数据从global memory搬运到shared memory的搬运过程。 「百度」
原题【性能分析工具】开发算子的时候用什么工具进行分析？ 「百度」
原题【Bank Conflict】Shared Memory Bank Conflict的定义；请解释shared memory的bank conflict是什么，并说明解决Shared Memory Bank Conflict的方法。 「百度、阿里巴巴、阿里通义」
原题【CPU算子向量化】优化CPU的算子，向量化指令集。 「百度」
原题【CUDA优化技术概述】解释CUDA编程中的常见优化技术。 「蚂蚁集团」
原题【DeepEP】介绍deepep。 「百度」
原题【DeepGEMM】有没有了解deepgemm？ 「阿里巴巴」
原题【Global Memory访问优化】如何高效地访问Global Memory？ 「百度」
原题【Kernel Launch开销】CUDA Kernel Launch的耗时来源。 「百度」
原题【Kernel优化技能点】在kernel优化方面的技能点主要点在哪个part？是在上层针对具体场景，还是kernel本身，还是下层利用硬件特性。 「字节跳动」
原题【Register Spill】什么是Register Spill？发生Register Spill是好是坏？为什么？如何避免或减少Register Spill？ 「百度」
原题【Shared Memory vs HBM】加载到shared memory和直接从HBM取input比为什么更快(取得数组里面数的数目都是一样的)？ 「阿里巴巴」
原题【Warp Shuffle指令】warp的shuffle指令up、down和XOR的使用场景是什么？ 「百度」
原题【向量加法Kernel】手写CUDA Kernel实现向量加法并解释优化思路（核心内容）。需要手写CUDA吗？手撕CUDA；写一道CUDA编程题。 「字节Seed、百度、腾讯、阿里通义」
原题【循环展开优化】为什么循环展开可以提速？ 「阿里巴巴」
原题【性能分析工具】你有哪些工具（如ncu）可以观察kernel的性能瓶颈？能观察到多细的粒度？如何用这些工具检查访存次数并定位瓶颈？ 「百度、蚂蚁集团、阿里巴巴」
原题【显式拷贝机制】Host to Device、Device to Host这种显式拷贝在今天的框架里到底怎么发生？ 「阿里巴巴」
原题【算子优化手段】常用的算子优化手段？ 「百度」
原题【算子层组织】具体到算子层是怎么组织的？ 「阿里巴巴」
原题【CUDA算子融合】有没有做过kernel级别的优化？比如用CUDA做算子融合？ 「百度」
原题【CUDA资源调度】训练框架底层，如何调度cuda资源？ 「阿里巴巴」
原题【FlashAttention Kernel】FlashAttention的cuda kernel核心逻辑？ 「阿里巴巴」
原题【GEMM优化】GEMM 为什么能做到 95+% cuBLAS？GEMM算子有哪些主流优化思路，我有没有实践过？写CUDA GEMM算子：实现一个base版本，并讲解优化方法（包括一个thread算多个数、数据复用、访存合并、双buffer边读边算、避免bank conflict），同时讲评估指标。 「字节跳动、美团、腾讯混元、蚂蚁集团」
原题【Independent Thread Scheduling】什么是Independent Thread Scheduling？它是如何实现的？在CUDA中如何利用这种机制优化性能？ 「百度」
原题【Kernel性能分析】一个kernel内部(不考虑memcpy、malloc预分配好的内存耗时)运行时如何分析算子性能？ 「百度」
原题【Marlin算子】极速反量化的marlin算子了解过吗？ 「阿里巴巴」
原题【Reduce实现与优化】手撕CUDA reduce，要求实现block reduce，并使用warp shuffle优化，能否进一步优化？变体：对二维矩阵的每一行做reduce；输入为[N, C, H, W] = [128, 16, 256, 256]，输出为[N, H, W]；输入为(1000000,128)矩阵，reduce到(1,128)。 「字节跳动、百度、阿里巴巴」
原题【Softmax优化】CUDA softmax 优化。 「百度」
原题【SRAM与HBM带宽优化】它们如何利用GPU SRAM与HBM之间的带宽瓶颈进行优化？ 「字节跳动」
原题【Tiled MatMul】写代码题：tiled matmul。 「字节Seed」
原题【Tilelang vs Triton】Tilelang和Triton有哪些性能差异，为什么，问我有没有自己上手验证过。 「腾讯混元」
原题【Tiling Block Size选择】你的tiling block size怎么选的？为什么这样选？ 「阿里巴巴」
原题【Timing插件实现】你在实习里写的一个timing插件，为什么要写，它底层是怎么实现的，解决了什么问题，以及为什么不用Nsight、NCU这种profiling工具直接做。 「蚂蚁集团」
原题【Transpose Kernel设计】多维tensor的transpose kernel怎么设计，是否需要根据i， j的位置设计不同的kernel。 「字节跳动」
原题【前缀和实现】写cuda算子：前缀和。实现一个base的，讲优化方法。 「美团」
原题【卷积IM2COL+GEMM】卷积的实现IM2COL+GEMM。 「百度」
原题【算子优化极致判断】如何判断算子优化到极致？ 「百度」
原题【MMA与ldmatrix布局】解释mma和ldmatrix在cutlass CuTE中的thread value layout。 「阿里巴巴」
原题【Triton实现Online Softmax Attention】用Triton实现一个tiling加online softmax的Attention kernel，在SRAM上完成局部计算避免中间矩阵写入HBM，对比标准PyTorch实现，在seq_len等于2048的设定下HBM读写量减少了百分之六十。 「阿里巴巴」
原题【矩阵乘+ReLU融合】从硬件适配、数据布局、指令调度三个维度，说明矩阵乘+ReLU融合算子的关键优化思路。 「腾讯」
原题【自定义CUDA显存分配器】现场想一个更灵活有效的显存分配方式cudaAllocator。 「百度」
原题【跨架构算子设计】在AI Infra底层硬件适配中，需考虑不同芯片架构(如x86、ARM、RISC-V)的指令集差异。请以“卷积算子”为例，说明如何设计跨架构兼容的算子实现方案，同时兼顾不同硬件的性能优势？ 「腾讯」
原题【量化GEMM算子实现】用CUDA/Triton/Tilelang/任何我可以的语言实现一个quant GEMM算子。 「腾讯混元」
原题部署设备配置是什么？ 「百度」
原题【K8s监测插件】k8s里面的cAdvisor和DCGM exporter监测插件是什么？ 「阿里巴巴」
原题【llama.cpp】llama.cpp了解吗？ 「字节跳动」
原题【PD分离概念】pd分离(没细问，简单说说怎么回事)? 「字节Seed」
原题【Sandbox】sandbox了解过吗？ 「阿里巴巴」
原题【向量存储位置】向量是存在本地吗？ 「美团」
原题【推理框架使用经验】你在项目中用过哪些模型推理框架？请列举大模型推理部署的主流框架。vLLM用过吗？vLLM API Server？线上推理用的是什么？ 「字节跳动、腾讯混元、阿里巴巴」
原题【日志结构化】日志怎么结构化？ 「美团」
原题【本地AI coding】你本地能不能AI coding？ 「阿里通义」
原题【线上高峰吞吐量】线上高峰吞吐量大概是多少? 「字节跳动」
原题【训练与推理区别】大模型训练和推理的区别 「字节跳动」
原题【Agent部署问题】Agent部署时遇到哪些问题？ 「美团」
原题【AI服务完整流程】能描述一下从用户请求、模型训练到在线serving的完整流程吗？ 「字节跳动」
原题【API超时与报错处理】如果遇到api超时和报错怎么解决？ 「字节跳动」
原题【DCGM监控告警】DCGM监控告警怎么搭？ 「美团」
原题【K8s配置与指标注入】怎么修改k8s里面的config正则表达来注入指标? 「阿里巴巴」
原题来源未提供待修改的 config 正则表达式。
【PD分离推理框架】PD分离推理框架：vLLM / TensorRT (Sglang了解不多) nano-vLLM。 「百度」
原题【Pod自动恢复】Pod挂了怎么自动恢复？ 「美团」
原题【Text Generation Inference】Text generation inference的优点、缺点、功能有哪些？以及如何使用docker运行web server？ 「腾讯混元」
原题【Token成本控制】如何控制AI业务的Token成本？从分块、提示词、缓存、模型选型多维度说明。 「阿里通义」
原题【vLLM启动参数】VLLM启动服务时到底会传哪些常见参数？ 「百度」
原题【vLLM请求调度】VLLM作为服务框架，提出的请求调度机制主要解决了什么问题？ 「百度」
原题【代码沙箱执行】代码(沙箱)是怎么执行的，是本地吗？怎么确保代码执行的环境存在？ 「蚂蚁集团」
原题【可观测性维度】日志、链路追踪、指标监控覆盖哪些维度？ 「美团」
原题【向量化服务要求】向量化服务是整个流程的关键环节之一，你认为向量化服务需要满足哪些性能或质量要求？ 「美团」
原题【向量数据库选型】为什么选择Milvus，有没有了解其他向量数据库？ 「京东」
原题【多模态模型部署经验】你有过将多模态模型部署到生产环境的经历吗？ 「京东」
原题【大模型工程难点】大模型应用开发中，你认为最大的工程难点是什么？ 「美团」
原题【异常fallback策略】是否有异常fallback策略？ 「阿里巴巴」
原题【推理框架对比】推理框架对比：SGLang和vLLM在推理服务中分别适合什么场景？Ollama和vLLM区别在哪儿？为何选择vLLM？ 「字节跳动、百度、腾讯混元」
原题【推理框架特点与设计理念】推理框架的特点和设计理念，以及与传统框架不同的地方。 「百度」
原题【推训一致性】推训一致性？ 「蚂蚁集团」
原题【模型上线资源消耗评估】模型上线有多少资源消耗？ 「腾讯」
原题【模型参数量与硬件需求】模型部署相关，说下模型部署的参数量和需求硬件之间的关系 「美团」
原题【模型大小选择】模型大小如何选择？ 「腾讯混元」
原题【模型部署与调优经验】有没有做过模型的部署和调优? 「阿里巴巴」
原题【模型部署经验教训】请分享你在模型部署过程中的经验教训。 「蚂蚁集团」
原题【算子与推理框架关系】是否了解算子和推理框架之间的关系？ 「百度」
原题【系统分层设计】为什么你的系统要分层设计而不是一次性让大模型生成最终业务输出结果？ 「蚂蚁集团」
原题【线上推理流程】介绍线上推理流程。 「百度」
原题【线上部署性能问题】线上部署时有没有遇到性能问题? 「京东」
原题【自动回滚恢复】如何自动检测并进行回滚恢复？ 「字节跳动」
原题【训推分离收益】训推分离有什么收益? 「字节跳动」
原题原题未给训推分离的具体场景，本条仅关联训练与推理执行职责的区别。
【配置管理模块实现】实现配置管理模块，后端模型服务可使用Mock。 「蚂蚁集团」
原题【AI平台安全】请描述一个你处理过的AI平台安全问题的案例，以及你的解决方案。 「京东」
原题【K8s算力调度与数据适配】如果不同业务部门的数据格式依赖偏好不同，怎么做在k8s里做算力调度支持？ 「阿里巴巴」
原题【K8s部署大模型挑战】在Kubernetes上部署AI大模型遇到的最大挑战是什么，如何解决？ 「腾讯」
原题【PD分离与混合部署】详细讲PD分离。推理框架层的问题，PD混合怎么做？ 「美团、阿里巴巴」
原题【Router机制】router以什么方式存在？其启动方式及数据流到来时的具体处理流程（包括函数名）是什么？router的策略是什么？ 「字节Seed」
原题来源未说明 Router 所属的实现与版本。
【vLLM稳定性与高效性】VLLM在大规模训练中，如何确保稳定性和高效性？ 「腾讯」
原题【vLLM部署与调优】怎么用vLLM部署并调优一个推理服务？ 「美团」
原题【云平台与自建平台对比】你如何看待云厂商的AI平台（如SageMaker， VertexAI）和自建平台之间的取舍（Build vs. Buy）？ 「美团」
原题【低延迟高吞吐技术选型】客户要求同时满足低延迟和高吞吐，如何进行技术方案选型？ 「腾讯」
原题【向量索引系统改造】假如你要引入向量索引系统，在线serving服务要做什么改造？ 「腾讯」
原题【大模型推理算力分配与负载均衡】对DeepSeek 671B模型进行推理时，是如何做算力分配和负载均衡的？ 「字节跳动」
原题【工程优化与模型微调权衡】你们会怎么判断这个问题是通过工程链路优化就够了，还是需要做模型微调和训练？ 「字节Seed」
原题【推理服务自动扩缩容】如何设计一个AI推理服务的自动扩缩容策略？ 「腾讯」
原题【推理框架搭建】推理框架是如何搭建的？ 「阿里通义」
原题【模型Serving设计】什么是模型serving，如何设计一个高性能的模型serving系统？ 「蚂蚁集团」
原题【模型版本回滚机制】如何设计一个高效的AI模型版本回滚机制，确保快速恢复？ 「京东」
原题【模型精度与部署效率权衡】计算机视觉研发需平衡“模型精度”与“部署效率”，你会如何权衡？ 「京东」
原题【模型部署兼容性问题】请描述一个你解决过的AI模型部署兼容性问题的案例。 「京东」
原题【模型部署性能瓶颈排查】如果在模型部署过程中出现性能瓶颈，你会如何解决？ 「字节跳动」
原题【沙箱与监控实现】沙箱、监控怎么做的？ 「美团」
原题【特征生产与快照流转】特征生产，快照流转的完整架构是怎样的？ 「腾讯」
原题【线上AI系统故障排查与修复】线上AI系统常见故障：超时、报错、上下文溢出、幻觉频发，如何排查与修复？ 「阿里通义」
原题【线上推理系统故障排查】描述一次线上推理系统的故障排查经历。 「蚂蚁集团」
原题【线上故障定位】如何区分线上问题是检索故障、模型生成故障还是业务数据故障？ 「美团」
原题【自动驾驶算法工程化】作为校招自动驾驶算法工程师，如何协助开展算法的工程化落地与测试验证工作？请说明核心协助方向（如算法代码优化、数据采集与处理、仿真测试场景搭建、实车测试数据分析）、常用方法及注意事项？ 「京东」
原题【边缘与端侧模型部署优化】在大模型部署到边缘设备、车载、端侧、移动端（如京东APP）或资源受限环境时，你会采取哪些优化措施？请分别说明部署方式、考虑因素及具体优化方案。 「京东、字节跳动、百度、蚂蚁集团」
原题【高并发模型服务处理】模型面对高并发的时候如何处理？ 「百度」
原题【Agent沙箱设计】如果想做Agent的沙箱环境秒级启动应该怎么设计，具体讲一下其中的并发弹性调度、会话级状态保持及强安全隔离。 「阿里巴巴」
原题【LibTorch Java与Flink集成】基于LibTorch Java绑定构建的训练/推理框架，如何适配Flink的动态扩缩容与容错机制，结合Java的生态优势确保训练/推理不中断并提升系统整体可用性？需说明如何利用Java优势提升框架稳定性。同时，如何优化LibTorch Java绑定在Flink集群中的资源占用，结合Spring AI的配置管理，实现高性能推理？如何让Spring AI调用LibTorch Java绑定推理时，与Flink的流数据处理无缝衔接，减少数据传输延迟？如何在Spring AI中封装LibTorch Java绑定的推理接口，配合Flink的Checkpoint机制，确保推理结果可回溯？另外，用Spring AI整合LibTorch Java绑定时，如何优化模型参数传递效率，配合Flink提升高并发场景下的推理性能？同时，如何解决模型加载与Flink任务调度的协同问题，以加速推理响应？ 「阿里巴巴」
原题【LoRA权重快速切换】假设要在腾讯云上提供一个支持企业用户高度自定义微调(如LoRA)的多模态API集群服务，如何设计底层的模型加载架构，以支持数万个不同客户的LoRA权重实现毫秒级快速切换，且不会造成服务器显存瓶颈？ 「腾讯」
原题【千万级用户实时推理系统】设计一个支持千万级用户的实时AI推理系统。 「蚂蚁集团」
原题【多模态统一服务平台】如何设计一个支持多模态模型的统一服务平台？同时支持实时和离线模型。 「京东」
原题【多租户AI平台架构】请设计一个支持多租户的AI平台架构，确保资源隔离和公平调度。 「京东」
原题【大模型推理HTTP网关】实现一个面向大模型推理场景的HTTP网关，支持：智能路由、负载均衡、KVCache感知调度。 「蚂蚁集团」
原题【大模型部署方案】两台8卡H100做700B部署，精度FP8，要求TTFT<2秒，TPOT在50ms内，不能调节max-num-seqs等参数，有什么方案？ 「阿里巴巴」
原题【大规模AI集群SLA与稳定性】怎么保证大规模AI集群的SLA与稳定性，灰度发布、熔断及故障演练机制？ 「腾讯混元」
原题【端侧模型精度下降协同优化】对于端侧(如手机微信内部)部署的极轻量化视觉语言模型，如果发现在特定的垂类场景(如单据票据OCR理解)上精度下降严重，你会如何在云端和端侧分配重新训练或微调的负载链路？ 「腾讯」
原题【高可用大模型推理服务】设计高可用大模型推理服务；如何设计一个高可用的模型服务化平台，确保99.99%的SLA？ 「京东、字节跳动」
原题【高并发服务优化】高峰期用户咨询卡顿、Agent响应超时，LLM推理耗时波动极大，如何从服务架构、队列策略、缓存、降级四层做全链路优化？同时，高并发场景下，Agent服务如何做限流、降级、熔断、缓存优化？ 「美团」
原题【GPU资源分配与调度】组内卡多少，每个人平均能用多少？这边是否有独占的卡池，排队时间大概怎么样？ 「腾讯、阿里通义」
原题【训练GPU与框架】实际训练使用什么GPU，单卡显存是多少？是否用过其他厂商的芯片？用什么卡部署的？用的什么卡什么训练框架？用的训练资源？ 「字节跳动、百度、阿里巴巴、阿里通义」
原题【AI PC芯片】有没有具体了解一些AIPC芯片？ 「百度」
原题【CPU与GPU架构对比】CPU与GPU在架构设计上有哪些主要区别？为什么GPU更适合大规模并行计算和AI训练，而CPU更适合低延迟任务？ 「京东、百度」
原题【CPU存储层次】CPU的存储层次结构是什么样的（如寄存器、L1/L2/L3缓存、主存等）？它们之间的速度、容量和访问延迟有什么特点？ 「百度」
原题【CPU峰值算力计算】如何计算CPU的峰值算力？例如，对于一个4核CPU，主频为3.0GHz，每个周期可以执行4条浮点指令，其峰值算力是多少？ 「百度」
原题【CPU缓存结构】CPU Cache的组织结构。 「百度」
原题是否有过性能测试和其他卡的对比？请说明测试结果。
GPU的基本执行单元是什么？
线程块和warp的关系是什么？
原题完整原题
【GPU基本执行单元与线程调度】1. 是否有过性能测试和其他卡的对比？请说明测试结果。 2. GPU的基本执行单元是什么？ 3. 线程块和warp的关系是什么？ 「快手、腾讯」
【GPU存储层次】GPU的存储层次结构是什么样的（如寄存器、Shared Memory、Local Memory、Global Memory等）？它们之间的速度、容量和访问延迟有什么特点？ 「百度」
原题【GPU高吞吐设计】GPU从哪些方面体现出自己是以提高吞吐量为中心的？请阐述其高吞吐设计。 「百度」
原题【Nsight工具】Nsight了解吗? 「阿里巴巴」
原题【PCIe与NVLink】什么是PCIe、NVLink，它们对训练性能有何影响？ 「蚂蚁集团」
原题【Tensor Core与CUDA Core】Tensor core和CUDA core的区别。 「百度」
原题【内存与显存区别】内存和显存的区别？ 「阿里巴巴」
原题【基座模型硬件选型】你这里选用的基座模型用的什么卡？ 「百度」
原题【壁仞卡CUDA兼容性】壁仞卡是否兼容CUDA? 「阿里通义」
原题【操作类型与计算限制】大矩阵相乘和求和类操作分别属于哪类限制(memory bound 或者 compute bound)? 「字节Seed」
原题【模型训练资源需求】32B模型训练用了多少显卡？ 「腾讯」
原题【浮点数格式对比】浮点数格式对比：FP32、FP16和BF16的区别？ 「百度」
原题【芯片峰值算力】BR166的峰值算力是多少? 「阿里通义」
原题原题未指定 BR166 峰值的精度、产品形态及统计口径。
【AI集群监控指标】监控AI集群需要关注哪些关键指标？ 「腾讯」
原题【CPU Cache Line与GPU Sector对比】CPU的Cache Line是64 Bytes，GPU的一个Sector通常是多少？它们在设计上有哪些不同？ 「百度」
原题【CPU并行策略】CPU上有哪三大并行策略(如指令级并行、数据级并行、线程级并行)？请分别举例说明它们的应用场景和实现方式。 「百度」
原题【CPU延迟优化设计】CPU从哪些方面体现出自己是以降低延迟为中心的？例如分支预测、缓存设计、流水线等技术是如何减少延迟的？ 「百度」
原题【CPU流水线级数】CPU流水线级数的影响：是否越多越好？增加流水线级数会带来哪些优点（如提升主频）和缺点（如分支预测失误的惩罚增加）？ 「百度」
原题【CPU访存优化】CPU访存优化方法。 「百度」
原题【GPU Warp调度】发射很多个线程，GPU如何调度选择实现哪个Warp？ 「百度」
原题【GPU型号对比与选型】AI芯片发展趋势（ASIC、FPGA等）；不同代GPU架构特点（Volta、Ampere、Hopper等）；加速卡如何选择？对比A100和H20的算力、通信性能，以及与NVIDIA卡的区别。 「腾讯混元、蚂蚁集团、阿里巴巴、阿里通义」
原题【GPU并行与协作】GPU与CPU的协作优化；GPU的并行计算优势。 「百度」
原题【GPU异步同步】GPU上的异步与同步。 「百度」
原题【GPU性能与能效优化】GPU的性能优化方法；GPU的能效比优化。 「百度」
原题【GPU流多处理器与线程束】详细讲讲GPU里面的流多处理器，讲讲线程束？ 「阿里巴巴」
原题【GPU生态对比】不同GPU生态的差别？ 「阿里巴巴」
原题【Hopper架构精度支持】H20的hopper架构对什么数据精度格式的算力支持/优化更好？ 「阿里巴巴」
原题【IndependentThreadScheduling】IndependentThreadScheduling的概念。 「百度」
原题【K8s GPU管理】K8s上怎么管理GPU资源？ 「美团」
原题【Memory-bound判断指标】如何判断memory-bound？用什么指标判断？ 「阿里巴巴」
原题【RegisterSpill】RegisterSpill的定义与影响。 「百度」
原题【Roofline模型】Roofline分析？ 「阿里巴巴」
原题【SIMD与SIMT区别】SIMD（单指令多数据）和SIMT（单指令多线程）的主要区别是什么？SIMT如何更好地适应CUDA编程模型？ 「百度、腾讯」
原题【Warp与SM Occupancy】Warp和SM activity/SM active/SM occupancy的关系？ 「阿里巴巴」
原题【X86与ARM架构对比】X86和ARM架构在深度学习侧的区别？ 「腾讯混元」
原题【单卡训练LLM要求】想要训练1个LLM，如果只想用1张显卡，那么对显卡的要求是什么？ 「腾讯混元」
原题【国产芯片适配】910B适配过程中遇到的问题？ 「京东」
原题【处理器性能评估】如何评估处理器性能？ 「字节Seed」
原题【异构集群设备profile】异构集群中的设备profile应该包含什么？ 「阿里通义」
原题【AI基础设施评估】你认为京东目前的AI基础设施是否足以支撑未来的大模型战略? 「京东」
原题【AI基础设施趋势】AI Infra领域的技术趋势，边缘计算和Serverless AI平台的发展方向 「腾讯」
原题AI芯片(如NVIDIA H100、国产芯片)的架构差异及优化策略；
华为的卡和N卡有何异同，架构上，场景上，强项上？
国产GPU（摩尔线程等）与NVIDIA架构在MUSA/CUDA算子移植、通信库适配中的差异与坑点；
国产AI芯片在集群部署中的显存隔离（MIG/cGPU类）、驱动兼容性及生态适配难点；
异构加速卡适配如何验证？
技术选型时面对MUSA新特性与稳定CUDA生态的取舍，考虑的维度有哪些？
如果在模型部署过程中遇到硬件兼容性问题，你会如何处理？
使用华为的框架和显卡进行SFT有没有遇到什么问题？
原题完整原题
【AI芯片架构对比与适配】AI芯片(如NVIDIA H100、国产芯片)的架构差异及优化策略；华为的卡和N卡有何异同，架构上，场景上，强项上？国产GPU（摩尔线程等）与NVIDIA架构在MUSA/CUDA算子移植、通信库适配中的差异与坑点；国产AI芯片在集群部署中的显存隔离（MIG/cGPU类）、驱动兼容性及生态适配难点；异构加速卡适配如何验证？技术选型时面对MUSA新特性与稳定CUDA生态的取舍，考虑的维度有哪些？如果在模型部署过程中遇到硬件兼容性问题，你会如何处理？使用华为的框架和显卡进行SFT有没有遇到什么问题？ 「京东、字节跳动、腾讯、腾讯混元、阿里通义」
AI Infra中监控GPU利用率、显存、IB网络丢包、PCIe抖动的关键指标及Prometheus+DCGM落地；
如果DCGM和NVML不够，如何利用Nsight System和Nsight Compute进行多卡集群性能优化分析？
需要查看更底层的硬件指标怎么办？
多卡集群GPU指标监测怎么设计？
如何定位和优化GPU利用率低的问题？
GPU拓扑感知调度（NVLink/PCIe）在K8s中的实现难点及缓存亲和性场景题，以及MIG切分是怎么配的？
原题完整原题
【GPU监控与性能优化】AI Infra中监控GPU利用率、显存、IB网络丢包、PCIe抖动的关键指标及Prometheus+DCGM落地；如果DCGM和NVML不够，如何利用Nsight System和Nsight Compute进行多卡集群性能优化分析？需要查看更底层的硬件指标怎么办？多卡集群GPU指标监测怎么设计？如何定位和优化GPU利用率低的问题？GPU拓扑感知调度（NVLink/PCIe）在K8s中的实现难点及缓存亲和性场景题，以及MIG切分是怎么配的？ 「百度、百度文心、美团、腾讯混元、蚂蚁集团、阿里巴巴」
【RDMA网络与选型】RDMA在AI集群中的优势，RoCE与InfiniBand的选型对比及丢包影响，以及如何调优？ 「腾讯、腾讯混元」
原题【Tensor Core与CUDA Core活跃度及退化判断】详细解释一下tensor core active和cuda core active，根据这些管线指标如何判断LLM推理有没有因为精度或者维度不匹配而发生退化？ 「阿里巴巴」
原题【模型参数量计算】手撕DeepSeek V3的参数量手算 「字节跳动」
原题【GPU资源调度与配额系统设计】如何设计一个GPU资源调度系统？如何设计一个支持多租户的GPU资源配额系统？ 「腾讯、蚂蚁集团」
原题【下一代Infra硬件协同】下一代Infra硬件协同设计：下一代“积木”本身该长成什么样，即更偏下一代infra和硬件协同设计的问题？如果让你来设计下一代的AI芯片或服务器，你会关注哪些特性？ 「美团、阿里巴巴」
原题【大模型Infra挑战】从Infra的角度看，未来的大模型技术（比如MoE架构、多模态）会带来哪些新的挑战和机遇？ 「美团」
原题【端到端模型适配低算力】如果不给你用英伟达的GPU，或者只能用地平线的J6(征程6)，你会怎么设计你的端到端模型来适配这种“贫瘠”的算力？ 「字节跳动」
原题【AI编码工具】你平时的AI Coding工具是什么？ 「腾讯」
原题【PaddlePaddle框架】会paddle吧？ 「百度」
原题【PyTorch核心功能】是否了解pytorch？PyTorch核心的基础功能是什么？ 「快手、百度」
原题【职业方向偏好】未来希望做算子还是框架？ 「百度」
原题【CC使用经验】cc的使用习惯和心得？ 「字节Seed」
原题【CC压缩阈值】cc默认超过百分之多少会自动压缩？ 「字节Seed」
原题【Harness与循环工程】讲一下harness，loop engineering这些名词。 「百度文心」
原题【动态图与静态图区别】简述PyTorch中动态图与TensorFlow静态图的本质区别。 「京东」
原题【开源框架使用经验】是否真正用过verl、vLLM、Ray、DeepSpeed？用过哪些开源框架，DeepSeed，PyTorch等？ 「字节Seed」
原题【微调框架选择】直接用PEFT库，还是用LLama Factory做的？ 「蚂蚁集团」
原题【数据加载器与采样器】torch dataloader和data sampler区别？Dataloader，有哪些函数？ 「腾讯、腾讯混元」
原题【计算图工作原理】计算图是如何工作的？ 「快手」
原题【AI基础设施新技术】最近在学的AI Infra相关新技术（如Serverless推理、异构调度、FP8训练、dspark架构）？有没有关注infra最新进展？ 「腾讯混元、阿里巴巴」
原题【PyTorch GPU资源管理】（追问）是否尝试用PyTorch管理GPU资源？ 「快手」
原题原题只问 PyTorch 的 GPU 资源管理经历，未指定显存或设备选择等具体对象。
【TensorFlow插件与PyTorch扩展对比】TensorFlow插件机制为什么让人觉得麻烦，和PyTorch的extension比起来差别在哪？ 「阿里巴巴」
原题【中间结果依赖处理】如果一串算子里有中间结果被别的分支依赖，那你怎么办？ 「阿里巴巴」
原题【变长序列处理】Pytorch中如何处理变长输入（如不同的轨迹长度）？具体说明pack_padded_sequence和pad_packed_sequence的用法陷阱。 「字节跳动」
原题【数据加载流水线优化】大模型或深度学习的数据预加载怎么做？如何优化数据加载pipeline？ 「蚂蚁集团、阿里巴巴」
原题【模型版本管理】请描述一个你处理过的AI模型版本管理问题，以及你的解决方案。 「京东」
原题【混合专家模型框架实现】MOE架构在框架中是怎么做的？ 「百度」
原题【组批后算子处理】组batch之后算子层是怎么做的？ 「百度」
原题【自动微分实现】PyTorch的自动微分是怎么实现的？ 「百度」
原题【自动机器学习训练】你有了解过用AI来auto训练模型吗，把你知道的都说一下。 「字节跳动」
原题【训练框架使用与选型】常用什么训练框架？训练框架如何选型？ 「字节跳动、腾讯混元」
原题【AI基础设施团队管理】如何管理AI Infra团队的技术路线和技术债务？ 「腾讯」
原题【AI基础设施性能瓶颈】请描述一个你在AI基础设施项目中遇到的性能瓶颈问题，以及你是如何分析和解决的？ 「京东」
原题【AI系统架构概念】在设计一个复杂AI系统时，engine、 sub-engine、skil这些概念你会怎么理解和划分？ 「字节跳动」
原题来源未定义 skil 所指的工具或机制。
【AI训练存储系统】如何选择合适的存储系统用于AI训练？ 「蚂蚁集团」
原题【Gang调度器实现】手写算法：实现一个简单的Gang Scheduler调度算法。 「腾讯」
原题【Kubernetes Operator与CRD】Kubernetes Operator开发经验，如何设计CRD管理训练任务生命周期与弹性伸缩？ 「腾讯混元」
原题【平台工程与研发效率】平台工程在AI Infra中的实践，如何提升研发效率？ 「腾讯」
原题【数据加载性能优化案例】请描述一个你优化AI训练数据加载性能的案例，包括具体的技术手段和效果。 「京东」
原题【机器学习CI/CD流程】如何实现ML模型的CI/CD流程？ 「蚂蚁集团」
原题【流水线并行性能分析】写pp的时候如何profile的？ 「字节Seed」
原题【特征存储系统设计】如何设计一个高效的特征存储系统（Feature Store）？ 「蚂蚁集团」
原题【训练全流程搭建】能不能搭建数据、训练、rollout 和评测流程？ 「字节Seed」
原题【训练流水线评估与优化】如何评估和优化端到端的训练pipeline？ 「蚂蚁集团」
原题【MLOps平台设计】如何设计一个高效的MLOps平台，来管理大模型的整个生命周期（从数据准备、模型训练、到上线部署）？ 「美团」
原题【AI基础设施实习贡献】介绍相关实习的AI Infra技术工作及核心贡献。 「阿里巴巴」
原题【大规模多模态数据挑战】在处理大规模多模态数据时，你遇到过哪些存储和计算挑战？ 「蚂蚁集团」
原题
暂无题目