科大讯飞 · 大模型推理 Infra
AI 研究算法工程师一面面经
完整信息
本篇目录
10.26 科大讯飞 推理工程部 AI Infra 一面
面试形式：线上视频面试
面试岗位：AI研究算法工程师 - 大模型推理 Infra 方向
所属部门：资源星火公司 - 推理工程部
考察重点：异构算力适配、vLLM/SGLang 框架理解、推理瓶颈分析、资源调度与 GPU 池化、AI Coding 工程意识、底层岗位稳定性
一、自我介绍与项目背景
- 简单做一下自我介绍，重点讲一下和 Infra 最相关的项目或实习经历。
- 简历里写了在华为做过 AI Infra，这段主要做了什么？和推理模型有没有关联？
回答思路：坦诚没有深度改过底层源码，但重点讲工程侧的真实体感——环境适配、OOM 排查、压测调优、Profiling 数据收集。落脚到“理解开源框架跨到国产算力时，算子不兼容、动态 shape 处理、显存调度差异是主要痛点”。
二、异构算力与国产化适配
- 聊聊你对“原生算力”和“异构算力实践”的理解。
回答思路：原生意指 CUDA 生态成熟、开源框架默认优先支持；异构是为了自主可控，也是部门实际在打的方向。核心矛盾不是“能不能跑”，而是“跑得好不好”——算子覆盖度、图模式编译、通信与内存一致性。插件式适配（如 vllm-ascend 作为后端接入）是保留开源生态迭代速度的工程解法。
三、vLLM 与 SGLang 框架理解
- 用 vLLM 或 SGLang 实际跑过模型吗？框架里各个模块分别起什么作用？
- vLLM 的 PagedAttention 和 Continuous Batching 分别解决什么瓶颈？
- SGLang 的 RadixAttention 和 vLLM 的 prefix caching 是什么关系？
回答思路：
- vLLM：PagedAttention 用 block table 做逻辑到物理映射，消除 KV Cache 碎片；Continuous Batching 把调度粒度下沉到每个 decode step，完成即替换，GPU 槽位不空转。
- SGLang：RadixAttention 用基数树管理前缀 KV 复用，在多轮对话、Agent、RAG 等高前缀重复率场景下额外榨取吞吐；HiCache 进一步把缓存从 HBM 扩展到主机内存和分布式存储。
- 定位差异：vLLM 强在“把每一份显存用得最紧凑、让 GPU 不闲着”；SGLang 强在“让重复的前缀不重复算”。
四、推理瓶颈分析与优化实验
- 推理时的瓶颈主要在哪？内存瓶颈和计算瓶颈分别怎么定位？
- 如果让你做优化实验，你会怎么设计？
回答思路：
- 瓶颈：Prefill 是 compute-bound，Decode 是 memory-bound；长上下文下 KV Cache 显存爆炸是推理侧显存的主战场。
- 实验设计：先跑基线，记录 TTFT、TPOT、吞吐、显存峰值；用 Profiling 工具（Nsight / msProf）确认是 memory-bound 还是 compute-bound，再做针对性调整——显存碎片调 block size / gpu-memory-utilization，前缀重复率高对比开启/关闭前缀缓存，算力打不满考虑量化或投机采样。核心是用数据判断，不盲目调参。
五、资源调度与 GPU 池化
- 从产品/资源管理角度，弹性扩缩容和 GPU 池化通常有哪些策略？
回答思路：
- 池化：MIG 硬件隔离最强但静态；时间切片 / MPS 灵活但隔离性弱；隔离性与利用率此消彼长。
- 扩缩容：推理场景冷启动极慢，扩容易缩容难；指标上不能只看 QPS，队列深度 + 等待延迟才是推理的黄金信号；预测式扩容 + 缩容保护期是防震荡的常用手段。
- 落到岗位：底层引擎决定“每份卡用得有多满”，中间服务决定“几份卡在什么时候存在”，两者配合才能把成本打下来。
六、AI Coding 与工程提效
- 团队很看重 AI Coding，你怎么看它在 Infra 场景里的价值？
回答思路：AI Coding 不是“一键生成系统”，而是底层工程效率的放大器。在 Infra 语境下三个实际落点：算子迁移辅助（CUDA → CANN 的理解与初稿生成）、压测脚本生成（海量 benchmark 场景的样板代码）、海量底层日志排障（把又长又杂的报错喂给 AI 辅助定位方向）。经历少不是问题，会用 AI 工具快速啃开源代码、快速排错，本身就是这个岗位的生产力。
七、岗位意愿与稳定性
- 你个人兴趣是不是更偏向 AI 产品？如果 Infra 不匹配，也可以推荐你去产品部门。
- 我们底层引擎负责把模型更快、更低成本地跑起来，上层再做规模化 API 服务。你觉得哪个和你更契合？
回答思路（这一环节是面试官反复试探稳定性，回答必须坚决闭环）：
- 承认对产品有热情，但逻辑反杀：AI 产品的体验瓶颈往往就在底层推理速度和成本上。TTFT 下不来、并发一高就 OOM，上层封装再好用户体验也是零。
- 正是因为懂产品痛点，才更要在底层引擎把算力榨干。上层 API 是壳，底层引擎才是定价权。
- 明确表态：愿意从适配、测试、压测这些基础工作干起，目标是沉在底层把真本事练出来，而不是去上层做 API 调用的“传话筒”。
不得不说科大讯飞hr和面试官还是太温柔了点 这次没啥准备换其他地方估计都挨骂了
本篇目录
当前问题0112
- 01
简单做一下自我介绍，重点讲一下和 Infra 最相关的项目或实习经历。
- 02
简历里写了在华为做过 AI Infra，这段主要做了什么？和推理模型有没有关联？
- 03
聊聊你对“原生算力”和“异构算力实践”的理解。
- 04
用 vLLM 或 SGLang 实际跑过模型吗？框架里各个模块分别起什么作用？
- 05
vLLM 的 PagedAttention 和 Continuous Batching 分别解决什么瓶颈？
- 06
SGLang 的 RadixAttention 和 vLLM 的 prefix caching 是什么关系？
- 07
推理时的瓶颈主要在哪？内存瓶颈和计算瓶颈分别怎么定位？
- 08
如果让你做优化实验，你会怎么设计？
- 09
从产品/资源管理角度，弹性扩缩容和 GPU 池化通常有哪些策略？
- 10
团队很看重 AI Coding，你怎么看它在 Infra 场景里的价值？
- 11
你个人兴趣是不是更偏向 AI 产品？如果 Infra 不匹配，也可以推荐你去产品部门。
- 12
我们底层引擎负责把模型更快、更低成本地跑起来，上层再做规模化 API 服务。你觉得哪个和你更契合？