AI系统与训练推理工程
【推理加速】模型加速的方式有哪些，分别？ 「百度」
原题【推理加速技术】有没有用到continuous batching、KV Cache、vLLM等技术？ 「字节跳动」
原题【推理框架对比】解释TensorRT、ONNXRuntime等推理框架的作用，并说明你会使用哪些推理加速框架？ 「百度、蚂蚁集团」
原题【推理瓶颈诊断】解释:瓶颈不在数据传输，在计算那边。 「腾讯」
原题【算子融合】什么是算子融合？算子融合为什么可以带来性能提升？ 「字节Seed、百度」
原题【连续批处理】有没有听说过Dynamic Batching？ 「阿里巴巴」
原题介绍PagedAttention核心思想、vLLM原理及其如何解决显存碎片化问题；对比FlashAttention等优化方法；说明VLLM核心优势、PagedAttention如何提升显存利用率、动态批处理和显存管理创新设计。 「京东、字节跳动、快手、百度、腾讯、腾讯混元、蚂蚁集团」
原题介绍TensorRT。 「快手」
原题介绍一个具体的推理场景，问在这个场景下能给出什么推理优化思路。 「字节跳动」
原题介绍下Text generation inference？ 「腾讯混元」
原题
暂无题目