AI系统与训练推理工程
【算子融合】FusedAttention优化怎么做的？ 「百度」
原题来源只称 FusedAttention，未指定具体实现与版本。
【缓存机制】如何设计一个高效的AI模型缓存机制，减少重复计算？ 「京东」
原题【视觉推理优化】若视觉模型在实际部署中推理速度无法满足业务需求(如实时视频分析延迟>100ms)，你会如何优化? 「京东」
原题训练推理一致性相关问题：
推理训练的分布不一致怎么解决？
训练和推理分离、异步rollout会带来什么收益和风险？
原题完整原题
【训练推理一致性】训练推理一致性相关问题：1. 推理训练的分布不一致怎么解决？2. 训练和推理分离、异步rollout会带来什么收益和风险？ 「字节跳动、腾讯混元」
【访存优化】如何通过优化访存来提升性能？ 「字节Seed」
原题【运行时内存管理】运行时的内存管理，(分层设计，内存复用，原地推理)。 「百度」
原题【长序列处理】推理时若将大量Memory以Token形式给到大模型，Token长度过长该如何处理？ 「百度」
原题【AI编译优化】请说明“AI编译优化”（如TVM、TensorRT）的核心工作流程，对比“基于模板的编译”与“自动搜索的编译”两种技术路线的优缺点，以及在面对异构硬件（CPU+GPU+NPU）时的编译策略设计。 「腾讯」
原题【MoE推理优化】如何解决MoE推理时的显存带宽瓶颈？ 「字节跳动」
原题【Prefix Cache】如果要做prefix cache，应如何在trie、hash、block table之间选择，为什么？ 「字节跳动」
原题
暂无题目