模型基础与推理

本分类共 8 个专题 · 1526 道题

7709

Transformer 的 FFN 内部结构是什么，有哪些替代设计？

模型基础与推理Transformer 与注意力

原理机制

进阶

7711

MoE 中路由专家与共享专家分别是什么，为什么同时设置？

模型基础与推理模型架构与表示

原理机制

进阶

7910

稀疏矩阵向量乘 SpMV 如何实现，CSR 与 COO 格式怎样影响计算？

模型基础与推理推理优化与模型压缩

方案设计

进阶

8347

部署小模型时，如何降低推理时延，尤其是 Prefill 阶段的时延？

模型基础与推理推理优化与模型压缩

方案设计

进阶

8348

新请求的 Prefill 会不会抢占正在 Decode 的请求，如何设计混合调度？

模型基础与推理推理优化与模型压缩

原理机制

进阶

8350

W8A16 量化模型在 Forward 中怎样完成权重读取和计算？

模型基础与推理推理优化与模型压缩

原理机制

进阶

8351

生成式排序中，如何将时间衰减引入打分？

模型基础与推理机器学习与推荐系统

方案设计

进阶

8352

多模态特征融合应如何选择早期融合与晚期融合？

模型基础与推理多模态与生成模型

比较选型

进阶

8353

内容理解任务类别很多、标注数据不足时，如何构建和改进模型？

模型基础与推理机器学习与推荐系统

方案设计

进阶

8355

推荐模型上线后核心指标下降，应从哪些环节定位？

模型基础与推理机器学习与推荐系统

故障排查

进阶