模型基础与推理

本分类共 8 个专题 · 1145 道题

7709

Transformer 的 FFN 内部结构是什么，有哪些替代设计？

模型基础与推理Transformer 与注意力

原理机制

进阶

7710

深度学习中有哪些常见归一化方法，各有什么作用和适用条件？

模型基础与推理模型架构与表示

原理机制

进阶

7711

MoE 中路由专家与共享专家分别是什么，为什么同时设置？

模型基础与推理模型架构与表示

原理机制

进阶

7803

本地部署大模型推理时，显存由哪些部分构成，如何估算？

模型基础与推理推理优化与模型压缩

原理机制

进阶

7908

用 CUDA 实现 FlashAttention 时，应关注哪些计算和访存优化？

模型基础与推理推理优化与模型压缩

方案设计

进阶

7910

稀疏矩阵向量乘 SpMV 如何实现，CSR 与 COO 格式怎样影响计算？

模型基础与推理推理优化与模型压缩

方案设计

进阶

8162

你对人工智能技术有哪些了解？

模型基础与推理模型选型与能力边界

开放讨论

—

8347

部署小模型时，如何降低推理时延，尤其是 Prefill 阶段的时延？

模型基础与推理推理优化与模型压缩

方案设计

进阶

8348

新请求的 Prefill 会不会抢占正在 Decode 的请求，如何设计混合调度？

模型基础与推理推理优化与模型压缩

原理机制

进阶

8350

W8A16 量化模型在 Forward 中怎样完成权重读取和计算？

模型基础与推理推理优化与模型压缩

原理机制

进阶