Transformer 与注意力

本分类共 8 个专题 · 1526 道题

6064

实现 GLU 或 SwiGLU 的门控逐元素组合。

模型基础与推理Transformer 与注意力

代码题

进阶

暂无面经 1 个题集来源

6065

实现带 gate、up、down 投影的门控前馈网络。

模型基础与推理Transformer 与注意力

代码题

进阶

暂无面经 1 个题集来源

6066

实现条件调制的 adaLN-Zero 模块。

模型基础与推理Transformer 与注意力

代码题

进阶

暂无面经 1 个题集来源

6086

实现两路注意力相减的 Differential Attention。

模型基础与推理Transformer 与注意力

代码题

进阶

暂无面经 1 个题集来源

6099

实现基于核特征和结合律的 Linear Attention。

模型基础与推理Transformer 与注意力

代码题

深入

暂无面经 1 个题集来源

6227

从零实现 Transformer Encoder。

模型基础与推理Transformer 与注意力

代码题

进阶

暂无面经 1 个题集来源

6232

实现 DeepNorm 的残差缩放与归一化结构。

模型基础与推理Transformer 与注意力

代码题

进阶

暂无面经 1 个题集来源

7708

DeepSeek 与 Qwen 采用哪些注意力方案，各有什么特点？

模型基础与推理Transformer 与注意力

原理机制

进阶

7709

Transformer 的 FFN 内部结构是什么，有哪些替代设计？

模型基础与推理Transformer 与注意力

原理机制

进阶