出问题的页面链接
发生了什么问题?
我做了什么:在ipad端打开Mianstack
原本希望能和Windows端的网页版正常显示
实际发生:只有各种前端组件没有完整的页面适配。
设备和浏览器(可选)
Ipad+Safari
感谢每一次面经分享、题解补充与体验建议。
GitHub 记录同步于 (北京时间)
通过已有的微信或私聊联系提供内容,也可以署名。公开昵称、头像选填,也可匿名。
5 条讨论
我做了什么:在ipad端打开Mianstack
原本希望能和Windows端的网页版正常显示
实际发生:只有各种前端组件没有完整的页面适配。
Ipad+Safari
假设我们有输入序列 (X)(比如句子“我爱吃苹果”),形状是 [T, 4096](T个词,每个词4096维)。
[4096, 4096](也就是 32 个头,每个头 128 维)。[T, 4096])[T, 4096])[T, 4096])[T, 128]。(注:如果是刚才聊的 GQA 或 MQA,只有 (W_Q) 还是 [4096, 4096],(W_K, W_V) 会被降维到 [4096, 1024] 或 [4096, 128]。)
为什么不直接拿输入 (X) 自己跟自己算,非要搞出三个 (W) 呢?
你可以把 (W_Q, W_K, W_V) 看作三个**“不同职能的加工厂”**,它们对原始输入 (X) 进行了不同视角的重新包装:
(W_Q)(Query,查询矩阵):“我在找什么?”
(W_K)(Key,键矩阵):“我有什么特征?”
(W_V)(Value,值矩阵):“我实际承载的内容是什么?”
计算过程就是:
拿“苹果”的 Q,去和全句所有词的 K 挨个做点积(这就是注意力分数)。
发现“苹果”的 Q 和“吃”的 K 匹配度极高(分数很高)。
于是,我们就把“吃”这个词的 V(实际内容),按很大的比例吸收到“苹果”的当前表示中。
如果直接让 (X) 自己和自己算(即 (W_Q, W_K, W_V) 都是单位矩阵),那么“苹果”和“苹果”自己肯定最相似,注意力就全在自己身上了,学不到上下文。
引入这三个可学习的权重矩阵后,模型在训练过程中,就能通过反向传播自己学会:
总结:
Attention 不是凭空产生的,它本质上是输入数据 (X) 经过三个不同的线性变换(全连接层),投影到了三个不同的子空间(Q、K、V 空间),然后再在这三个空间里玩矩阵乘法的游戏。这三个 (W) 矩阵,也就是大模型里需要海量训练的参数。
这是最根本的原因。
如果你只用单头(维度是 [4096, 4096] 的完整大矩阵),模型只能学出一种“注意力模式”。比如它可能把所有注意力都集中在了词与词的语法关系上,从而忽略了语义关系。
换成多头(32个 [4096, 128] 的小矩阵)后,就像给模型配了 32 个不同领域的专家:
如果换成单头,这 4096 个维度会被混在一起强行计算,各种特征会互相干扰(特征纠缠),导致模型“学杂了”,表达能力严重受限。
从我们前面聊的矩阵运算来看:
[T, 4096] × [4096, 4096] 的矩阵。[T, 128] × [128, 128] 的小矩阵。在注意力机制(Softmax)中,如果维度特别高,且只有一个头,模型在处理特别长的序列时,很容易出现“注意力崩塌”或者“注意力均匀化”。
也就是说,因为要照顾的维度太多,每个词的权重都被算得很平均,模型反而不知道重点该看哪里了(失去了“尖锐度”)。多头机制下,每个头只盯着自己那 128 维,它的注意力分布可以非常“尖锐”,指哪打哪。
如果单头模型中,某一部分参数学坏了,整个模型就废了。
而在多头里,32 个头的参数是相互独立的。就像 32 个专家开会,哪怕有 1 个专家“脑抽”了给出了错误的建议,剩下 31 个专家的正确意见通过拼接,依然能保证最终结果的正确性。
在补充问答中,这个是关于 topK的问答,但是突然有个topP的说明,按个人能力理解,是有语病的嫌疑
“两者的主要区别是怎样判断相关” 感觉这个词句有点没写完,或者有病句,读不通
暂无相关讨论。