多头注意力实现中为何转置张量,拼接后又常需要 contiguous?

暂无参考答案

本题目录

相关面经

1 篇

腾讯

大模型算法岗
一面、二面
查看原面经 →
QKV分头投影之后,transpose(1,2)操作起到什么作用?
多头注意力拼接结果,为什么一般要调用contiguous()?

相关题目

4 题