预训练与架构
【Padding优化】长度不一致的数据如何避免 padding 过长? 「腾讯」
原题【PPL计算与mask】手撕:PPL计算以及mask的代码哪里有问题? 「字节跳动」
原题来源未提供所指的 mask 代码。
【PrefixLM与CausalLM】PrefixDecoder、CausalDecoder和Encoder-Decoder的区别是什么?PrefixLM与CausalLM的核心区别,各自适用的生成场景。 「百度、腾讯、腾讯混元、阿里通义」
原题【Qwen2架构改进】看你实习微调过Qwen2,说说Qwen2的模型结构吧,Qwen2相比Qwen1做了哪些改进? 「字节跳动」
原题【Qwen2配置参数】qwen2的configs(给了一张图,回答这些参数是什么意思,还会根据这些参数进行延伸,比如问我最长文本长度时延伸了假如prompt长32767那生成的token有多少) 「小红书」
原题来源未提供所指的 Qwen2 config 图与字段。
原文混有 Qwen3 与 Qwen3-VL 两种模型表述。
qwen3vl位置编码;Qwen3的Rope原理?
qwen3vl位置编码;
Qwen3的Rope原理?
原题完整原题
【Qwen3 RoPE】qwen3vl位置编码;Qwen3的Rope原理? 「字节跳动、腾讯混元」
【Qwen3 think模式】Qwen3 think/non-think模式了解过吗? 「腾讯」
原题【Qwen3系列】讲讲qwen3/qwen3-next 「字节跳动」
原题【Qwen3选择】选择qwen3的原因 「阿里巴巴」
原题【Qwen QKV bias】Qwen对QKV bias的处理了解吗? 「腾讯」
原题
暂无题目