公司案例问答汇编
计算优化:KV Cache 的内存瓶颈?
推导多头注意力的时间/空间复杂度
原题完整原题
计算优化:KV Cache 的内存瓶颈?推导多头注意力的时间/空间复杂度
底层细节:Tokenization 是如何工作的?BPE、WordPiece 有啥区别?
原题模型压缩:知识蒸馏在大模型压缩中的应用?效果如何?
原题项目深挖:你用过 Qwen?说说它的特点和优势(MoE?位置编码?训练数据?)
原题训练调参:微调 Qwen 时验证集 loss震荡,可能原因有哪些?(学习率?数据噪声?)
原题参数量计算:Qwen-14B 的 "14B" 怎么算出来的?
推理时FLOPs大概多少?
原题完整原题
参数量计算:Qwen-14B 的 "14B" 怎么算出来的?推理时FLOPs大概多少?
显存优化:训练/推理显存不够?有哪些实用trick?(量化、Offload、FlashAttention…)
原题前沿趋势:聊聊 LLM 未来方向?
多模态模型(如 Qwen-VL)如何融合图文信息?
原题完整原题
前沿趋势:聊聊 LLM 未来方向?多模态模型(如 Qwen-VL)如何融合图文信息?
代码题:lc最大乘积子数组(动态规划经典题,注意负负得正!)
原题八股:Encoder与decoder的中Attention区别?
原题
暂无题目