字节跳动
大模型算法一面面经
完整信息
本篇目录
配图文字
一面
- 什么是lora，秩是什么含义，为什么增大lora的秩，性能提升到一定程度不再提升。
- 秩越大，lora越等价全参微调是否正确
- 早期流行encoder-decoder架构，为什么现在大多选用decoder-only
- 注意力机制为什么除以d的开方而不是d
- 介绍GRPO的损失函数
- GRPO如果一组打分全部偏高或者偏低会有什么问题
本篇目录
当前问题0107
- 01
什么是lora，秩是什么含义，为什么增大lora的秩，性能提升到一定程度不再提升。
- 02
什么是lora，秩是什么含义，为什么增大lora的秩，性能提升到一定程度不再提升。
- 03
秩越大，lora越等价全参微调是否正确
- 04
早期流行encoder-decoder架构，为什么现在大多选用decoder-only
- 05
注意力机制为什么除以d的开方而不是d
- 06
介绍GRPO的损失函数
- 07
GRPO如果一组打分全部偏高或者偏低会有什么问题