米哈游
LLM 算法面经
完整信息
本篇目录
被横向挂了，希望发出来对大家有帮助！
1* 简单概述你简历中的两个项目，包括项目背景以及你的具体分工，是独立完成还是团队协作
2* 项目的数据来源是什么？你是如何确定优化目标的？
3* 比如数据从 100 条扩充到 1.2 万条，是否全通过自动化生成？生成的样本具体是什么样的？举个例子说明一下生成前后的对比
4* 怎么保证自动化生成数据的正确性呢
5* 在通过调整参数直到模型回答正确为止的过程中，是否意味着生成的CoT中存在错误逻辑？
6* 经过数据清洗后，最终用于SFT的有效数据量是多少？
7* 在做微调时，除了 LoRA 是否对比过其他的微调算法
8* 你是如何评价微调效果的？测试集的比例是多少？微调前后的准确率分别是多少？原有的模型性能保留了多少？
9* LLM常用的结构是什么？
10* 说一下Transformer 的整体结构
11* 目前主流大模型最常用的位置编码是什么？。
12* 写一下多头注意力机制的数学公式。
13* 公式中为什么要除以 \sqrt{d_k}？其对梯度消失或梯度爆炸有什么影响？
14* 在 Transformer 的 Encoder 和 Decoder 中，哪些部分是可以并行计算的，哪些不可以？
15* 除了 LoRA，你还了解哪些微调方法？
16* 大模型训练通常使用什么损失函数
17* 在机器学习基础中，二分类问题、多分类问题以及回归问题分别使用什么损失函数？
18* 你了解哪些优化算法
19* 模型训练中出现过拟合的常用解决方案有哪些？
20* Dropout 在训练阶段和预测阶段的处理方式是否一致？为什么要这样做？
21* 大模型中的“复读机问题重复生成是什么原因导致的？如何从解码策略或训练层面解决？
22* 幻觉问题产生的原因是什么？目前常用的工程解决方案有哪些？
23* 写出逻辑回归的数学公式。
本篇目录
当前问题0123
- 01
简单概述你简历中的两个项目，包括项目背景以及你的具体分工，是独立完成还是团队协作
- 02
项目的数据来源是什么？你是如何确定优化目标的？
- 03
比如数据从 100 条扩充到 1.2 万条，是否全通过自动化生成？生成的样本具体是什么样的？举个例子说明一下生成前后的对比
- 04
怎么保证自动化生成数据的正确性呢
- 05
在通过调整参数直到模型回答正确为止的过程中，是否意味着生成的CoT中存在错误逻辑？
- 06
经过数据清洗后，最终用于SFT的有效数据量是多少？
- 07
在做微调时，除了 LoRA 是否对比过其他的微调算法
- 08
你是如何评价微调效果的？测试集的比例是多少？微调前后的准确率分别是多少？原有的模型性能保留了多少？
- 09
LLM常用的结构是什么？
- 10
说一下Transformer 的整体结构
- 11
目前主流大模型最常用的位置编码是什么？
- 12
写一下多头注意力机制的数学公式。
- 13
公式中为什么要除以 \sqrt{d_k}？其对梯度消失或梯度爆炸有什么影响？
- 14
在 Transformer 的 Encoder 和 Decoder 中，哪些部分是可以并行计算的，哪些不可以？
- 15
除了 LoRA，你还了解哪些微调方法？
- 16
大模型训练通常使用什么损失函数
- 17
在机器学习基础中，二分类问题、多分类问题以及回归问题分别使用什么损失函数？
- 18
你了解哪些优化算法
- 19
模型训练中出现过拟合的常用解决方案有哪些？
- 20
Dropout 在训练阶段和预测阶段的处理方式是否一致？为什么要这样做？
- 21
大模型中的“复读机问题重复生成是什么原因导致的？如何从解码策略或训练层面解决？
- 22
幻觉问题产生的原因是什么？目前常用的工程解决方案有哪些？
- 23
写出逻辑回归的数学公式。