三一树根
机器人强化学习算法面经
完整信息
本篇目录
#实习面试记录# 已oc，手撕self attn
- 请做一个简单的自我介绍。
- 了解交叉熵（Cross-Entropy）吗？请说一下它的定义是什么（可共享屏幕边写边说）。
- 了解什么叫过拟合（Overfitting）吗？请说一下它的定义及解决方法。
- 大语言模型（LLM）中最后一层网络是什么网络？
- 大语言模型最后一层网络输出的 shape 是什么样子的？
- 了解什么叫梯度累积（Gradient Accumulation）吗？
- 请说一下 Attention 计算里面为什么要除以 $\sqrt{d_k}$？
- 了解什么叫 Scaling Law（缩放定律）吗？
- 强化学习了解吗？知道贝尔曼方程（Bellman Equation）吗？（提示：关于 $V^\pi(s)$ 和 $Q^\pi(s,a)$，或者是某个东西的期望）
- 在强化学习中，你知道 Return（回报）是什么吗？（提示：关于奖励的一个东西）
- 知道 MDP（马尔可夫决策过程）吗？请简单描述一下，它决定下一状态跟之前的状态有关吗？
- 请手写一个简单的 Attention（注意力机制）代码/公式。
- 了解位置编码（Positional Encoding）吗？请介绍一下常见类型。
- 大模型预训练（Pre-training）时为什么要用交叉熵？它主要是对什么和什么进行计算？
- 如果输入序列是
1 2 3 4（下一个是5），它的训练标签（Label）应该是什么？ - 你知道预训练（Pre-training）时和微调（SFT）时的学习率（Learning Rate）数量级大概分别是多少吗？
本篇目录
当前问题0116
- 01
请做一个简单的自我介绍。
- 02
了解交叉熵（Cross-Entropy）吗？请说一下它的定义是什么（可共享屏幕边写边说）。
- 03
了解什么叫过拟合（Overfitting）吗？请说一下它的定义及解决方法。
- 04
大语言模型（LLM）中最后一层网络是什么网络？
- 05
大语言模型最后一层网络输出的 shape 是什么样子的？
- 06
了解什么叫梯度累积（Gradient Accumulation）吗？
- 07
请说一下 Attention 计算里面为什么要除以 $\sqrt{d_k}$？
- 08
了解什么叫 Scaling Law（缩放定律）吗？
- 09
强化学习了解吗？知道贝尔曼方程（Bellman Equation）吗？（提示：关于 $V^\pi(s)$ 和 $Q^\pi(s,a)$，或者是某个东西的期望）
- 10
在强化学习中，你知道 Return（回报）是什么吗？（提示：关于奖励的一个东西）
- 11
知道 MDP（马尔可夫决策过程）吗？请简单描述一下，它决定下一状态跟之前的状态有关吗？
- 12
请手写一个简单的 Attention（注意力机制）代码/公式。
- 13
了解位置编码（Positional Encoding）吗？请介绍一下常见类型。
- 14
大模型预训练（Pre-training）时为什么要用交叉熵？它主要是对什么和什么进行计算？
- 15
如果输入序列是 `1 2 3 4`（下一个是 `5`），它的训练标签（Label）应该是什么？
- 16
你知道预训练（Pre-training）时和微调（SFT）时的学习率（Learning Rate）数量级大概分别是多少吗？