PyTorch autograd 如何记录计算并管理梯度与计算图？

RL训练经验相关问题： 「京东、字节跳动、美团、腾讯、蚂蚁集团、阿里巴巴」

• 强化学习梯度传播的问题，有没有用detach？

• 【计算图工作原理】计算图是如何工作的？ 「快手」

• 【自动微分实现】PyTorch的自动微分是怎么实现的？ 「百度」

• 【计算图】计算图的构建，动态图与计算图。 「百度」

• 【在线学习梯度连续性】模型一个时刻出一个点，并立刻根据这一点做一次反向传播，这不会导致T-1时刻和T时刻的梯度是断开的？ 「字节跳动」

• 神经网络训练的计算图（Computation Graph）是什么？它对自动微分有什么作用？

• 在PyTorch或TensorFlow中，反向传播的底层实现机制是什么？

• 计算图在反向传播中起到什么作用？前向传播和反向传播分别在计算图中完成什么操作？