前向传播怎么算，这里当作已经知道了.要回答的是它后面那一步：拿到损失值之后，怎么知道每个参数该往哪调、调多少. 答案分三层：先是梯度本身（往哪调），再是自动微分怎么把它算出来（拓扑序那一套），最后是张量和工程优化（为什么真实框架里还得有人手写算子）. 一、梯度：往哪调 一个能手工算完的网络 取最小的情形：两个输入，一个神经元，平方误差. $$z =…