主页 / coding / 问题 / 77829488
Accepted
JobHunter69
Asked: 2024-01-17 09:13:32 +0800 CST

为什么我的 sigmoid 层会阻挡梯度？

  • 772
import torch
import torch.optim as optim
import torch.nn as nn

input = torch.tensor([1.,2.], requires_grad=True)
sigmoid = nn.Sigmoid()

interm = sigmoid(input)

optimizer = optim.SGD([input], lr=1, momentum=0.9)

for epoch in range(5):
    optimizer.zero_grad()
    loss = torch.linalg.vector_norm(interm - torch.tensor([2.,2.]))
    print(epoch, loss, input, interm)

    loss.backward(retain_graph=True)
    optimizer.step()
    print(interm.grad)

因此，我创建了这个简化的示例，其中输入进入 sigmoid 作为中间激活函数。

我试图找到导致interm = [2.,2.]的输入

但梯度没有通过。有人知道为什么吗？

machine-learning

1 个回答

  1. Best Answer

    计算叶张量的梯度。在您的示例中，input是叶张量，而interm不是。

    当您尝试访问 时interm.grad，您应该收到以下错误消息：

    UserWarning: The .grad attribute of a Tensor that is not a leaf Tensor is being accessed. Its .grad attribute won't be populated during autograd.backward(). If you indeed want the .grad field to be populated for a non-leaf Tensor, use .retain_grad() on the non-leaf Tensor. If you access the non-leaf Tensor by mistake, make sure you access the leaf Tensor instead. See github.com/pytorch/pytorch/pull/30531 for more informations. (Triggered internally at aten/src/ATen/core/TensorBody.h:486.)

    这是因为梯度被传播回叶张量input，而不是interm。interm.retain_grad()如果您想获取变量的等级，您可以添加interm。

    但是，即使您这样做了，您的示例中也不会导致 的值interm发生变化。每个优化器步骤都会更改input值，但这不会导致interm重新计算。如果要interm更新，则需要在每次迭代时使用新input值重新计算。IE：

    for epoch in range(5):
    optimizer.zero_grad()
    interm = sigmoid(input)
    interm.retain_grad()
    loss = torch.linalg.vector_norm(interm - torch.tensor([2.,2.]))
    print(epoch, loss, input, interm)

    loss.backward(retain_graph=True)
    optimizer.step()
    print(interm.grad)

    您正在尝试做的事情还存在一个根本问题。你说你想要input那个结果interm = [2., 2.]。然而，你正在计算interm = sigmoid(input)。sigmoid 函数的边界为(0, 1). 不存在input会导致的值interm = [2., 2.]，因为2超出了 sigmoid 函数的范围。如果无限期地运行优化循环，您将得到input = [inf, inf]和interm = [1., 1.]。

    • 0

相关问题