主页 / user-23686656

Julier's questions

Martin Hope
Julier
Asked: 2024-10-20 19:14:54 +0800 CST
  • 5

我想在模型训练后获取其 dradient。例如，我有输入张量 X 和输出 y，即 y = model(x)。因此，使用 pytorch，我可以使用以下命令计算 dradient：

y = model(x)
dydx = torch.autograd.grad(Y, X, torch.ones_like(Y), create_graph=True)[0][:, 0]

我希望用TensorFlow框架训练模型后得到相同的值。

我试过：

y = model.predict_u(x)
dydx = tf.gradients(y, x)[0]

但是我得到的 dydx 为 NoneType。我尝试将 dydx 包含在模型类中并通过 tf.Session 获取梯度，但出现了：“ResourceExhaustedError：图形执行错误”。

我曾使用过 Pytorch 框架，现在我决定尝试 TensorFlow，但遇到了一些困难。

tensorflow
Martin Hope
Julier
Asked: 2024-09-14 00:22:59 +0800 CST
  • 7

我有一个简单的神经网络 - 一些线性层，层与层之间以及网络末端之后有 tanh。例如，我有一个形状为 (100, 2) 的输入张量，我希望输出的大小为 (100, 5)。但第一列中的值在 [0, 1] 范围内，也就是说，在末端使用 S 形激活函数是合适的。其他列中的值在 [-1, 1] 范围内，也就是说可以使用“tanh”激活函数。但我不明白如何为第一个输出列设置 S 形，为其他输出设置“tanh”？可能吗？或者，我应该对输出中的第一列应用 abs()，并在最后一个线性层之后设置“tanh”？

现在我有以下模型：


nn.Sequential(nn.Linear(input_size, hidden_size),
nn.Tanh(),
nn.Linear(hidden_size, output_size),
nn.Tanh())

y = model(x)
y[:,0] = torch.abs(y[:,0])

但我想要：

model = nn.Sequential(nn.Linear(input_size, hidden_size),
nn.Tanh(),
nn.Linear(hidden_size, output_size))

并对第一个输出应用 nn.Sigmoid()，对其他输出应用 nn.Tanh()：

y = model(x)
act_1 = nn.Sequential(nn.Sigmoid())
act_2 = nn.Sequential(nn.Tanh())

y[:,0] = act_1(y[:,0])
y[:,1:] = act_2(y[:,1:])
pytorch