主页 / coding / 问题 / 79106908
Accepted
Julier
Asked: 2024-10-20 19:14:54 +0800 CST

TensorFlow 中 torch.autograd 的类似物

  • 772

我想在模型训练后获取其 dradient。例如，我有输入张量 X 和输出 y，即 y = model(x)。因此，使用 pytorch，我可以使用以下命令计算 dradient：

y = model(x)
dydx = torch.autograd.grad(Y, X, torch.ones_like(Y), create_graph=True)[0][:, 0]

我希望用TensorFlow框架训练模型后得到相同的值。

我试过：

y = model.predict_u(x)
dydx = tf.gradients(y, x)[0]

但是我得到的 dydx 为 NoneType。我尝试将 dydx 包含在模型类中并通过 tf.Session 获取梯度，但出现了：“ResourceExhaustedError：图形执行错误”。

我曾使用过 Pytorch 框架，现在我决定尝试 TensorFlow，但遇到了一些困难。

tensorflow

1 个回答

  1. Best Answer

    要在 TensorFlow 中以类似于在 PyTorch 中的方式计算梯度，您需要使用 TensorFlow 的自动微分功能。但是，需要记住几个关键区别：

    • TensorFlow 2.x 默认使用 Eager Execution，这与 PyTorch 的动态图方法更相似。
    • 您需要使用 tf.GradientTape 来记录自动微分的操作。

    以下是在 TensorFlow 2.x 中计算梯度的方法，类似于 PyTorch 示例：

    import tensorflow as tf

# Assuming x is your input tensor and model is your TensorFlow model
x = tf.Variable(x)  # Make sure x is a Variable or use tf.convert_to_tensor(x)

with tf.GradientTape() as tape:
    y = model(x)
    
dydx = tape.gradient(y, x)

    有关该主题的更多信息： https://www.tensorflow.org/guide/autodiff https://www.tensorflow.org/api_docs/python/tf/GradientTape

    UPD：也可能存在问题x

    dydx 为 None：这种情况通常是因为 TensorFlow 不知道它需要计算相对于 x 的梯度。默认情况下，只监视 tf.Variable 对象。通过使用 tape.watch(x)，您可以明确告诉 TensorFlow 跟踪 x。

    import tensorflow as tf

# Assume x_value is your input data as a NumPy array or TensorFlow tensor
x_value = ...  # Your input data
x = tf.convert_to_tensor(x_value)  # Convert to a TensorFlow tensor if not already one

with tf.GradientTape() as tape:
    tape.watch(x)  # Ensure x is being tracked for gradient computation
    y = model(x)   # Forward pass through your model

# Compute the gradient of y with respect to x
dydx = tape.gradient(y, x)
    • 1

相关问题