AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / coding / Perguntas / 79573648
Accepted
Red
Red
Asked: 2025-04-15 00:43:17 +0800 CST2025-04-15 00:43:17 +0800 CST 2025-04-15 00:43:17 +0800 CST

Por que model.evaluate() vs. cálculo de perda manual com model.predict() em tf.keras não batem?

  • 772

Utilizo Keras e Tensorflow para treinar um Perceptron Multicamadas (MLP) "simples" para uma tarefa de regressão, onde utilizo o erro quadrático médio (MSE) como função de perda. Denomino meus dados de treinamento como x_train, y_traine meus dados de teste como x_test, y_test. Reconheci o seguinte: Para Ae Bdefinido da seguinte forma:

  1. A = model.evaluate(x_test, y_test)e
  2. B = loss(pred_test, y_test), onde pred_test = model.predict(x_test)estão as previsões fora da amostra obtidas do meu modelo,

os valores para Ae Bsão (ligeiramente) diferentes. Minha pergunta é de onde vem a diferença e o que posso fazer para que os valores coincidam. Abaixo, dou um exemplo mínimo reproduzível no qual tentei encontrar a resposta sozinho (sem sucesso). Minha primeira suspeita foi que isso é causado pelo cálculo em lotes; após algumas experiências com os tamanhos de lote, esse não parece ser o caso. Há perguntas relacionadas neste site, mas a resposta a esta pergunta sobre o mesmo (?) problema parece ser específica para CNNs. A discussão neste post afirma que a diferença é causada pela avaliação em lotes em model.evaluate, mas 1.) Eu realmente não vejo como a escolha do tamanho do lote deve afetar o resultado, já que no final a média é construída de qualquer maneira e 2.) mesmo se definir o tamanho do lote para o número de amostras, os resultados ainda são diferentes . Este é até o caso na resposta ao post mencionado . Por fim, há este tópico , onde o problema parece ser causado pela propriedade da métrica de ser, na verdade, uma variante em relação aos tamanhos de lote. No entanto, este não é o caso do MSE!

Aqui está o exemplo mínimo onde treino uma função de regressão em simulações:

import tensorflow as tf
import keras
import numpy as np
import random as random # for sims and seed setting

random.seed(10)

x = np.random.normal([0, 1, 2], [2,1,4], (200, 3))
y = x[:,0] + 0.01 * np.power(x[:,1], 2) + np.sqrt(np.abs(x[:,2] - 3)) + np.random.normal(0, 1, (200))
y = y[:,np.newaxis]

x_train = x[0:100,:]
y_train = y[0:100,:]
x_test = x[101:200,:]
y_test = y[101:200,:]

# MSE
def MSE(a,b):
    return tf.reduce_mean(tf.pow(a - b, 2))

# layers
Inputs_MLP = tf.keras.Input(batch_shape = (100,3), dtype = tf.float32)
Layer1_MLP = tf.keras.layers.Dense(16)(Inputs_MLP)
Outputs_MLP = tf.keras.layers.Dense(1)(Layer1_MLP)

# keras model
model_MLP = tf.keras.Model(Inputs_MLP, Outputs_MLP)
model_MLP.compile(loss = MSE)
history = model_MLP.fit(x = x_train, y = y_train, epochs=5, batch_size = 25)

# evaluation

# out-of-sample
model_MLP.evaluate(x_test, y_test, 100)
# 5.561294078826904
pred_MLP_test = model_MLP.predict(x_test, batch_size = 100)
MSE(pred_MLP_test, y_test)
# <tf.Tensor: shape=(), dtype=float64, numpy=5.561294010797092>

# in-sample
model_MLP.evaluate(x_train, y_train, 100)
# 5.460160732269287
pred_MLP_train = model_MLP.predict(x_train, batch_size = 100)
MSE(pred_MLP_train, y_train)
# <tf.Tensor: shape=(), dtype=float64, numpy=5.46016054713104>

A avaliação fora da amostra resulta em 5,561294078826904 uma vez e, por outro lado, em 5,561294010797092. Para este exemplo, a diferença é pequena, mas ainda me incomoda. Além disso, para outro exemplo (mais longo e complexo), a diferença é maior. Agradeço qualquer ajuda!

python
  • 1 1 respostas
  • 49 Views

1 respostas

  • Voted
  1. Best Answer
    Frightera
    2025-04-15T05:08:48+08:002025-04-15T05:08:48+08:00

    Keras opera em float32tipos de dados, é isso que você vê quando usa model.evaluate(). No entanto, quando você computa MSEusando sua função personalizada, você os está computando usando float64porque seu yé float64.

    Você verá os mesmos valores se fizer cast yem float32, algo assim:

    # out-of-sample
    eval_loss = model_MLP.evaluate(x_test, y_test, batch_size=100)
    print(f"model.evaluate (test): {eval_loss}")
    
    pred_MLP_test = model_MLP.predict(x_test, batch_size=100)
    
    manual_mse_f64 = MSE(pred_MLP_test, y_test)
    print(f"Manual MSE (preds:f32, y:f64): {manual_mse_f64}")
    
    manual_mse_f32 = MSE(pred_MLP_test, tf.cast(y_test, tf.float32))
    print(f"Manual MSE (preds:f32, y:f32): {manual_mse_f32}")
    

    Isso dá:

    1/1 ━━━━━━━━━━━━━━━━━━━━ 0s 110ms/step - loss: 23.0835
    model.evaluate (test): 23.0834903717041
    1/1 ━━━━━━━━━━━━━━━━━━━━ 0s 62ms/step
    Manual MSE (preds:f32, y:f64): 23.08349212393938
    Manual MSE (preds:f32, y:f32): 23.0834903717041
    
    • 2

relate perguntas

  • Como divido o loop for em 3 quadros de dados individuais?

  • Como verificar se todas as colunas flutuantes em um Pandas DataFrame são aproximadamente iguais ou próximas

  • Como funciona o "load_dataset", já que não está detectando arquivos de exemplo?

  • Por que a comparação de string pandas.eval() retorna False

  • Python tkinter/ ttkboostrap dateentry não funciona quando no estado somente leitura

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    Reformatar números, inserindo separadores em posições fixas

    • 6 respostas
  • Marko Smith

    Por que os conceitos do C++20 causam erros de restrição cíclica, enquanto o SFINAE antigo não?

    • 2 respostas
  • Marko Smith

    Problema com extensão desinstalada automaticamente do VScode (tema Material)

    • 2 respostas
  • Marko Smith

    Vue 3: Erro na criação "Identificador esperado, mas encontrado 'import'" [duplicado]

    • 1 respostas
  • Marko Smith

    Qual é o propósito de `enum class` com um tipo subjacente especificado, mas sem enumeradores?

    • 1 respostas
  • Marko Smith

    Como faço para corrigir um erro MODULE_NOT_FOUND para um módulo que não importei manualmente?

    • 6 respostas
  • Marko Smith

    `(expression, lvalue) = rvalue` é uma atribuição válida em C ou C++? Por que alguns compiladores aceitam/rejeitam isso?

    • 3 respostas
  • Marko Smith

    Um programa vazio que não faz nada em C++ precisa de um heap de 204 KB, mas não em C

    • 1 respostas
  • Marko Smith

    PowerBI atualmente quebrado com BigQuery: problema de driver Simba com atualização do Windows

    • 2 respostas
  • Marko Smith

    AdMob: MobileAds.initialize() - "java.lang.Integer não pode ser convertido em java.lang.String" para alguns dispositivos

    • 1 respostas
  • Martin Hope
    Fantastic Mr Fox Somente o tipo copiável não é aceito na implementação std::vector do MSVC 2025-04-23 06:40:49 +0800 CST
  • Martin Hope
    Howard Hinnant Encontre o próximo dia da semana usando o cronógrafo 2025-04-21 08:30:25 +0800 CST
  • Martin Hope
    Fedor O inicializador de membro do construtor pode incluir a inicialização de outro membro? 2025-04-15 01:01:44 +0800 CST
  • Martin Hope
    Petr Filipský Por que os conceitos do C++20 causam erros de restrição cíclica, enquanto o SFINAE antigo não? 2025-03-23 21:39:40 +0800 CST
  • Martin Hope
    Catskul O C++20 mudou para permitir a conversão de `type(&)[N]` de matriz de limites conhecidos para `type(&)[]` de matriz de limites desconhecidos? 2025-03-04 06:57:53 +0800 CST
  • Martin Hope
    Stefan Pochmann Como/por que {2,3,10} e {x,3,10} com x=2 são ordenados de forma diferente? 2025-01-13 23:24:07 +0800 CST
  • Martin Hope
    Chad Feller O ponto e vírgula agora é opcional em condicionais bash com [[ .. ]] na versão 5.2? 2024-10-21 05:50:33 +0800 CST
  • Martin Hope
    Wrench Por que um traço duplo (--) faz com que esta cláusula MariaDB seja avaliada como verdadeira? 2024-05-05 13:37:20 +0800 CST
  • Martin Hope
    Waket Zheng Por que `dict(id=1, **{'id': 2})` às vezes gera `KeyError: 'id'` em vez de um TypeError? 2024-05-04 14:19:19 +0800 CST
  • Martin Hope
    user924 AdMob: MobileAds.initialize() - "java.lang.Integer não pode ser convertido em java.lang.String" para alguns dispositivos 2024-03-20 03:12:31 +0800 CST

Hot tag

python javascript c++ c# java typescript sql reactjs html

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve