Início / coding / Perguntas / 78443975
Accepted
Prabal B
Asked: 2024-05-08 00:45:38 +0800 CST

model.fit dá erro com conjunto de dados tensorflow criado com tf.data.experimental.make_csv_dataset

  • 772

Eu sou novo no tensorflow. Estou tentando ler valores de um arquivo CSV e carregá-lo como conjunto de dados tensorflow. No entanto, quando tento executar model.fit, ocorre o seguinte erro: Dados ausentes para entrada "input_39". Você passou um dicionário de dados com chaves ['Age', 'Number', 'Start']. Esperadas as seguintes chaves: ['input_39']

Aqui está meu código-

import numpy as np
import pandas as pd
import tensorflow as tf

input_file='kyphosis.csv'

all_dataset = tf.data.experimental.make_csv_dataset(input_file, batch_size=1,label_name="Kyphosis",num_epochs=1)

model=tf.keras.models.Sequential()
model.add(tf.keras.layers.Input(3))
model.add(tf.keras.layers.Dense(10))
model.add(tf.keras.layers.Dense(1,activation='sigmoid'))

model.compile(optimizer='adam',loss='binary_crossentropy',run_eagerly=True)

model.fit(all_dataset,epochs=10)

Por favor, deixe-me saber o que estou fazendo de errado aqui. A versão do Tensorflow é 2.11.0.

Eu tentei com tf.data.Dataset.from_tensor_slices mas obtive o mesmo erro-

df=pd.read_csv('kyphosis.csv')
X=df.drop('Kyphosis',axis=1)
y=df['Kyphosis']

all_dataset=tf.data.Dataset.from_tensor_slices((X.to_dict(orient='list'),y))
all_dataset = all_dataset.batch(1)

model=tf.keras.models.Sequential()
model.add(tf.keras.layers.Input(3))
model.add(tf.keras.layers.Dense(10))
model.add(tf.keras.layers.Dense(1,activation='sigmoid'))

model.compile(optimizer='adam',loss='binary_crossentropy')
model.fit(all_dataset,epochs=3)

Erro- ValueError: Dados ausentes para entrada "input_41". Você passou um dicionário de dados com chaves ['Age', 'Number', 'Start']. Esperadas as seguintes chaves: ['input_41']

tensorflow

1 respostas

  1. Best Answer

    tf.data.experimental.make_csv_datasetretorna ordenadoDict com chave como nomes de recursos e valor como os recursos reais.

    dataset = tf.data.experimental.make_csv_dataset(
                'test.csv',label_name='target',
                batch_size=1,num_epochs=1)

    Se você olhar de perto, os recursos e rótulos dados pelodataset

    $ dataset.__iter__().next()
>> (OrderedDict([('sepal length (cm)',
               <tf.Tensor: shape=(1,), dtype=float32, numpy=array([5.], dtype=float32)>),
              ('sepal width (cm)',
               <tf.Tensor: shape=(1,), dtype=float32, numpy=array([2.3], dtype=float32)>),
              ('petal length (cm)',
               <tf.Tensor: shape=(1,), dtype=float32, numpy=array([3.3], dtype=float32)>),
              ('petal width (cm)',
               <tf.Tensor: shape=(1,), dtype=float32, numpy=array([1.], dtype=float32)>)]),
 <tf.Tensor: shape=(1,), dtype=int32, numpy=array([1])>)

    Portanto, você não pode simplesmente passar esse dicionário ordenado como entrada para o modelo. você pode convertê-lo em um formato interpretável escrevendo uma função de mapeamento de pré-processamento

    def pre_process(features, labels):
    features = tf.stack([value for key, value in features.items()], axis=-1)
    return features, labels

dataset = dataset.map(pre_process)

    Agora, se você der uma olhada no dataset, ele terá recursos que podem ser passados ​​para o modelo

    $ dataset.__iter__().next()
> (<tf.Tensor: shape=(1, 4), dtype=float32, numpy=array([[5.1, 3.8, 1.6, 0.2]], dtype=float32)>,
 <tf.Tensor: shape=(1,), dtype=int32, numpy=array([0])>)

    Agora, esse conjunto de dados pode ser passado diretamente para o modelo para treinamento.

    • 0

relate perguntas