Estou tentando criar um modelo LSTM para prever frases em linguagem de sinais com este formato de arquivo JSON. Este arquivo JSON contém as informações de coordenadas de 21 articulações de referência da mão para cada quadro e cada mão (mão esquerda, mão direita). Aqui está uma prévia dos meus dados de série temporal JSON.
{
"frame": 123,
"hands": [
{
"hand": "Left",
"landmarks": [
{
"x": 0.4636201858520508,
"y": 0.3758980929851532,
"z": 7.529240519943414e-08,
"body_part": "wrist"
},
...
{
"x": 0.4639311134815216,
"y": 0.2574789524078369,
"z": -0.013109659776091576,
"body_part": "pinky_tip"
}
]
},
{
"hand": "Right",
"landmarks": [
{
"x": 0.5393109321594238,
"y": 0.6190552711486816,
"z": 1.0587137921902467e-07,
"body_part": "wrist"
},
...
{
"x": 0.4721616506576538,
"y": 0.5990280508995056,
"z": -0.006831812672317028,
"body_part": "pinky_tip"
}
]
}
]
},
As informações de coordenadas com localizações diferentes estão sendo repetidas para cada quadro. Ainda estou corrigindo esses dados de séries temporais JSON. Portanto, ainda não comecei a programar para LSTM. No entanto, estou preocupado se conseguirei usar esses dados de séries temporais JSON para LSTM.
Não tenho certeza do que você quer dizer com
Isso significa que você precisa "limpar" seu conjunto de dados, como por exemplo, remover valores discrepantes etc., ou isso significa que essa é uma estrutura grosseira e pode haver elementos adicionais nela?
De qualquer forma, acho que essa questão está mais relacionada a como você pode treinar o modelo com uma estrutura semelhante a JSON do que aos dados em si.
O que você precisa fazer primeiro é pensar em como esses dados ou quaisquer dados podem ser representados como um tensor . Em seguida, você precisa descobrir quais dimensões o tensor provavelmente teria, dadas as suas informações, seus dados seriam convertidos em um tensor de forma.
[number_samples, number_frames, number_features]ou seja
number_samples: bem, o tamanho do seu conjunto de dados
number_frames: total de quadros nos quais os dados foram coletados em cada exemplo
number_features: 21 pontos de referência * 3 coordenadas * 2 mãos
Depois de ter esses tensores, você pode treinar seu modelo LSTM. Você precisará dividir esses recursos adequadamente entre as duas mãos para que essa representação funcione.