Início / coding / Perguntas / 77879635
Accepted
Asked: 2024-01-25 19:34:07 +0800 CST

Como redefinir parâmetros de AutoModelForSequenceClassification?

  • 772

Atualmente, para reinicializar um modelo para AutoModelForSequenceClassification, podemos fazer o seguinte:

from transformers import AutoModel, AutoConfig, AutoModelForSequenceClassification

m = "moussaKam/frugalscore_tiny_bert-base_bert-score"
config = AutoConfig.from_pretrained(m)
model_from_scratch = AutoModel(config)

model_from_scratch.save_pretrained("frugalscore_tiny_bert-from_scratch")

model = AutoModelForSequenceClassification(
  "frugalscore_tiny_bert-from_scratch", local_files_only=True
)

Existe alguma maneira de reinicializar os pesos do modelo sem salvar um novo modelo pré-treinado inicializado com AutoConfig?

model = AutoModelForSequenceClassification(
  "moussaKam/frugalscore_tiny_bert-base_bert-score", 
  local_files_only=True
  reinitialize_weights=True
)

ou algo como:

model = AutoModelForSequenceClassification(
  "moussaKam/frugalscore_tiny_bert-base_bert-score", 
  local_files_only=True
)

model.reinitialize_parameters()

1 respostas

  1. Best Answer

    Esse é o propósito do from_config (ou seja, criar um modelo mas não carregar os respectivos pesos):

    from transformers import AutoModel, AutoConfig, AutoModelForSequenceClassification

m = "moussaKam/frugalscore_tiny_bert-base_bert-score"
config = AutoConfig.from_pretrained(m)

no_weights_model = AutoModelForSequenceClassification.from_config(config)
weights_model = AutoModelForSequenceClassification.from_pretrained(m)

import torch

print(torch.allclose(no_weights_model.bert.embeddings.word_embeddings.weight,weights_model.bert.embeddings.word_embeddings.weight))

    Saída:

    False
    • 1

relate perguntas