Início / ubuntu / Perguntas / 1448782
Accepted
NotTheDr01ds
Asked: 2023-01-05 14:41:28 +0800 CST

Erros ao tentar executar o detector GPT no Ubuntu 22.04 WSL

  • 772

Embora o detector OpenAI tenha sido útil na identificação de conteúdo criado pelo ChatGPT e outros modelos baseados em OpenAI, à medida que o uso aumenta (especialmente por usuários aqui nos sites do Stack Exchange), ele tem caído cada vez com mais frequência.

Depois de instalá-lo localmente de acordo com o projeto README , recebo o seguinte erro ao tentar executá-lo no diretório repo usando python -m detector.server ../gpt-2-models/detector-base.pt:

Traceback (most recent call last):
  File "/usr/lib/python3.10/runpy.py", line 196, in _run_module_as_main
    return _run_code(code, main_globals, None,
  File "/usr/lib/python3.10/runpy.py", line 86, in _run_code
    exec(code, run_globals)
  File "/home/ntd/src/gpt-2-output-dataset/detector/server.py", line 120, in <module>
    fire.Fire(main)
  File "/home/ntd/src/venv/openai-detector/lib/python3.10/site-packages/fire/core.py", line 141, in Fire
    component_trace = _Fire(component, args, parsed_flag_args, context, name)
  File "/home/ntd/src/venv/openai-detector/lib/python3.10/site-packages/fire/core.py", line 475, in _Fire
    component, remaining_args = _CallAndUpdateTrace(
  File "/home/ntd/src/venv/openai-detector/lib/python3.10/site-packages/fire/core.py", line 691, in _CallAndUpdateTrace
    component = fn(*varargs, **kwargs)
  File "/home/ntd/src/gpt-2-output-dataset/detector/server.py", line 89, in main
    model.load_state_dict(data['model_state_dict'])
  File "/home/ntd/src/venv/openai-detector/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1671, in load_state_dict
    raise RuntimeError('Error(s) in loading state_dict for {}:\n\t{}'.format(
RuntimeError: Error(s) in loading state_dict for RobertaForSequenceClassification:
        Missing key(s) in state_dict: "roberta.embeddings.position_ids".
        Unexpected key(s) in state_dict: "roberta.pooler.dense.weight", "roberta.pooler.dense.bias".

Tentei mudar transformers==2.9.1por comentários nesta edição , mas pip install -r requirements.txttambém falhe.

python

1 respostas

  1. Best Answer

    O principal problema aqui parece ser resolvido usando transformers==2.5.1para mim (em oposição a 2.9.1), mas também precisei do compilador Rust (e build-essential) para construí-lo. A maior parte disso, pelo menos começando com a etapa 11, também pode ser aplicável a um Ubuntu não WSL. No entanto, também existem algumas dependências adicionais para CUDA (e não posso ter certeza de quais, já que não tenho um sistema de GPU Ubuntu puro para testar).

    Aqui estão as etapas completas que usei para instalar no Ubuntu 22.04 no WSL. Observe que você pode simplificá-lo um pouco, não configurando uma distribuição especial para o detector, não configurando um Python venvou até mesmo ignorando ambos. Honestamente, fazer os dois é um exagero em termos de "isolamento", mas as etapas estão todas aqui, dependendo de como você deseja lidar com isso:

    1. Registrou uma nova distribuição Ubuntu 22.04 WSL com ubuntu2204.exedo PowerShell. Nenhum existia anteriormente, por razões que você verá abaixo.

    2. Adicionado nome de usuário e senha quando solicitado.

    3. Executei o arquivo sudo apt update && sudo apt upgrade -y.

    4. Defina o nome de usuário padrão usando /etc/wsl.confminha resposta aqui .

    5. Saiu do Ubuntu

    6. wsl --shutdown

    7. Criei um diretório para minha instância "openai-detector":

      mkdir D:\WSL\instances\openai-detector

    8. Copiou a instância recém-criada do Ubuntu 22.04 para uma nova distribuição chamada openai-detector:

      wsl --import --vhd openai-detector D:\wsl\instances\openai-detector\ $env:localappdata\Packages\CanonicalGroupLimited.Ubuntu22.04LTS_79rhkp1fndgsc\LocalState\ext4.vhdx --version 2

    9. Removida a ubuntu-22.04distribuição, pois sempre posso criar outra sob demanda quando necessário (como acima). No entanto, faça isso apenas se tiver certeza de que este é o que você acabou de criar e que não há arquivos que você precise dele. Esta é uma operação irreversível e destrutível. Sinceramente, fico um pouco nervoso toda vez que faço isso, pois há a chance de usar acidentalmente o nome de distribuição errado. Apenas... cuidado :

      wsl --unregister ubuntu-22.04

    10. Iniciada a nova openai-detectordistribuição criada acima:

      wsl ~ -d openai-detector

    11. Instalado rustupe build-essential:

      curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
source "$HOME/.cargo/env"
sudo apt install build-essential

    12. Configurar ambiente virtual:

      sudo apt install python3-venv
python3 -m venv ~/src/venv/openai-detector
source ~/src/venv/openai-detector/bin/activate

    13. Clone o detector e baixe os arquivos do modelo:

      cd ~/src
git clone https://github.com/openai/gpt-2-output-dataset.git
mkdir gpt-2-models
cd gpt-2-models
wget https://openaipublic.azureedge.net/gpt-2/detector-models/v1/detector-base.pt
# and/or
wget https://openaipublic.azureedge.net/gpt-2/detector-models/v1/detector-large.pt

    14. Modifique os requisitos para usar Transformers 2.5.1:

      editor ~/src/gpt-2-output-dataset/requirements.txt

      Altere a transformerslinha para:

      transformers==2.5.1

    15. Requisitos de instalação:

      pip install wheel
cd ~/src/gpt-2-output-dataset
pip install -r requirements.txt

    16. Correr:

      python -m detector.server ../gpt-2-models/detector-base.pt

    Após a instalação inicial, tudo o que deve ser necessário no futuro para iniciar é:

    wsl ~ -d openai-detector
cd ~/src/gpt-2-output-dataset
source ~/src/venv/openai-detector/bin/activate
python -m detector.server ../gpt-2-models/detector-base.pt

    Uma cópia local do OpenAI Detector deve estar em execução no localhost:8080.

    • 9

relate perguntas