Início / coding / Perguntas / 79298368
Accepted
coolhand
Asked: 2024-12-21 04:49:34 +0800 CST

Inspecionar todas as probabilidades do modelo BERTopic

  • 772

Digamos que eu construa um modelo BERTopic usando

from bertopic import BERTopic
topic_model = BERTopic(n_gram_range=(1, 1), nr_topics=20)
topics, probs = topic_model.fit_transform(docs)

A inspeção probsme dá apenas um único valor para cada item em docs.

probs
array([0.51914467, 0.        , 0.        , ..., 1.        , 1.        ,
       1.        ])

Eu gostaria de todo o vetor de probabilidade em todos os tópicos (então, neste caso, onde nr_topics=20, eu quero um vetor de 20 probabilidades para cada item em docs). Em outras palavras, se eu tiver N itens em docse K tópicos, eu gostaria de uma saída NxK.

1 respostas

  1. Best Answer

    Para probabilidade de tópico individual em cada documento, você precisa adicionar mais um argumento.

    topic_model = BERTopic(n_gram_range=(1, 1), nr_topics=20, calculate_probabilities=True)

    Nota: Este calculate_probabilities = True só funcionará se você estiver usando HDBSCANo modelo de incorporação de cluster. E o Bertopic usa por padrão all-MiniLM-L6-v2.

    Documentação oficial: https://maartengr.github.io/BERTopic/api/bertopic.html

    Eles mencionaram o mesmo no documento também.

    • 1

relate perguntas