主页 / coding / 问题 / 79297842
Accepted
FelipeB
Asked: 2024-12-21 00:26:44 +0800 CST

使用 sklearn tfidf 优化特征提取

  • 772

我正在开发一个模仿https://www.mtgassist.com/的 Python 项目。对于那些不太熟悉的人：Magic 是一款交易卡牌游戏，其中有可收藏的卡牌，价格可能非常昂贵。该项目应该采用一张卡牌的名称，并根据几个功能列出具有类似机制（并且希望更便宜）的其他卡牌，包括描述卡牌功能的“oracle_text”。

  1. 我正在使用 sklearn 的 TfidfVectorizer，其参数如下：
porter = PorterStemmer()
def tokenizer_stemmer(text: str) -> str:
    stop = stopwords.words('english')
    return [porter.stem(word) for word in text.split() if word not in stop]

tfidf = TfidfVectorizer(
    ngram_range=(1,2)
    , tokenizer=tokenizer_stemmer
    , stop_words=stopwords.words('english')
)
  1. 然后我将 TfidfVectorizer.fit_transform 与我之前加载的约 20k 行 pandas DataFrame 一起使用。此过程大约需要25 秒：

token_mat = tfidf.fit_transform(df_not_na['oracle_text'])

  1. 接下来，我将其转换token_mat为形状为 ~(20_000, 90_000) 的 numpy 数组 ( token_arr)，并计算所选卡片与数组中所有卡片之间的欧几里得距离（这需要额外的25 秒）。最后，我打印出前 5 张“最接近”的卡片的名称：
token_arr = token_mat.toarray()

distances = []
for _card in tqdm(token_mat):
    distances.append(np.linalg.norm(_card - chosen_card_array))

nearest_5 = np.argpartition(distances, 10)[:10]
print(df_not_na.iloc[nearest_5][['name', 'oracle_text']])

我的目标是优化这个过程并减少创建特征向量和计算距离的时间。

我尝试使用二元组而不是 ngram_range=(1,2)，但效果并不大。

我也想过使用 numba，但读到 sklearn/numpy 具有类似的嵌入功能，因此不会有太大的好处。

也请告诉我其他建议！谢谢

scikit-learn

1 个回答

  1. Best Answer

    我发现效率低下有两个原因，

    1. TF-IDF 表示法会产生非常高维度的表示法。即使使用 ngram length = 1，它也会得出与词汇量相等的维度。
    2. 您正在计算 20k 张卡片之间的距离，这是一种简单但效率低下的 O(n) 时间方法。

    改善这种情况的方法，

    1. 考虑使用词向量。例如，采用预训练的 Word2Vec 或 GloVe 模型，找到句子中所有单词的平均向量作为该句子的向量表示。或者您可以使用 BERT 直接获取句子向量，但这可能超出您的需要。如果您想坚持使用 TF-IDF，可以使用 PCA 或 T-SNE 或 UMAP 进行降维以获得更短的表示。
    2. 要查找最近的 k 个邻居，特别是如果您必须对许多不同的查询卡重复执行此操作，请考虑使用像hnswlib这样的向量数据库，您可以提前索引您的卡片向量，并且它准备使用 HNSW 算法快速为您提供前 10 个最接近的向量。
    • 0

相关问题