Início / user-14077127

Falcondance's questions

Martin Hope
Falcondance
Asked: 2025-04-05 08:16:08 +0800 CST
  • 6

Tenho um dataframe Polars corpuscom uma coluna de string e milhões de linhas.
Também tenho uma lista de substrings substrings.

Posso pegar uma substring e consultar em quantas linhas essa substring aparece com:

corpus.select(pl.col('contents').str.contains(substrings[0]).sum()).item()

Isso funciona bem para uma substring, mas tenho 10.000 substrings para verificar. Qual é a maneira mais eficiente em Polars de verificar todas elas?

Considerei converter substringsem seu próprio dataframe polars e, então, executar um inner-join na presença de substring, agrupando por palavra-chave e, então, contando o tamanho dos grupos. No entanto, isso parece muito caro de uma perspectiva de sobrecarga de RAM, e estou limitado em RAM.

Existe uma maneira melhor/mais limpa?

Abordagem lenta atual:

import polars as pl

substrings = pl.DataFrame({'substring': ['a', 'b', 'c']})
corpus = pl.DataFrame({'contents': ['aBMMmcICmY', 'ORqkIJCwjV', 'JTQHufYApo', 'SNoqiJxpMY', 'SYbEsasrzt', 'XLinDPSRld', 'iInkOGqBDU', 'vBtykwGOqN', 'ZIpOdkkXBd', 'iUokuiefBS']})

def count_occurrences(substring):
    return corpus.select(pl.col('contents').str.contains(substring).sum()).item()

substrings = substrings.with_columns(pl.col('substring').map_elements(count_occurrences).alias('frequency'))

Saída:

shape: (3, 2)  
┌───────────┬───────────┐  
│ substring ┆ frequency │  
│ ---       ┆ ---       │  
│ str       ┆ i64       │  
╞═══════════╪═══════════╡  
│ a         ┆ 2         │  
│ b         ┆ 1         │  
│ c         ┆ 1         │  
└───────────┴───────────┘
python
Martin Hope
Falcondance
Asked: 2024-11-27 00:02:39 +0800 CST
  • 6

Eu tenho um array numpy como este:

arr = np.array([
    [1, 2, 3],
    [4, -5, 6],
    [-1, -1, -1]
])

E eu gostaria de argsortá-lo, mas com uma arr <= 0máscara. A saída deve ser:

array([[0, 1, 2],
       [0, 2],       # (Note that the indices are still relative to original un-masked array)
       []])

Entretanto, a saída que obtenho usando np.ma.argsort()é:

array([[0, 1, 2],
       [0, 2, 1],
       [0, 1, 2]])

A abordagem precisa ser muito eficiente porque o array real tem milhões de colunas. Estou pensando que isso precisa ser uma síntese de algumas operações, mas não sei quais.

python