Início / coding / Perguntas / 79110759
Accepted
ignoring_gravity
Asked: 2024-10-21 23:38:33 +0800 CST

Substituir todos os valores na matriz de acordo com o mapeamento

  • 772

Digamos que eu tenha:

import pyarrow as pa

arr = pa.array([1, 3, 2, 2, 1, 3])

Gostaria de substituir os valores de acordo com {1: 'one', 2: 'two', 3: 'three'}e terminar com:

<pyarrow.lib.LargeStringArray object at 0x7f8dd0b3c820>
[
  "one",
  "three",
  "two",
  "two",
  "one",
  "three"
]

Posso fazer isso através do Polars:

In [19]: pl.from_arrow(arr).replace_strict({1: 'one', 2: 'two', 3: 'three'}, return_dtype=pl.String).to_arrow()
Out[19]:
<pyarrow.lib.LargeStringArray object at 0x7f8dd0b3c820>
[
  "one",
  "three",
  "two",
  "two",
  "one",
  "three"
]

Existe uma maneira de fazer isso apenas com o PyArrow?

python

1 respostas

  1. Best Answer

    usar funções no módulo de computação pyarryow pode fazer o que você procura

    exemplo trivial abaixo

    $ cat /tmp/tomap.py
import pyarrow as pa

maps = {1: "one", 2: "two", 5: "five", 3: "three", 4: "four" }

numbersArr = pa.array([1, 3, 2, 2, 1, 3, 4, 5, 4, 1] )

idxs = pa.compute.index_in( numbersArr, pa.array(list(maps.keys())) ) #indices into

wordsArr = pa.compute.take( pa.array(list(maps.values())), idxs ) # lookup value at...

print(wordsArr)

$ python /tmp/tomap.py
[
  "one",
  "three",
  "two",
  "two",
  "one",
  "three",
  "four",
  "five",
  "four",
  "one"
]

    espero que isso seja útil, confira https://arrow.apache.org/docs/python/compute.html para mais detalhes

    • 3

relate perguntas