Início / coding / Perguntas / 79303657
Accepted
Kelly Bundy
Asked: 2024-12-24 00:20:31 +0800 CST

Por que bytes(lst) é mais lento que bytearray(lst)?

  • 772

Com lst = [0] * 10**6eu chego em momentos como estes:

  5.4 ± 0.4 ms  bytearray(lst)
  5.6 ± 0.4 ms  bytes(bytearray(lst))
 13.1 ± 0.7 ms  bytes(lst)

Python:
3.13.0 (main, Nov  9 2024, 10:04:25) [GCC 14.2.1 20240910]
namespace(name='cpython', cache_tag='cpython-313', version=sys.version_info(major=3, minor=13, micro=0, releaselevel='final', serial=0), hexversion=51183856, _multiarch='x86_64-linux-gnu')

Eu esperaria que bytes(lst)e bytearray(lst)fosse igualmente rápido ou bytearray(lst)o mais lento, já que é o tipo mais complicado (tem mais funcionalidade, já que é mutável). Mas é o contrário. E até mesmo o desvio bytes(bytearray(lst))é muito mais rápido que bytes(lst)! Por que é bytes(lst)tão lento?

Script de referência ( tente isso online! ):

from timeit import timeit
from statistics import mean, stdev
import random
import sys

setup = 'lst = [0] * 10**6'

codes = [
    'bytes(lst)',
    'bytearray(lst)',
    'bytes(bytearray(lst))'
]

times = {c: [] for c in codes}
def stats(c):
    ts = [t * 1e3 for t in sorted(times[c])[:5]]
    return f'{mean(ts):5.1f} ± {stdev(ts):3.1f} ms '
for _ in range(25):
    random.shuffle(codes)
    for c in codes:
        t = timeit(c, setup, number=10) / 10
        times[c].append(t)
for c in sorted(codes, key=stats):
    print(stats(c), c)

print('\nPython:')
print(sys.version)
print(sys.implementation)

Inspirado por uma resposta que também se mostrou bytearraymais rápida.

python

1 respostas

  1. Best Answer

    Conforme apontado por @Homer512 nos comentários, bytearray e bytes são implementados de forma bem diferente no CPython. Enquanto bytearray recebeu um caminho rápido para criação a partir de lista e tupla com o problema do GitHub # 91149 , bytes não receberam a mesma otimização.

    O caminho rápido para bytearray aproveita o PySequence_Fast_ITEMS, que retorna um array de objetos quando recebe uma lista ou uma tupla, para que todos os itens possam ser obtidos simplesmente iterando sobre o array.

    A criação de bytes de uma lista , por outro lado, precisa fazer uma PyList_GET_ITEMchamada para obter cada item na lista com cada índice, daí o desempenho comparativamente baixo.

    Refatorei o código para criação de bytes a partir de lista e tupla no meu PR # 128214 , que, com um benchmark usando:

    python -m timeit -n 100 -s 'a = [40] * 100000' 'bytes(a)'

    mostra um aumento de ~81% no desempenho:

    100 loops, best of 5: 3.43 msec per loop # current
100 loops, best of 5: 1.89 msec per loop # PR #128214

    e é de fato mais rápido que o mesmo benchmark construindo bytearray:

    100 loops, best of 5: 2.14 msec per loop
    • 3

relate perguntas