Início / user-1394353

JL Peyret's questions

Martin Hope
JL Peyret
Asked: 2025-04-28 05:26:15 +0800 CST
  • 6

O contexto (mas não é uma questão exclusiva do Django) é que o servidor de teste do Django não retorna um esquema ou netloc em suas URLs de resposta e solicitação.

Eu pego /foo/barpor exemplo, e quero terminar com http://localhost:8000/foo/bar.

urllib.parse.urlparse (mas não tanto urllib.parse.urlsplit) facilita a coleta de informações relevantes, a partir da URL de teste e do endereço do meu servidor conhecido. O que parece mais complicado do que o necessário é recompor uma nova URL com o esquema e o netloc adicionados via urllib.parse.urlcompose , que precisa de argumentos posicionais, mas não documenta quais são, nem suporta argumentos nomeados. Enquanto isso, as funções de análise retornam tuplas imutáveis...

def urlunparse(components):
    """Put a parsed URL back together again.  This may result in a ..."""

Consegui fazer funcionar, veja o código abaixo, mas parece muito desajeitado, na parte em que preciso primeiro transformar as tuplas de análise em listas e depois modificar a lista na posição de índice necessária.

Existe uma maneira mais pitônica?

código de exemplo:


from urllib.parse import urlsplit, parse_qs, urlunparse, urlparse, urlencode, ParseResult, SplitResult

server_at_ = "http://localhost:8000"
url_in = "/foo/bar"  # this comes from Django test framework I want to change this to "http://localhost:8000/foo/bar"

from_server = urlparse(server_at_)
print("  scheme and netloc from server:",from_server)


print(f"{url_in=}")
from_urlparse = urlparse(url_in)

print("  missing scheme and netloc:",from_urlparse)

#this works
print("I can rebuild it unchanged :",urlunparse(from_urlparse))

#however, using the modern urlsplit doesnt work (I didn't know about urlunsplit when asking)
try:
    print("using urlsplit", urlunparse(urlsplit(url_in)))
#pragma: no cover pylint: disable=unused-variable
except (Exception,) as e: 
    print("no luck with urlsplit though:", e)


#let's modify the urlparse results to add the scheme and netloc
try:
    from_urlparse.scheme = from_server.scheme
    from_urlparse.netloc = from_server.netloc
    new_url = urlunparse(from_urlparse)
except (Exception,) as e: 
    print("can't modify tuples:", e)


# UGGGH, this works, but is there a better way?
parts = [v for v in from_urlparse]
parts[0] = from_server.scheme
parts[1] = from_server.netloc

print("finally:",urlunparse(parts))

saída de exemplo:

  scheme and netloc from server: ParseResult(scheme='http', netloc='localhost:8000', path='', params='', query='', fragment='')
url_in='/foo/bar'
  missing scheme and netloc: ParseResult(scheme='', netloc='', path='/foo/bar', params='', query='', fragment='')
I can rebuild it unchanged : /foo/bar
no luck with urlsplit though: not enough values to unpack (expected 7, got 6)
can't modify tuples: can't set attribute
finally: http://localhost:8000/foo/bar
python
Martin Hope
JL Peyret
Asked: 2024-09-24 00:06:34 +0800 CST
  • 7

Estou tentando comparar dois dataframes via dfcompare = (df0 == df1)e nulos nunca são considerados idênticos (ao contrário de joinnão haver opção para permitir que nulos correspondam).

Minha abordagem com outros campos é preenchê-los com um "valor vazio" apropriado para seu tipo de dado. O que devo usar para structs?

import polars as pl

df = pl.DataFrame(
    {
        "int": [1, 2, None],
        "data" : [dict(a=1,b="b"),dict(a=11,b="bb"),None]
    }
)

df.describe()
print(df)

df2 = df.with_columns(pl.col("int").fill_null(0))

df2.describe()
print(df2)

# these error out:...
try:
    df3 = df2.with_columns(pl.col("data").fill_null(dict(a=0,b="")))
except (Exception,) as e: 
    print("try#1", e)


try:
    df3 = df2.with_columns(pl.col("data").fill_null(pl.struct(dict(a=0,b=""))))
except (Exception,) as e: 
    print("try#2", e)

Saída:


shape: (3, 2)
┌──────┬─────────────┐
│ int  ┆ data        │
│ ---  ┆ ---         │
│ i64  ┆ struct[2]   │
╞══════╪═════════════╡
│ 1    ┆ {1,"b"}     │
│ 2    ┆ {11,"bb"}   │
│ null ┆ {null,null} │
└──────┴─────────────┘
shape: (3, 2)
┌─────┬─────────────┐
│ int ┆ data        │
│ --- ┆ ---         │
│ i64 ┆ struct[2]   │
╞═════╪═════════════╡
│ 1   ┆ {1,"b"}     │
│ 2   ┆ {11,"bb"}   │
│ 0   ┆ {null,null} │
└─────┴─────────────┘
try#1 invalid literal value: "{'a': 0, 'b': ''}"
try#2 a

Error originated just after this operation:
DF ["int", "data"]; PROJECT */2 COLUMNS; SELECTION: "None"

Minha solução alternativa satisfatória foi para unnestas colunas. Isso funciona bem (melhor ainda, pois permite preenchimentos subcampo por subcampo). Ainda assim, continuo curioso sobre como obter um "literal de struct" adequado que possa ser passado para esses tipos de funções.

Também é possível imaginar querer adicionar uma coluna codificada como emdf4 = df.with_columns(pl.lit("0").alias("zerocol"))

python