alpacafondue's questions

Estou dando uma olhada em visualizações de rede em Python. Tenho um dataframe como o seguinte:

| user | nodes    |
| -----| ---------|
| A    | [0, 1, 3]|
| B    | [1, 2, 4]|
| C    | [0, 3]   |
|...   |          |

Existe uma maneira de plotar facilmente um gráfico de rede (NetworkX?) a partir de dados que contenham a lista de nós em cada linha? A presença de um nó em uma linha aumentaria a proeminência desse nó no gráfico (ou a proeminência/peso da aresta no relacionamento entre dois nós).

Suponho que alguma transformação seria necessária para colocar os dados no formato apropriado para que o NetworkX (ou similar) pudesse criar os relacionamentos do gráfico.

Obrigado!

Estou procurando limpar dados de eventos que por acaso tenham linhas "duplicadas" para um determinado dia. Quero remover linhas de um dia que tenham mais de um status com base no contexto do statusvalor do dia seguinte. Atualmente, estou usando o BigQuery e várias etapas de CTE com self joins para iterar por dias com vários eventos para, eventualmente, "corrigir" todos os dias para ter um único statusvalor.

Tentei usar CTEs recursivos com self joins, várias funções de janela, etc. sem muita sorte. O BigQuery não permite funções analíticas em CTEs recursivos, incluindo GROUP BYs :(

Veja abaixo um exemplo de 2 iterações:

# data has multiple instances of days with more than one status (* = duplicate)
| date       | status   |
|------------|----------|
| 2024-11-01 | active   |*
| 2024-11-01 | inactive |*
| 2024-11-02 | inactive |
| 2024-11-03 | active   |*
| 2024-11-03 | inactive |*
| 2024-11-04 | active   |*
| 2024-11-04 | inactive |*
| 2024-11-05 | active   |

# first iteration with removed rows (**)
| date       | status   |
|------------|----------|
| 2024-11-01 | active   |** (2024-11-02 is inactive, so remove this row)
| 2024-11-01 | inactive |*
| 2024-11-02 | inactive |
| 2024-11-03 | active   |* (2024-11-04 has duplicates, so we can't derive yet)
| 2024-11-03 | inactive |* (2024-11-04 has duplicates, so we can't derive yet)
| 2024-11-04 | active   |*
| 2024-11-04 | inactive |** (2024-11-05 is active, so remove this row)
| 2024-11-05 | active   |

# second iteration with removed rows (***)
| date       | status   |
|------------|----------|
| 2024-11-01 | active   |**
| 2024-11-01 | inactive |*
| 2024-11-02 | inactive |
| 2024-11-03 | active   |*
| 2024-11-03 | inactive |*** (2024-11-04 has been deduped to active, so remove this row)
| 2024-11-04 | active   |*
| 2024-11-04 | inactive |**
| 2024-11-05 | active   |

# final desired set of deduplicated rows
| date       | status   |
|------------|----------|
| 2024-11-01 | inactive |
| 2024-11-02 | inactive |
| 2024-11-03 | active   |
| 2024-11-04 | active   |
| 2024-11-05 | active   |

Posso imaginar ter que iterar N vezes dado o tamanho dos dados. Existe uma abordagem recursiva para esse problema em SQL? Obrigado!

Estou tentando criar um arquivo YAML a partir de algumas entradas passadas para um modelo Jinja. Quero que certas chaves encadeadas de entrada sejam opcionais e usadas na modelagem, se presentes, mas ignoradas. No exemplo abaixo, override.source.propertypode ou não existir no arquivo de entrada e overrideé uma chave de nível superior quando está presente. Existe uma maneira de recuperar opcionalmente a.certain.keyseu caminho encadeado completo por meio do modelo Jinja?

# without_override.yaml
name: blah

# with_override.yaml
name: blah
overrides:
  source:
    property: something

# template.yaml.jinja
name: {{ name }}
source.property: {{ overrides.source.property or "property of " + name }}
source.property3: {{ overrides.source.property | default("property of " + name) }}

{# is there a way to provide a full path and return a value if it exists?
# top level document reference?
source.property2: {{ self.get("overrides.source.property") or "property of " + name }}
#}

# renderer.py
import yaml
import sys
from jinja2 import Environment, StrictUndefined, ChainableUndefined


def render_jinja(template, context):
    # jinja_env = Environment(extensions=["jinja2.ext.do"], undefined=StrictUndefined)
    jinja_env = Environment(extensions=["jinja2.ext.do"], undefined=ChainableUndefined)
    template_obj = jinja_env.from_string(template)
    return template_obj.render(**context).strip()


if __name__ == "__main__":
    with open(sys.argv[1]) as f:
        config = yaml.safe_load(f.read())

    with open("template.yaml.jinja") as f:
        template = f.read()

    print(render_jinja(template, config))

# python renderer.py with_override.yaml
# using StrictUndefined or ChainedUndefined RETURNS
name: blah
source.property: something
source.property3: something

# python renderer.py without_override.yaml
# with ChainedUndefined RETURNS
name: blah
source.property: property of blah
source.property3: property of blah

# with StrictUndefined ERRORS
jinja2.exceptions.UndefinedError: 'overrides' is undefined