dimButTries's questions

Estou enfrentando um problema com uma API que fornece respostas com números variados de campos. Apesar da API oferecer um total de 106 campos, os itens de resposta geralmente contêm números diferentes de campos devido à disponibilidade de dados (um subconjunto do total de 106).

Portanto, um novo dataframe que precisa ser preenchido talvez data['items'][0]tenha 28 de 106 campos/valores e data['items'][1]100 de 106.

Não consigo encontrar uma maneira de me beneficiar das várias otimizações do Pandas ao importar dados e simplesmente faço, por exemplo:

df = pd.DataFrame(data['items'])
df.columns = data['headers']

O que gera uma incompatibilidade de comprimento

ValueError: Incompatibilidade de comprimento: o eixo esperado tem 55 elementos, os novos valores têm 106 elementos

Para contornar isso, primeiro crio um dataframe vazio com os cabeçalhos corretos e, em seguida, anexo cada item individualmente. No entanto, este método se mostra ineficiente para grandes conjuntos de dados (250.000+)

df = pd.DataFrame(columns=data['headers'])

for item in data['items']:
    item_series = pd.Series(item, index=data['fields'])
    df = pd.concat([df, item_series.to_frame().T], ignore_index=True)

Estou buscando conselhos sobre uma abordagem mais eficiente para lidar com essa discrepância e melhorar a instanciação de dataframe e os processos de atualização. Qualquer sugestão seria apreciada.

Instantâneo de dados que anonimizei:

d = {
  "headers": [
    "Header 1",
    "Header 2",
    "Header 3",
    "Header 4",
    "Header 5",
    "Header 6",
    "Header 7",
    "Header 8",
    "Header 9",
    "Header 10",
    "Header 11",
    "Header 12",
    "Header 13",
    "Header 14",
    "Header 15",
    "Header 16",
    "Header 17",
    "Header 18",
    "Header 19",
    "Header 20",
    "Header 21",
    "Header 22",
    "Header 23",
    "Header 24",
    "Header 25",
    "Header 26",
    "Header 27",
    "Header 28",
    "Header 29",
    "Header 30",
    "Header 31",
    "Header 32",
    "Header 33",
    "Header 34",
    "Header 35",
    "Header 36",
    "Header 37",
    "Header 38",
    "Header 39",
    "Header 40",
    "Header 41",
    "Header 42",
    "Header 43",
    "Header 44",
    "Header 45",
    "Header 46",
    "Header 47",
    "Header 48",
    "Header 49",
    "Header 50",
    "Header 51",
    "Header 52",
    "Header 53",
    "Header 54",
    "Header 55",
    "Header 56",
    "Header 57",
    "Header 58",
    "Header 59",
    "Header 60",
    "Header 61",
    "Header 62",
    "Header 63",
    "Header 64",
    "Header 65",
    "Header 66",
    "Header 67",
    "Header 68",
    "Header 69",
    "Header 70",
    "Header 71",
    "Header 72",
    "Header 73",
    "Header 74",
    "Header 75",
    "Header 76",
    "Header 77",
    "Header 78",
    "Header 79",
    "Header 80",
    "Header 81",
    "Header 82",
    "Header 83",
    "Header 84",
    "Header 85",
    "Header 86",
    "Header 87",
    "Header 88",
    "Header 89",
    "Header 90",
    "Header 91",
    "Header 92",
    "Header 93",
    "Header 94",
    "Header 95",
    "Header 96",
    "Header 97",
    "Header 98",
    "Header 99",
    "Header 100",
    "Header 101",
    "Header 102",
    "Header 103",
    "Header 104",
    "Header 105",
    "Header 106"
  ],
  "items": [
    {
      "Header 17": "anon1",
      "Header 27": "anon2",
      "Header 28": "anon3",
      "Header 29": "anon4",
      "Header 32": "anon5",
      "Header 33": "anon6",
      "Header 34": "anon7",
      "Header 35": "anon8",
      "Header 36": "anon9",
      "Header 37": "anon10",
      "Header 38": "anon11",
      "Header 39": "anon12",
      "Header 40": "anon13",
      "Header 46": "anon14",
      "Header 50": "anon15",
      "Header 52": "anon16",
      "Header 53": "anon17",
      "Header 55": "anon18",
      "Header 56": "anon19",
      "Header 57": "anon20",
      "Header 58": "anon21",
      "Header 59": "anon22",
      "Header 61": "anon23",
      "Header 62": "anon24",
      "Header 63": "anon25",
      "Header 67": "anon26",
      "Header 68": "anon27",
      "Header 71": "anon28",
      "Header 73": "anon29",
      "Header 75": "anon30",
      "Header 76": "anon31",
      "Header 80": "anon32",
      "Header 81": "anon33",
      "Header 82": "anon34",
      "Header 83": "anon35",
      "Header 84": "anon36",
      "Header 85": "anon37",
      "Header 87": "anon38",
      "Header 88": "anon39",
      "Header 89": "anon40",
      "Header 91": "anon41",
      "Header 92": "anon42",
      "Header 94": "anon43",
      "Header 96": "anon44",
      "Header 97": "anon45",
      "Header 99": "anon46",
      "Header 105": "anon47"
    }
  ],
}

Tenho cinco horas tentando fazer com que uma função Lambda retorne uma resposta com sucesso, usando uma imagem Docker, e falhando miseravelmente.

Dockerfile

FROM python:3.9.6-buster
WORKDIR /app
COPY . /app
CMD ["python", "/app/lambda_handler.py"]

Arquivos Python p.py

def c(a1, a1, a1):
    result = {
        "a1": a1,
        "a2": a2,
        "a3": a3,
    }
    return result

lambda_handler.py

import json
from p import c
def lambda_handler(event, context):
    arg1 = event["a1"]
    arg2 = event["a2"]
    arg3 = event["a3"]

    result = classify(arg1, arg2, arg3)

    response = {"statusCode": 200, "body": result}

    return json.dumps(response, indent=4, default=str)

Eu recebo um erro inútil de

{ "errorType": "Runtime.InvalidEntrypoint", "errorMessage": "RequestId: 330fa2c3-f68b-4225-a53c-96f2409f186d Erro: exec: "lambda_function.lambda_handler": arquivo executável não encontrado em $ PATH" }

Eu tentei:

• compactando os arquivos e enviando para a função lambda que funciona
• leia este link que sugere o uso de algo como CMD [ "lambda_function.handler" ] então eu configurei o CMD de substituição para combinações de app.lambda_function.lambda_handler, lambda_function.lambda_handler com e sem aspas
• Eu tentei definir o ENTRYPOINT para python e, em seguida, tentar apontar o CMD para /app/lambda_handler
• em vez de usar CMD exclusivamente usando a substituição de ENTRYPOINTpython, /app/lambda_handler.py

Qualquer ajuda seria muito apreciada.

Eu tenho uma lista de listas:

['col1', False, False, False, False, False]
['col1', 'col2', False, False, False, False]
['col1', False, 'col3a', False, False, False]
['col1', False, 'col3b', False, False, False]
['col1', False, False, 'col4', False, False]
['col1', False, False, 'col4', False, False]

À medida que passo por cada linha, procuro ver se o item atual é Falsee se o item da linha anterior (mesma posição) não é False, substituirei o item atual pelo anterior.

Portanto, a nova lista de listas seria:

list_of_lists = [
    ['col1', False, False, False, False, False],
    ['col1', 'col2', False, False, False, False],
    ['col1', 'col2', 'col3a', False, False, False],
    ['col1', 'col2', 'col3b', False, False, False],
    ['col1', 'col2', 'col3b', 'col4', False, False],
    ['col1', 'col2', 'col3b', 'col4', False, False],
]

Aqui está o meu código:

for row_num in range(len(list_of_lists)):
    display_list = []
    if row_num == 0:
        continue
    for col_num in range(len(list_of_lists[row_num])):
        current_row = list_of_lists[row_num][col_num]
        previous_row = list_of_lists[row_num - 1][col_num]
        if current_row == False and previous_row != False:
            display_list.append(previous_row)
        else:
            display_list.append(current_row)
    print(display_list)

Ele gera incorretamente:

['col1', False, False, False, False, False]
['col1', 'col2', False, False, False, False]
['col1', 'col2', 'col3a', False, False, False]
['col1', False, 'col3b', False, False, False]
['col1', False, 'col3b', 'col4', False, False]
['col1', False, False, 'col4', False, False]

Por que está revisando apenas dois valores? Se um Falsevalor foi substituído, na próxima iteração parece que ele não sabe que mudou? Por exemplo:

['col1', 'col2', 'col3a', False, False, False] 
['col1', False, 'col3b', False, False, False]

Por que o 1º item da 2ª lista não sabe 'col2'que foi atualizado, portanto, utiliza-o para substituir o Falseem sua posição?