MariaT's questions

Ao carregar um arquivo csv no pandas, encontrei a seguinte mensagem de erro:

DtypeWarning: Columns have mixed types. Specify dtype option on import  
or set low_memory=False

Lendo online encontrei algumas soluções.

Um, para definir low_memory=False, mas entendo que isso não é uma boa prática e não resolve realmente o problema.

A segunda solução é definir um tipo de dados para cada coluna (ou cada coluna com tipos de dados mistos):

pd.read_csv(csv_path_name, dtype={'first_column': 'str', 'second_column': 'str'})

Novamente, pelo que li, não é a solução ideal se tivermos um grande conjunto de dados.

Terceira solução: criar uma função conversora. No meu entender, esta pode ser a solução mais adequada. Encontrei um código que funciona para mim, mas estou tentando entender melhor o que essa função faz exatamente:

def convert_dtype(x):
    if not x:
        return ''
    try:
        return str(x)
    except:
        return ''

df = pd.read_csv(csv_path_name, converters={'first_col':convert_dtype, 'second_col':convert_dtype, etc.... } )

Alguém pode me explicar o código da função?

Obrigado

Eu tenho um PySpark UDF que quando tento aplicar a cada linha para uma das colunas df e obtenho uma nova coluna, obtenho um [Ljava.lang.Object;@7e44638d (valor diferente após o @ para cada linha)

Veja o udf abaixo:

def getLocCoordinates(property_address):
    url = "https://maps.googleapis.com/maps/api/geocode/json"
    querystring = {f"address":property_address},"key":"THE_API_KEY"}
    response = requests.get(url, params=querystring)
    response_json = json.loads(response.text)

    for adr in response_json['results']:
        geometry = adr['geometry']
        coor = geometry['location']
        lat = coor['lat']
        lng = coor['lng']
        coors = lat, lng
        return coors

getCoorsUDF = udf(lambda x:getLocCoordinates(x))

df = df.withColumn("AddressCoordinates", getCoorsUDF(col("FullAddress") ) )

Tentei:

• getCoorsUDF = udf(getLocCoordinates, FloatType()) --> retorna NULL para cada linha da coluna "AddressCoordinates" recém-criada.

• getCoorsUDF = udf(getLocCoordinates, StringType()) --> retorna [Ljava.lang.Object;@

• getCoorsUDF = udf(getLocCoordinates) --> retorna [Ljava.lang.Object;@

O resultado é assim:

Isso é retornado para cada linha no dataframe.

Inicialmente, eu estava usando a função em um notebook Python e estava funcionando bem, com lat e lng retornando para cada endereço. No entanto, tive que migrar para o PySpark e estou batendo em um obstáculo aqui.