Bijan's questions

Encontrei o Nodriver , que é o sucessor do Undetected-Chromedrider . Estou tentando executar no modo headless, mas estou tendo problemas.

import nodriver as uc

async def main():
    browser = await uc.start(headless=True)
    page = await browser.get('https://bot.sannysoft.com/')

if __name__ == '__main__':
    uc.loop().run_until_complete(main())

No entanto, recebo um erro

Traceback (most recent call last):
  File "C:\no_drive_test.py", line 21, in <module>
    uc.loop().run_until_complete(main())
    ~~~~~~~~~~~~~~~~~~~~~~~~~~~~^^^^^^^^
  File "C:\Users\USERNAME\AppData\Local\Programs\Python\Python313\Lib\asyncio\base_events.py", line 721, in run_until_complete
    return future.result()
           ~~~~~~~~~~~~~^^
  File "C:\Users\USERNAME\AppData\Local\Programs\Python\Python313\no_drive_test.py", line 5, in main
    browser = await uc.start(headless=True)
              ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\USERNAME\AppData\Local\Programs\Python\Python313\Lib\site-packages\nodriver\core\util.py", line 95, in start
    return await Browser.create(config)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\USERNAME\AppData\Local\Programs\Python\Python313\Lib\site-packages\nodriver\core\browser.py", line 90, in create
    await instance.start()
  File "C:\Users\USERNAME\AppData\Local\Programs\Python\Python313\Lib\site-packages\nodriver\core\browser.py", line 393, in start
    await self.connection.send(cdp.target.set_discover_targets(discover=True))
  File "C:\Users\USERNAME\AppData\Local\Programs\Python\Python313\Lib\site-packages\nodriver\core\connection.py", line 413, in send
    await self._prepare_headless()
  File "C:\Users\USERNAME\AppData\Local\Programs\Python\Python313\Lib\site-packages\nodriver\core\connection.py", line 492, in _prepare_headless
    response, error = await self._send_oneshot(
    ^^^^^^^^^^^^^^^
TypeError: cannot unpack non-iterable NoneType object

Tentei criar um problema na página do Nodriver no github, mas parece que ele só está disponível para colaboradores do projeto

Tenho um dataframe que contém ID de usuário, código e valor.

user    code    value
0001       P       10
0001       P       20
0001       N       10
0002       N       40
0002       N       30
0003       P       10

Estou tentando adicionar uma nova coluna que agrupa por ID de usuário, filtra por código = Pe soma o valor. No entanto, quero que esse valor seja aplicado a cada linha.

Então, para o exemplo acima, a saída que estou procurando seria:

user    code    value    Sum_of_P
0001       P       10          30
0001       P       20          30
0001       N       10          30
0002       N       40           0
0002       N       30           0
0003       P       10          10

Tentei fazer isso df['Sum_of_P'] = df.loc[df['code'] == 'P', 'value'].groupby(df['user']).transform('sum'), mas isso se aplica apenas às linhas com código = P. Existe uma maneira de fazer com que isso se aplique a todas as linhas?

Tenho um dataframe Pandas configurado assim:

Code    StartDate      EndDate
   A   2024-07-01   2024-08-03
   B   2024-08-06   2024-08-10
   C   2024-08-11   2024-08-31

Tenho uma parte do meu código que itera a cada dia (começando em 2024-07-01) e estou tentando retornar a Codedata correspondente (com um fallback se a data não estiver dentro de nenhum intervalo StartDate/EndDate).

Minha ideia original era fazer algo como:

DAYS = DAY_DF['Date'].tolist() # Just a list of each day
for DAY in DAYS:
    code = False
    for i,r in df.iterrows():
        if r['StartDate'] <= DAY <= r['EndDate']:
            code = r['Code']
            break
    if not code: # `Code` is still False
        code = 'Fallback_Code'

Mas isso parece muito ineficiente para iterar em cada linha no dataframe, especialmente porque tenho muitos registros no meu dataframe.

Aqui estão alguns exemplos de entradas e a saída do código resultante:

2024-07-03 -> 'A'
2024-08-04 -> 'Fallback_Code'
2024-08-10 -> 'B'
2024-08-11 -> 'C'

Tenho um dataframe que mostra detalhes sobre funcionários e o local em que estão e as posições que ocuparam. O dataframe tem colunas para Site Id, Employee ID e StartDate (além de muitos outros campos). Tenho isso classificado por Site e Employee ID ASC e, em seguida, EffectiveDate DESC (o registro mais recente é o primeiro)

Site     EmployeeID         StartDate
   1            123        2024-09-01
   1            123        2024-08-01
   1            123        2024-06-01
   1            123        2024-05-01
   2            100        2024-06-01
   2            100        2024-03-01

Preciso criar uma nova coluna chamada EndDateque é a data do registro anterior menos 1 dia. Estamos mudando para um novo sistema, então só nos importamos com as datas que incluem o intervalo 7/1/24 (ou depois). Então, para meu exemplo df, ficaria assim

Site     EmployeeID         StartDate       EndDate    Import
   1            123        2024-09-01                       Y
   1            123        2024-08-01    2024-08-31         Y
   1            123        2024-06-01    2024-07-31         Y
   1            123        2024-05-01    2024-05-31         N
   2            100        2024-06-01                       Y
   2            100        2024-03-01    2024-05-31         N

E então filtrando paradf['Import'] ='Y'

Minha ideia inicial era iterar df.groupby(by=['Site','EmployeeID'])e usar .iloc[]para obter os próximos valores de data, subtrair 1 dia, verificar se é EndDatemaior que 7/1/24 e, em seguida, definir Importar para You Nconforme necessário. O problema é que este é um conjunto de dados muito grande (~300 mil linhas) e esta operação levaria muito tempo.

Tenho um dataframe do Pandas que contém informações do usuário e também uma coluna para suas permissões:

UserName    Permissions
John Doe             02
John Doe             11
 Example             09
 Example             08
   User3             11

Estou tentando criar uma nova coluna chamada User Classque é baseada em suas Permissões (olhando para todas as permissões dos usuários). Se um usuário tiver todas as permissões <10, ele será considerado Admin. Se um usuário tiver todas as permissões >=10, ele será considerado User. No entanto, se ele tiver permissões que sejam <10 e >=10, ele será codificado como Admin/User. Então, minha saída resultante seria:

UserName    Permissions    User Class
John Doe             02    Admin/User
John Doe             11    Admin/User
 Example             09         Admin
 Example             08         Admin
   User3             11          User

Qual seria a melhor maneira de fazer isso? Minha ideia original era fazer:

for UserName, User_df in df.groupby(by='UserName'):
    LT10 = (User_df['Permissions'] < 10).any()
    GTE10 = (User_df['Permissions'] >= 10).any()
    if (LT10 & GTE10):
        UserClass = 'Admin/User'
    elif LT10:
        UserClass = 'Admin'
    elif GTE10:
        UserClass = 'User'
    df.at[User_df.index, 'User Class'] = UserClass

No entanto, isso parece muito ineficiente porque dftem cerca de 800 mil registros

Tenho um dataframe que tem um campo chamado fieldsque é uma lista de dicts (todas as linhas têm o mesmo formato). Aqui está como o dataframe é estruturado:

formId    fields
   123    [{'number': 1, 'label': 'Last Name', 'value': 'Doe'}, {'number': 2, 'label': 'First Name', 'value': 'John'}]

Estou tentando descompactar a fieldscoluna para que fique assim:

formId    Last Name    First Name
   123          Doe          John

O código que tenho atualmente é:

for i,r in df.iterrows():
    for field in r['fields']:
        df.at[i, field['label']] = field['value']

No entanto, isso não parece ser a maneira mais eficiente. Existe uma maneira melhor de fazer isso?

Eu tenho um dataframe que contém informações do local de trabalho.

District#    Site#           Address
        1        1    123 Bayview Ln
        1        2    456 Example St
        2       36      789 Hello Dr
        2       44      789 Hello Dr

Estou tentando transformar esse dataframe para adicionar uma coluna com o Site# mais alto, bem como os endereços distintos quando agrupo por Distrito#. Aqui está um exemplo de como desejo que seja a saída:

District#    Site#           Address    MaxSite#            All District Addresses
        1        1    123 Bayview Ln           2     123 Bayview Ln,456 Example St
        1        2    456 Example St           2     123 Bayview Ln,456 Example St
        2       36      789 Hello Dr          44                      789 Hello Dr
        2       44      789 Hello Dr          44                      789 Hello Dr

Consigo obter o Max Site# fazendo

df['MaxSite#'] = df.groupby(by='District#')['Site#'].transform('max')

Mas estou tentando encontrar uma maneira semelhante de listar todos os endereços exclusivos quando agrupo por Distrito#.

Eu tentei fazer, .transform('unique')mas esse não é um nome de função válido e retornar .agg(['unique'])dimensões que não correspondem