Início / coding / Perguntas / 79297758
Accepted
Shay Guy
Asked: 2024-12-20 23:52:43 +0800 CST

Como devo analisar horários no formato japonês de "30 horas" para análise de dados?

  • 772

Estou considerando um projeto de análise de dados envolvendo informações sobre transmissões de TV japonesas. Os dados relevantes incluirão horários de transmissão, e alguns deles serão de programas que foram ao ar tarde da noite.

A programação da TV japonesa de fim de noite segue um formato de tempo não padrão chamado sistema de 30 horas (breve explicação em inglês aqui ). A maioria dos horários é dada no horário padrão do Japão, formatado como %H:%M. Os horários da meia-noite às 6 da manhã, no entanto, são tratados como uma extensão do dia anterior e numerados de acordo, sob a lógica de que é assim que as pessoas que ficam acordadas até tarde os vivenciam. Por exemplo, Macross Frontier foi transmitido em Kansai à 1:25 da manhã, mas foi escrito como 25:25.

Quero usar esses dados em um Pandas ou Polars DataFrame. Teoricamente, eles poderiam ser deixados como uma string, mas seria mais útil convertê-los para um formato padrão para datetimes -- seja o tipo interno do Python ou os tipos usados ​​no NumPy ou Polars. Uma abordagem simples poderia ser:

from datetime import date, time, datetime
from zoneinfo import ZoneInfo

def process_30hour(d: date, t: str):
    h, m = [int(n) for n in t.split(':')] # assumes format 'HH:MM' for t
    if h > 23:
        h -= 24
        d += 1
    return datetime.combine(d, time(h, m), ZoneInfo('Japan'))

Isso poderia então ser aplicado a um DataFrame inteiro com DataFrame.apply(). Pode haver uma maneira mais performática, no entanto, especialmente considerando os recursos de vetorização de DataFrames -- ambas as bibliotecas recomendam evitar DataFrame.apply()se houver uma alternativa.

python

2 respostas

  1. Best Answer

    Se bem me lembro, você poderia usar criar uma data e hora com '00:00' como hora e adicionar as horas como timedelta:

    from datetime import date, time, datetime, timedelta
from zoneinfo import ZoneInfo

def process_30hour(d: date, t: str):
    h, m = map(int, t.split(':')) # assumes format 'HH:MM' for t
    return (datetime.combine(d, time(), ZoneInfo('Japan'))
           + timedelta(hours=h, minutes=m))

process_30hour(date(2024, 12, 20), '25:25')

    Saída:

    datetime.datetime(2024, 12, 21, 1, 25, tzinfo=zoneinfo.ZoneInfo(key='Japan'))

    A mesma lógica pode ser usada vetorialmente com pandas:

    df = pd.DataFrame({'date': ['2024-12-20 20:25', '2024-12-20 25:25']})

# split string
tmp = df['date'].str.split(expand=True)

# convert to datetime/timedelta, combine
df['datetime'] = pd.to_datetime(tmp[0]) + pd.to_timedelta(tmp[1]+':00')

    Para se divertir, como uma frase curta:

    df['datetime'] = (df['date'].add(':00')
                  .str.split(expand=True)
                  .astype({0: 'datetime64[ns]',
                           1: 'timedelta64[ns]'})
                  .sum(axis=1)
                 )

    Saída:

                   date            datetime
0  2024-12-20 20:25 2024-12-20 20:25:00
1  2024-12-20 25:25 2024-12-21 01:25:00
    • 4

  2. Aqui está uma solução Polars pura, usando a mesma ideia mencionada acima de criar uma data e depois adicionar as horas/minutos do período de 30 horas.

    df = pl.DataFrame({"date_string": ["2024-12-20 20:25", "2024-12-20 25:25"]})

date_split = pl.col("date_string").str.split_exact(" ", 1)
# assumes format 'HH:MM' for t
time_split = date_split.struct["field_1"].str.split_exact(":", 1)

df.with_columns(
    dt=(
        date_split.struct["field_0"].str.to_datetime()
        + pl.duration(
            hours=time_split.struct["field_0"],
            minutes=time_split.struct["field_1"],
        )
    ).dt.replace_time_zone("Japan")
)
# shape: (2, 2)
# ┌──────────────────┬─────────────────────────┐
# │ date_string      ┆ dt                      │
# │ ---              ┆ ---                     │
# │ str              ┆ datetime[μs, Japan]     │
# ╞══════════════════╪═════════════════════════╡
# │ 2024-12-20 20:25 ┆ 2024-12-20 20:25:00 JST │
# │ 2024-12-20 25:25 ┆ 2024-12-21 01:25:00 JST │
# └──────────────────┴─────────────────────────┘

    Isso pode ser colocado em uma função para abstração/facilidade de reutilização

    def parse_30_hr_time(column: str | pl.Expr) -> pl.Expr:
    if isinstance(column, str):
        column = pl.col(column)
    
    date_split = column.str.split_exact(" ", 1)
    # assumes format 'HH:MM' for t
    time_split = date_split.struct["field_1"].str.split_exact(":", 1)

    return (
        date_split.struct["field_0"].str.to_datetime()
        + pl.duration(
            hours=time_split.struct["field_0"],
            minutes=time_split.struct["field_1"],
        )
    )

# same output as above
df.with_columns(dt=parse_30_hr_time("date_string").dt.replace_time_zone("Japan"))

    Como alternativa , você também pode usar Expr.dt.offset_by e pl.format... + pl.duration(...) para obter o mesmo resultado .

    date_split.struct["field_0"].str.to_datetime()
# 20:25 -> 20h25m
.dt.offset_by(pl.format(
    "{}h{}m",
    time_split.struct["field_0"],
    time_split.struct["field_1"],
))

    Se suas strings de hora/minutos estiverem no formato exigido por dt.offset_by, as coisas também ficarão um pouco mais simples

    # Note the 20h25m and 25h25m
df = pl.DataFrame({"date_string": ["2024-12-20 20h25m", "2024-12-20 25h25m"]})

date_split = pl.col("date_string").str.split_exact(" ", 1)

df.with_columns(
    dt=(
        date_split.struct["field_0"].str.to_datetime()
        .dt.offset_by(date_split.struct["field_1"])
        .dt.replace_time_zone("Japan")
    )
)

    Para sua informação, também há um problema aceito para introduzir um analisador de string de duração no Polars, que se/quando concluído provavelmente simplificaria ainda mais esta resposta.

    • 1

relate perguntas