Brunaldo's questions

Eu tenho a Tabela A e a Tabela A que têm

Table A
id, start_date, end_date

Table B
id, table_a_id, archive_date

Quero retornar as datas que estão faltando na Tabela B, as datas que NÃO estão no intervalo da tabela_a data_inicial e data_fim

Como posso fazer isso no cockroachdb?

Eu tentei usar generate_series mas recebo um erro de assinatura desconhecida, generate_series não leva (data, data, intervalo)

WITH date_series AS (
  SELECT generate_series(
    (SELECT w.export_start_date FROM table_a w WHERE w.id = 123),
    (SELECT w.export_end_date FROM table_a w WHERE w.id = 123),
    '1 day'::interval) AS missing_date
)
SELECT ds.missing_date
FROM date_series ds
LEFT JOIN table_b a ON a.table_a_id =  123

Eu tenho um requisito de mover registros de tabela original_tablepara tabela new_tablenos últimos N dias.

Abaixo está uma pequena amostra do meu script básico que faz isso.

while True:

    result = INSERT INTO new_table (SELECT * FROM original_table WHERE (crdb_internal_expiration > (current_timestamp() + INTERVAL 'X days')) ORDER BY (unique_id) DESC LIMIT batch_limit OFFSET starting_point);

    if result.rowcount < batch_size:
        break
    offset += batch_size

O problema é que temos que mover os registros entre as tabelas em tempo hábil e, no momento, mover os registros com um LIMIT de 10_000 leva cerca de 30 segundos de cada vez. Temos cerca de 2 milhões de registros nos últimos 2 dias, digamos, e queremos limitar o tempo de inatividade.

A razão pela qual estamos fazendo isso é porque precisamos usar famílias de colunas em nossa tabela, mas o cockroachdb não nos permite alterar uma tabela existente para adicionar novos famílias de colunas se ela ainda não tiver nenhuma.

Existe alguma maneira de otimizar esta consulta para que ela seja executada mais rapidamente, por favor? Talvez não usar um OFFSETe rastrear o registro id fosse mais rápido?

AND id > last_processed_id
ORDER BY id DESC
LIMIT 100;

a versão do cockroachdb está em 23