AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / dba / Perguntas / 293847
Accepted
André Christoffer Andersen
André Christoffer Andersen
Asked: 2021-06-07 11:48:37 +0800 CST2021-06-07 11:48:37 +0800 CST 2021-06-07 11:48:37 +0800 CST

Como detectar "sucintamente" valores alterados na cláusula upsert do PostgreSQL (em conflito) where enquanto suporta alterações nulas?

  • 772

Mantemos um grande data warehouse implementado em PostgreSQL e python. Um padrão muito comum que fazemos é criar upserts e registrar quando as coisas foram atualizadas. Temos algumas chaves my_keye valores exclusivos, digamos, my_uuid, my_text, my_int, my_date. Se algum desses valores for alterado para um determinado my_key, gostaríamos de atualizar a linha. Tudo bem, e temos um padrão que funciona bem:

insert into my_table (
    my_key,
    my_uuid,
    my_text,
    my_int,
    my_date
)
select
    some_key,
    some_uuid,
    some_text,
    some_int,
    some_date
from some_table
on conflict (my_key) do update set
    some_uuid = excluded.some_uuid,
    some_text = excluded.some_text,
    some_int = excluded.some_int,
    some_date = excluded.some_date,
    update_timestamp = now()
where 
    coalesce(my_table.some_uuid, uuid_nil()) <> coalesce(excluded.some_uuid, uuid_nil())
    or coalesce(my_table.some_text, '') <> coalesce(excluded.some_text, '')
    or coalesce(my_table.some_int, -1) <> coalesce(excluded.some_int, -1)
    or coalesce(my_table.some_date, '3000-01-01'::date) <> coalesce(excluded.some_date, '3000-01-01'::date)

A última on conflict ... wherecláusula é importante, pois garante que o update_timestamparquivo só seja atualizado quando houver alterações. Também garante que não atualizamos linhas desnecessariamente, melhorando o desempenho.

De qualquer forma, muitas vezes temos um problema com a coalesce()lógica. A razão pela qual existe neste padrão é para suportar o valor indo e vindo de null. Tomemos o seguinte exemplo:

coalesce(my_table.some_text, '') <> coalesce(excluded.some_text, '')

Isso funciona bem e produz os seguintes resultados para uma lista abrangente de casos de teste:

select coalesce('a', '') <> coalesce('a', '')  --> false
union all
select coalesce(null, '') <> coalesce(null, '')  --> false
union all
select coalesce('a', '') <> coalesce('b', '')  --> true
union all
select coalesce(null, '') <> coalesce('b', '')  --> true
union all
select coalesce('a', '') <> coalesce(null, '')  --> true

Ou seja, só é verdade quando o valor realmente mudou. No entanto, o que acontece se um valor for genuinamente uma string vazia ''? Então não atualiza.

Isso significa que precisamos ser criativos ao escolher o valor fictício de ''modo que não seja um valor que ocorreria naturalmente. Poderíamos simplesmente inventar uma palavra-chave que dificilmente ocorreria em produção. Mas prefiro encontrar outro padrão que não tenha essa desvantagem.

Quais opções existem para fazer essa susinclty dando a mesma alteração "truth table" que mostrei acima? Sempre poderíamos usar case when ..., mas se torna extremamente detalhado. Precisamos de algo que seja fácil de escrever e fácil de ler. Uma linha geralmente pode incluir de 5 a 15 colunas de valor

Existem alternativas que poderiam fazer um upsert sem a desvantagem do padrão que estamos usando hoje?


O seguinte pode ser usado como um testbed para encontrar um padrão adequado:

select
    v1, v2, expected,
    COALESCE(v1, '') <> COALESCE(v2, '') as current_version,
    COALESCE(v1 <> v2, true) as candidate_version
from (
    select 'a' as v1, 'a' as v2, false as expected
    union all
    select null as v1, null as v2, false as expected
    union all
    select '' as v1, null as v2, true as expected
    union all
    select null as v1, '' as v2, true as expected
    union all
    select 'a' as v1, null as v2, true as expected
    union all
    select null as v1, 'b' as v2, true as expected
    union all
    select 'a' as v1, 'b' as v2, true as expected
) q

Retornando:

v1     v2     expected current_version candidate_version
a      a      false    false           false
null   null   false    false           true
''     null   true     false           true
null   ''     true     false           true
a      null   true     true            true
null   b      true     true            true
a      b      true     true            true
postgresql update
  • 2 2 respostas
  • 637 Views

2 respostas

  • Voted
  1. Best Answer
    a_horse_with_no_name
    2021-06-07T13:19:46+08:002021-06-07T13:19:46+08:00

    Você pode usar is distinct fromcomo gsiems mencionado que é o operador "não igual" seguro nulo. null is distinct from nullé falso e 42 is distinct from nullé verdadeiro.

    Seu banco de testes:

    select
        v1, v2, expected,
        v1 is distinct from v2 as is_different
    from (
      values 
        ('a', 'a', false),
        (null, null, false),
        ('', null, true),
        (null, '', true),
        ('a', null, true),
        (null, 'b', true),
        ('a', 'b', true)
    ) q (v1, v2, expected)
    

    retorna

    v1 | v2 | expected | is_different
    ---+----+----------+-------------
    a  | a  | false    | false       
       |    | false    | false       
       |    | true     | true        
       |    | true     | true        
    a  |    | true     | true        
       | b  | true     | true        
    a  | b  | true     | true                 
    

    Você pode tornar isso ainda mais curto comparando um registro completo que também elimina a necessidade doOR

    where 
       (my_table.some_uuid, my_table.some_text, my_table.some_int, my_table.some_date) 
           is distinct from 
       (excluded.some_uuid, excluded.some_text, excluded.some_int, excluded.some_date)
    
    • 6
  2. gsiems
    2021-06-07T13:04:36+08:002021-06-07T13:04:36+08:00

    Já tentou usar IS DISTINCT FROM?

    SELECT ...
        FROM ...
        WHERE my_table.some_uuid IS DISTINCT FROM excluded.some_uuid
            OR (my_table.some_text IS DISTINCT FROM excluded.some_text
            ...
    
    • 2

relate perguntas

  • Posso ativar o PITR depois que o banco de dados foi usado

  • Práticas recomendadas para executar a replicação atrasada do deslocamento de tempo

  • Os procedimentos armazenados impedem a injeção de SQL?

  • Sequências Biológicas do UniProt no PostgreSQL

  • Qual é a diferença entre a replicação do PostgreSQL 9.0 e o Slony-I?

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host

    • 12 respostas
  • Marko Smith

    Como fazer a saída do sqlplus aparecer em uma linha?

    • 3 respostas
  • Marko Smith

    Selecione qual tem data máxima ou data mais recente

    • 3 respostas
  • Marko Smith

    Como faço para listar todos os esquemas no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Jin conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane Como faço para listar todos os esquemas no PostgreSQL? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve