AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / dba / Perguntas / 201733
Accepted
Eduard Okhvat
Eduard Okhvat
Asked: 2018-03-20 13:09:26 +0800 CST2018-03-20 13:09:26 +0800 CST 2018-03-20 13:09:26 +0800 CST

Instrução de inserção muito lenta

  • 772

Oracle 11.2.0.4 no OEL 6.5

Nosso administrador de aplicativos executa algum script de atualização do fornecedor do aplicativo, e esse script está em execução há várias horas e ninguém sabe quando terminará. Além disso, o banco de dados agora gera muitos archives. Iniciei o sql trace por 15 minutos e descobri que há quase a única consulta.

INSERT INTO house_t  
VALUES
 (:1, :2, :3, :4, :5, :6, :7, :8, :9, :10, :11, :12, :13, :14, :15, :16, 
 :17, :18, :19, :20, :21, :22, :23)

call     count       cpu    elapsed       disk      query    current        rows
------- ------  -------- ---------- ---------- ---------- ----------  ----------
Parse       70      0.00       0.00          0          0          0           0
Execute     71     23.86     633.03      83564      41375    4597750      355735
Fetch        0      0.00       0.00          0          0          0           0
------- ------  -------- ---------- ---------- ---------- ----------  ----------
total      141     23.87     633.03      83564      41375    4597750      355735

Por que uma simples inserção precisa usar essa enorme quantidade de blocos no modo atual 64757=4597750/71 ???

Misses in library cache during parse: 1
Misses in library cache during execute: 1
Optimizer mode: ALL_ROWS
Parsing user id: 103  
Number of plan statistics captured: 3

Rows (1st) Rows (avg) Rows (max)  Row Source Operation
---------- ---------- ----------  ---------------------------------------------------
     0          0          0  LOAD TABLE CONVENTIONAL  (cr=584 pr=1443 pw=0 time=11388214 us)

Elapsed times include waiting on following events:
  Event waited on                             Times   Max. Wait  Total Waited
  ----------------------------------------   Waited  ----------  ------------
SQL*Net more data from client                9523        0.00          0.08
db file sequential read                     82252        0.60        603.94
SQL*Net message to client                      70        0.00          0.00
SQL*Net message from client                    70        0.00          0.15
log file switch completion                      4        0.08          0.18
undo segment extension                          4        0.00          0.01
log file sync                                   1        0.00          0.00

A tabela tem estrutura simples:

SQL> desc house_t
Name                 Null?    Type
-------------------- -------- --------------
POSTALCODE                  VARCHAR2(6)
IFNSFL                      VARCHAR2(4)
TERRIFNSFL                  VARCHAR2(4)
IFNSUL                      VARCHAR2(4)
TERRIFNSUL                  VARCHAR2(4)
OKATO                       VARCHAR2(11)
OKTMO                       VARCHAR2(11)
UPDATEDATE                  DATE
HOUSENUM                    VARCHAR2(20)
ESTSTATUS                   NUMBER(5)
BUILDNUM                    VARCHAR2(10)
STRUCNUM                    VARCHAR2(10)
STRSTATUS                   NUMBER(5)
HOUSEID                     VARCHAR2(36)
HOUSEGUID                   VARCHAR2(36)
AOGUID                      VARCHAR2(36)
STARTDATE                   DATE
ENDDATE                     DATE
STATSTATUS                  NUMBER(5)
NORMDOC                     VARCHAR2(36)
COUNTER                     NUMBER(10)
CADNUM                      VARCHAR2(100)
DIVTYPE                     NUMBER(5)

Não há gatilhos nesta tabela, sem mviews, sem políticas fga definidas, sem políticas fgac.

Também a tabela tem 3 índices

CREATE UNIQUE INDEX HOUSE_T_IDX0 ON HOUSE_T(HOUSEID);
CREATE INDEX  HOUSE_T_IDX1 ON HOUSE_T (T_HOUSEGUID);
CREATE INDEX HOUSE_T_IDX2 ON HOUSE_T (T_AOGUID);

O arquivo de rastreamento bruto está cheio de esperas de 'leitura sequencial de arquivo db' nesses 3 índices e blocos de desfazer.

A tabela agora tem cerca de 50 milhões de registros, o tamanho é de cerca de 12 Gb. Os índices têm cerca de 3-4 GB e têm blevel=3 em dba_indexes.

Espero que essa instrução de inserção possa levar de 20 a 30 blocos para ser executada, mas por que milhares?

oracle oracle-11g-r2
  • 1 1 respostas
  • 7844 Views

1 respostas

  • Voted
  1. Best Answer
    Balazs Papp
    2018-03-21T03:36:22+08:002018-03-21T03:36:22+08:00

    Passos para reproduzir:

    create table house_t
    (
    POSTALCODE                  VARCHAR2(6),
    IFNSFL                      VARCHAR2(4),
    TERRIFNSFL                  VARCHAR2(4),
    IFNSUL                      VARCHAR2(4),
    TERRIFNSUL                  VARCHAR2(4),
    OKATO                       VARCHAR2(11),
    OKTMO                       VARCHAR2(11),
    UPDATEDATE                  DATE,
    HOUSENUM                    VARCHAR2(20),
    ESTSTATUS                   NUMBER(5),
    BUILDNUM                    VARCHAR2(10),
    STRUCNUM                    VARCHAR2(10),
    STRSTATUS                   NUMBER(5),
    HOUSEID                     VARCHAR2(36),
    HOUSEGUID                   VARCHAR2(36),
    AOGUID                      VARCHAR2(36),
    STARTDATE                   DATE,
    ENDDATE                     DATE,
    STATSTATUS                  NUMBER(5),
    NORMDOC                     VARCHAR2(36),
    COUNTER                     NUMBER(10),
    CADNUM                      VARCHAR2(100),
    DIVTYPE                     NUMBER(5)
    );
    

    Dados de amostra:

    insert into house_t (HOUSEID, HOUSEGUID, AOGUID)
    with g as (select * from dual connect by level <= 1000)
    select sys_guid(), sys_guid(), sys_guid() from g,g,g
    where rownum <= 50000000;
    commit;
    
    SQL> select count(*) from house_t;
    
      COUNT(*)
    ----------
      50000000
    
    CREATE UNIQUE INDEX HOUSE_T_IDX0 ON HOUSE_T(HOUSEID);
    CREATE INDEX  HOUSE_T_IDX1 ON HOUSE_T (HOUSEGUID);
    CREATE INDEX HOUSE_T_IDX2 ON HOUSE_T (AOGUID);
    
    SQL> select segment_name, bytes/1024/1024 from user_segments;
    
    SEGMENT_NAME                   BYTES/1024/1024
    ------------------------------ ---------------
    HOUSE_T                                   6336
    HOUSE_T_IDX0                              2368
    HOUSE_T_IDX1                              2432
    HOUSE_T_IDX2                              2432
    

    Agora para simular seu script:

    SQL> alter session set tracefile_identifier=BALAZS1;
    SQL> exec dbms_session.session_trace_enable(true, false);
    
    declare
      TYPE T_HOUSE_T_ARRAY IS TABLE OF VARCHAR2(36);
      L_DATA T_HOUSE_T_ARRAY;
      CURSOR c IS SELECT sys_guid() from dual
        connect by level <= 50000 order by dbms_random.value;
    BEGIN
      for i in 1..70
      loop
        begin
          OPEN c;
          LOOP
          FETCH c BULK COLLECT INTO L_DATA;
          FORALL i IN 1..L_DATA.COUNT
          INSERT INTO house_t (HOUSEID, HOUSEGUID, AOGUID)
            VALUES (L_DATA(i), L_DATA(i), L_DATA(i));
          EXIT WHEN c%NOTFOUND;
          END LOOP;
          CLOSE c;
      commit;
    end;
      end loop;
    END;
     21  /
    
    PL/SQL procedure successfully completed.
    
    Elapsed: 00:01:58.97
    SQL> exec dbms_session.session_trace_disable;
    

    E a saída do tkprof:

    SQL ID: 4h4byjv3yd590 Plan Hash: 0
    
    INSERT INTO HOUSE_T (HOUSEID, HOUSEGUID, AOGUID)
    VALUES
     (:B1 , :B2 , :B3 )
    
    
    call     count       cpu    elapsed       disk      query    current        rows
    ------- ------  -------- ---------- ---------- ---------- ----------  ----------
    Parse        1      0.00       0.00          0          0          0           0
    Execute     70     82.17     105.82      23693     359178   43342331     3500000
    Fetch        0      0.00       0.00          0          0          0           0
    ------- ------  -------- ---------- ---------- ---------- ----------  ----------
    total       71     82.17     105.82      23693     359178   43342331     3500000
    
    Elapsed times include waiting on following events:
      Event waited on                             Times   Max. Wait  Total Waited
      ----------------------------------------   Waited  ----------  ------------
      db file sequential read                     24243        0.01         11.82
      ...
    

    E uma quantidade enorme de leaf node splits:

    select sn.name, ss.value from v$statname sn join v$sesstat ss 
      on (sn.statistic# = ss.statistic#) 
    where sid = sys_context('userenv', 'sid') 
      and name in ('leaf node splits', 'leaf node 90-10 splits', 
        'branch node splits', 'root node splits');
    
    NAME                                                                  VALUE
    ---------------------------------------------------------------- ----------
    leaf node splits                                                      82981
    leaf node 90-10 splits                                                   18
    branch node splits                                                      363
    root node splits                                                          0
    

    1) Estou usando um SSD aqui, por isso minha demonstração demorou muito menos, devido ao tempo de resposta do disco muito menor. Você deve observar a quantidade de currentblocos, não o tempo gasto com isso.

    2) Estou inserindo dados em ordem aleatória, isso causa leaf block splits. leaf node 90-10 splitssão causados ​​pela inserção de dados na parte mais à direita do índice, em ordem crescente sequencial. leaf node 90-10 splitspode ser feito simplesmente adicionando novos blocos de índice à parte "mais à direita" do índice e, em seguida, copie o valor mais alto neles. Às vezes, é oficialmente referido como uma 99-1divisão em vez de 90-10. leaf block splitssignifica adicionar novos blocos no "meio" do índice, copiar e reorganizar dados em vários blocos, isso dá muito mais trabalho.

    3) Em termos de desempenho, acho uma péssima ideia usar GUIDs como identificadores. Eles consomem várias vezes mais espaço de armazenamento em comparação com NUMBERidentificadores simples.

    Isso é o mesmo, mas com tipos NUMBER:

    EGMENT_NAME                   BYTES/1024/1024
    ------------------------------ ---------------
    HOUSE_T2                                  2432
    HOUSE_T_IDX02                             1088
    HOUSE_T_IDX12                             1088
    HOUSE_T_IDX22                             1088
    

    Além disso: Limitações do Oracle Cost Based Optimizer (Doc ID 212809.1)

    • Limitações do Histograma em Colunas de Caracteres

    Histogramas armazenam apenas os primeiros 32 caracteres de uma string de caracteres (5 caracteres pré 8.1.6 Veja Bug:598799 ). Se os histogramas forem coletados em colunas de caracteres com dados com mais de 31 caracteres e os primeiros 31 caracteres forem idênticos, os histogramas de coluna podem não refletir a cardinalidade dessas colunas corretamente, pois todos esses valores serão tratados como se fossem idênticos. Existem também limites semelhantes com dados numéricos que são normalizados para 15 dígitos nos pontos finais do histograma.

    A partir de 12c, o número máximo possível de caracteres considerados para um histograma em uma coluna de string aumenta de trinta e dois para sessenta e quatro.

    Isso causou algumas estimativas incorretas de cardinalidade com histogramas em colunas GUID.

    É assim que se comporta quando os valores são inseridos em ordem crescente (removido order by dbms_random.value):

    INSERT INTO HOUSE_T (HOUSEID, HOUSEGUID, AOGUID)
    VALUES
     (:B1 , :B2 , :B3 )
    
    
    call     count       cpu    elapsed       disk      query    current        rows
    ------- ------  -------- ---------- ---------- ---------- ----------  ----------
    Parse        1      0.00       0.00          0          0          0           0
    Execute     70     21.13      23.39       3266     167674    2496874     3500000
    Fetch        0      0.00       0.00          0          0          0           0
    ------- ------  -------- ---------- ---------- ---------- ----------  ----------
    total       71     21.13      23.39       3266     167674    2496874     3500000
    

    Como você pode ver, é menos de 1 bloco atual por linha.

    • 1

relate perguntas

  • Backups de banco de dados no Oracle - Exportar o banco de dados ou usar outras ferramentas?

  • ORDER BY usando prioridades personalizadas para colunas de texto

  • Interface sqlplus confortável? [fechado]

  • Como encontrar as instruções SQL mais recentes no banco de dados?

  • Como posso consultar nomes usando expressões regulares?

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host

    • 12 respostas
  • Marko Smith

    Como fazer a saída do sqlplus aparecer em uma linha?

    • 3 respostas
  • Marko Smith

    Selecione qual tem data máxima ou data mais recente

    • 3 respostas
  • Marko Smith

    Como faço para listar todos os esquemas no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Jin conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane Como faço para listar todos os esquemas no PostgreSQL? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve