AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / dba / 问题 / 201733
Accepted
Eduard Okhvat
Eduard Okhvat
Asked: 2018-03-20 13:09:26 +0800 CST2018-03-20 13:09:26 +0800 CST 2018-03-20 13:09:26 +0800 CST

非常慢的插入语句

  • 772

OEL 6.5 上的 Oracle 11.2.0.4

我们的应用管理员从应用供应商处运行了一些更新脚本,该脚本已经运行了几个小时,没有人知道它什么时候结束。数据库现在还生成大量归档日志。我启动sql trace 15分钟,发现几乎只有一个查询。

INSERT INTO house_t  
VALUES
 (:1, :2, :3, :4, :5, :6, :7, :8, :9, :10, :11, :12, :13, :14, :15, :16, 
 :17, :18, :19, :20, :21, :22, :23)

call     count       cpu    elapsed       disk      query    current        rows
------- ------  -------- ---------- ---------- ---------- ----------  ----------
Parse       70      0.00       0.00          0          0          0           0
Execute     71     23.86     633.03      83564      41375    4597750      355735
Fetch        0      0.00       0.00          0          0          0           0
------- ------  -------- ---------- ---------- ---------- ----------  ----------
total      141     23.87     633.03      83564      41375    4597750      355735

为什么一个简单的插入需要在当前模式下使用这么多块 64757=4597750/71 ???

Misses in library cache during parse: 1
Misses in library cache during execute: 1
Optimizer mode: ALL_ROWS
Parsing user id: 103  
Number of plan statistics captured: 3

Rows (1st) Rows (avg) Rows (max)  Row Source Operation
---------- ---------- ----------  ---------------------------------------------------
     0          0          0  LOAD TABLE CONVENTIONAL  (cr=584 pr=1443 pw=0 time=11388214 us)

Elapsed times include waiting on following events:
  Event waited on                             Times   Max. Wait  Total Waited
  ----------------------------------------   Waited  ----------  ------------
SQL*Net more data from client                9523        0.00          0.08
db file sequential read                     82252        0.60        603.94
SQL*Net message to client                      70        0.00          0.00
SQL*Net message from client                    70        0.00          0.15
log file switch completion                      4        0.08          0.18
undo segment extension                          4        0.00          0.01
log file sync                                   1        0.00          0.00

表结构简单:

SQL> desc house_t
Name                 Null?    Type
-------------------- -------- --------------
POSTALCODE                  VARCHAR2(6)
IFNSFL                      VARCHAR2(4)
TERRIFNSFL                  VARCHAR2(4)
IFNSUL                      VARCHAR2(4)
TERRIFNSUL                  VARCHAR2(4)
OKATO                       VARCHAR2(11)
OKTMO                       VARCHAR2(11)
UPDATEDATE                  DATE
HOUSENUM                    VARCHAR2(20)
ESTSTATUS                   NUMBER(5)
BUILDNUM                    VARCHAR2(10)
STRUCNUM                    VARCHAR2(10)
STRSTATUS                   NUMBER(5)
HOUSEID                     VARCHAR2(36)
HOUSEGUID                   VARCHAR2(36)
AOGUID                      VARCHAR2(36)
STARTDATE                   DATE
ENDDATE                     DATE
STATSTATUS                  NUMBER(5)
NORMDOC                     VARCHAR2(36)
COUNTER                     NUMBER(10)
CADNUM                      VARCHAR2(100)
DIVTYPE                     NUMBER(5)

此表上没有触发器,没有 mview,没有定义的 fga 策略,没有 fgac 策略。

表也​​有3个索引

CREATE UNIQUE INDEX HOUSE_T_IDX0 ON HOUSE_T(HOUSEID);
CREATE INDEX  HOUSE_T_IDX1 ON HOUSE_T (T_HOUSEGUID);
CREATE INDEX HOUSE_T_IDX2 ON HOUSE_T (T_AOGUID);

原始跟踪文件在这 3 个索引和撤消块上充满了“db 文件顺序读取”等待。

表现在大约有 50M 记录,大小约为 12Gb。索引大约为 3-4GB,并且在 dba_indexes 中有 blevel=3。

我希望这个插入语句可以运行 20-30 个块,但为什么要运行数千个?

oracle oracle-11g-r2
  • 1 1 个回答
  • 7844 Views

1 个回答

  • Voted
  1. Best Answer
    Balazs Papp
    2018-03-21T03:36:22+08:002018-03-21T03:36:22+08:00

    重现步骤:

    create table house_t
    (
    POSTALCODE                  VARCHAR2(6),
    IFNSFL                      VARCHAR2(4),
    TERRIFNSFL                  VARCHAR2(4),
    IFNSUL                      VARCHAR2(4),
    TERRIFNSUL                  VARCHAR2(4),
    OKATO                       VARCHAR2(11),
    OKTMO                       VARCHAR2(11),
    UPDATEDATE                  DATE,
    HOUSENUM                    VARCHAR2(20),
    ESTSTATUS                   NUMBER(5),
    BUILDNUM                    VARCHAR2(10),
    STRUCNUM                    VARCHAR2(10),
    STRSTATUS                   NUMBER(5),
    HOUSEID                     VARCHAR2(36),
    HOUSEGUID                   VARCHAR2(36),
    AOGUID                      VARCHAR2(36),
    STARTDATE                   DATE,
    ENDDATE                     DATE,
    STATSTATUS                  NUMBER(5),
    NORMDOC                     VARCHAR2(36),
    COUNTER                     NUMBER(10),
    CADNUM                      VARCHAR2(100),
    DIVTYPE                     NUMBER(5)
    );
    

    样本数据:

    insert into house_t (HOUSEID, HOUSEGUID, AOGUID)
    with g as (select * from dual connect by level <= 1000)
    select sys_guid(), sys_guid(), sys_guid() from g,g,g
    where rownum <= 50000000;
    commit;
    
    SQL> select count(*) from house_t;
    
      COUNT(*)
    ----------
      50000000
    
    CREATE UNIQUE INDEX HOUSE_T_IDX0 ON HOUSE_T(HOUSEID);
    CREATE INDEX  HOUSE_T_IDX1 ON HOUSE_T (HOUSEGUID);
    CREATE INDEX HOUSE_T_IDX2 ON HOUSE_T (AOGUID);
    
    SQL> select segment_name, bytes/1024/1024 from user_segments;
    
    SEGMENT_NAME                   BYTES/1024/1024
    ------------------------------ ---------------
    HOUSE_T                                   6336
    HOUSE_T_IDX0                              2368
    HOUSE_T_IDX1                              2432
    HOUSE_T_IDX2                              2432
    

    现在模拟你的脚本:

    SQL> alter session set tracefile_identifier=BALAZS1;
    SQL> exec dbms_session.session_trace_enable(true, false);
    
    declare
      TYPE T_HOUSE_T_ARRAY IS TABLE OF VARCHAR2(36);
      L_DATA T_HOUSE_T_ARRAY;
      CURSOR c IS SELECT sys_guid() from dual
        connect by level <= 50000 order by dbms_random.value;
    BEGIN
      for i in 1..70
      loop
        begin
          OPEN c;
          LOOP
          FETCH c BULK COLLECT INTO L_DATA;
          FORALL i IN 1..L_DATA.COUNT
          INSERT INTO house_t (HOUSEID, HOUSEGUID, AOGUID)
            VALUES (L_DATA(i), L_DATA(i), L_DATA(i));
          EXIT WHEN c%NOTFOUND;
          END LOOP;
          CLOSE c;
      commit;
    end;
      end loop;
    END;
     21  /
    
    PL/SQL procedure successfully completed.
    
    Elapsed: 00:01:58.97
    SQL> exec dbms_session.session_trace_disable;
    

    和 tkprof 输出:

    SQL ID: 4h4byjv3yd590 Plan Hash: 0
    
    INSERT INTO HOUSE_T (HOUSEID, HOUSEGUID, AOGUID)
    VALUES
     (:B1 , :B2 , :B3 )
    
    
    call     count       cpu    elapsed       disk      query    current        rows
    ------- ------  -------- ---------- ---------- ---------- ----------  ----------
    Parse        1      0.00       0.00          0          0          0           0
    Execute     70     82.17     105.82      23693     359178   43342331     3500000
    Fetch        0      0.00       0.00          0          0          0           0
    ------- ------  -------- ---------- ---------- ---------- ----------  ----------
    total       71     82.17     105.82      23693     359178   43342331     3500000
    
    Elapsed times include waiting on following events:
      Event waited on                             Times   Max. Wait  Total Waited
      ----------------------------------------   Waited  ----------  ------------
      db file sequential read                     24243        0.01         11.82
      ...
    

    并且数量巨大leaf node splits:

    select sn.name, ss.value from v$statname sn join v$sesstat ss 
      on (sn.statistic# = ss.statistic#) 
    where sid = sys_context('userenv', 'sid') 
      and name in ('leaf node splits', 'leaf node 90-10 splits', 
        'branch node splits', 'root node splits');
    
    NAME                                                                  VALUE
    ---------------------------------------------------------------- ----------
    leaf node splits                                                      82981
    leaf node 90-10 splits                                                   18
    branch node splits                                                      363
    root node splits                                                          0
    

    1) 我在这里使用 SSD,这就是为什么我的演示花费的时间要少得多,因为磁盘响应时间要短得多。您应该查看current块的数量,而不是花费在此上的时间。

    2)我以随机顺序插入数据,这导致leaf block splits. leaf node 90-10 splits是由按顺序递增的顺序将数据插入到索引的最右边部分引起的。leaf node 90-10 splits可以简单地通过将新的索引块添加到索引的“最右边”部分来完成,然后将最高值复制到其中。有时它被非正式地称为99-1拆分而不是90-10. leaf block splits意味着在索引的“中间”添加新块,在几个块中复制和重新排列数据,这是更多的工作。

    3) 性能方面,我发现使用 GUID 作为标识符是一个非常糟糕的主意。NUMBER与简单标识符相比,它们消耗的存储空间要多出数倍。

    这是相同的,但有 NUMBER 个类型:

    EGMENT_NAME                   BYTES/1024/1024
    ------------------------------ ---------------
    HOUSE_T2                                  2432
    HOUSE_T_IDX02                             1088
    HOUSE_T_IDX12                             1088
    HOUSE_T_IDX22                             1088
    

    另外:Oracle Cost Based Optimizer 的限制(文档 ID 212809.1)

    • 字符列直方图的局限性

    直方图仅存储字符串的前 32 个字符(8.1.6 之前的 5 个字符,请参阅错误:598799)。如果在具有超过 31 个字符的数据且前 31 个字符相同的字符列上收集直方图,则列直方图可能无法正确反映这些列的基数,因为这些值都将被视为相同。数字数据也有类似的限制,在直方图端点中标准化为 15 位。

    从 12c 开始,为字符串列上的直方图考虑的最大可能字符数从 32 个增加到 64 个。

    这导致 GUID 列上的直方图出现一些严重不正确的基数估计错误。

    这是当值以递增顺序插入时的行为方式(已删除order by dbms_random.value):

    INSERT INTO HOUSE_T (HOUSEID, HOUSEGUID, AOGUID)
    VALUES
     (:B1 , :B2 , :B3 )
    
    
    call     count       cpu    elapsed       disk      query    current        rows
    ------- ------  -------- ---------- ---------- ---------- ----------  ----------
    Parse        1      0.00       0.00          0          0          0           0
    Execute     70     21.13      23.39       3266     167674    2496874     3500000
    Fetch        0      0.00       0.00          0          0          0           0
    ------- ------  -------- ---------- ---------- ---------- ----------  ----------
    total       71     21.13      23.39       3266     167674    2496874     3500000
    

    如您所见,每行少于 1 个当前块。

    • 1

相关问题

  • Oracle 中的数据库备份 - 导出数据库还是使用其他工具?

  • ORDER BY 使用文本列的自定义优先级

  • 舒服的sqlplus界面?[关闭]

  • 如何在数据库中找到最新的 SQL 语句?

  • 如何使用正则表达式查询名称?

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目

    • 12 个回答
  • Marko Smith

    如何让sqlplus的输出出现在一行中?

    • 3 个回答
  • Marko Smith

    选择具有最大日期或最晚日期的日期

    • 3 个回答
  • Marko Smith

    如何列出 PostgreSQL 中的所有模式?

    • 4 个回答
  • Marko Smith

    列出指定表的所有列

    • 5 个回答
  • Marko Smith

    如何在不修改我自己的 tnsnames.ora 的情况下使用 sqlplus 连接到位于另一台主机上的 Oracle 数据库

    • 4 个回答
  • Marko Smith

    你如何mysqldump特定的表?

    • 4 个回答
  • Marko Smith

    使用 psql 列出数据库权限

    • 10 个回答
  • Marko Smith

    如何从 PostgreSQL 中的选择查询中将值插入表中?

    • 4 个回答
  • Marko Smith

    如何使用 psql 列出所有数据库和表?

    • 7 个回答
  • Martin Hope
    Jin 连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane 如何列出 PostgreSQL 中的所有模式? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh 为什么事务日志不断增长或空间不足? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland 列出指定表的所有列 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney MySQL 能否合理地对数十亿行执行查询? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx 如何监控大型 .sql 文件的导入进度? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison 你如何mysqldump特定的表? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 对 SQL 查询进行计时? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas 如何从 PostgreSQL 中的选择查询中将值插入表中? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 列出所有数据库和表? 2011-02-18 00:45:49 +0800 CST

热门标签

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve