AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / dba / Perguntas / 74854
Accepted
Wouter
Wouter
Asked: 2014-08-26 06:29:00 +0800 CST2014-08-26 06:29:00 +0800 CST 2014-08-26 06:29:00 +0800 CST

Ótima maneira de carregar, registrar, indexar e consultar um enorme XMLDB

  • 772

Tenho 35 milhões de documentos XML altamente estruturados, com um tamanho total de 500 GB. Um XSD está disponível para esses dados e o objetivo final é transformar os dados em um RDB. Todos os campos podem ser considerados varchar, número ou data; exceto talvez um ou dois campos CLOB. A estrutura XSD contém muitos relacionamentos 1-n e estruturas sub-aninhadas, portanto, é bastante complexa.

Os dados precisam ser carregados uma vez e, em seguida, transformados em um RDB uma vez, portanto, a velocidade das consultas de atualização/inserção é irrelevante. Além disso, a velocidade de carregamento/criação do índice não é tão importante, pois só precisa ser executada uma vez. Contanto que termine dentro de uma ou duas semanas, estou feliz.

No momento estou configurando o XMLDB registrando o XSD como Object Relational, com create objects e create tables configurados como true. Por enquanto, não adicionei nenhuma outra anotação significativa ao XSD e estou carregando apenas cerca de 50 MB de dados como teste. Estou usando todo um conjunto de consultas XMLTable/flwor para transformar os dados XML em tabelas RDB. Temo que escalar isso para 500 GB fará com que as consultas sejam executadas por toda a eternidade.

Como sou muito novo no XMLDB e há muitos ajustes e configurações possíveis na documentação do XMLDB, gostaria de saber se há alguns recursos/anotações/otimizações cruciais... devo procurar isso pode ter um impacto na velocidade geral das consultas finais ou em outras partes do processo.

Esta é uma pergunta muito ampla, mas qualquer dica é bem-vinda e, se houver mais informações que possam ser relevantes, pergunte!

oracle performance
  • 1 1 respostas
  • 93 Views

1 respostas

  • Voted
  1. Best Answer
    Marco Gralike
    2014-09-17T00:20:41+08:002014-09-17T00:20:41+08:00

    Wouter obteve, esperançosamente, respostas úteis aqui:

    https://community.oracle.com/message/12608939

    Dito isto, sendo o Oracle ACE Director para esta tecnologia. Atualmente, a funcionalidade Oracle XMLDB está tão entrelaçada com o banco de dados Oracle que esta é uma funcionalidade OBRIGATÓRIA (instalação) para Oracle 12c e posteriores. É a base para muito no banco de dados, como segurança ACL, segurança do banco de dados, Database Vault, Oracle APEX, funcionalidade Multitenent, importação e exportação, DBMS_packages como DBMS_METADATA, implementações de desempenho Oracle (colunas AWR XMLtype etc etc), ferramentas DBA/Desenvolvedor como DB Expressar...

    XML está (infelizmente?) em todo lugar hoje em dia. Para dar um exemplo, você está usando agora (ou seja, se você usa um celular...)

    • 2

relate perguntas

  • Como encontrar as instruções SQL mais recentes no banco de dados?

  • Como posso consultar nomes usando expressões regulares?

  • Como determinar se um Índice é necessário ou necessário

  • Onde posso encontrar o log lento do mysql?

  • Como posso otimizar um mysqldump de um banco de dados grande?

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host

    • 12 respostas
  • Marko Smith

    Como fazer a saída do sqlplus aparecer em uma linha?

    • 3 respostas
  • Marko Smith

    Selecione qual tem data máxima ou data mais recente

    • 3 respostas
  • Marko Smith

    Como faço para listar todos os esquemas no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Jin conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane Como faço para listar todos os esquemas no PostgreSQL? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve