AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

    • Início
    • system&network
    • Ubuntu
    • Unix
    • DBA
    • Computer
    • Coding
    • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / unix / Perguntas / 788223
Accepted
Luke
Luke
Asked: 2024-12-16 23:42:36 +0800 CST2024-12-16 23:42:36 +0800 CST 2024-12-16 23:42:36 +0800 CST

Extraindo índice de PDFs

  • 772

Tenho uma biblioteca pessoal razoavelmente grande com livros em vários formatos. Tentei organizar seus metadados, incluindo um campo de texto contendo os índices. No momento, estou usando o recurso 'Area Text Selection' do meu leitor de documentos para copiar o texto. Fazer isso para DJVUs com djview produz índices bem formatados, como este:

CONTENTS
1. EXPERIMENTS
1.1. The definition of an experiment ..... 1
1.2. Algebras of events as Boolean algebras .... 6
1.3. Operations with experiments ...... 9
1.4. Canonical representation of polynomials of events . . 12
....

Enfatizo que tudo o que fiz foi arrastar meu mouse pela página e clicar em "Copiar texto". Se eu tentar isso com um PDF, a estrutura será completamente perdida e terei que gastar algum tempo limpando a seleção de texto, movendo os números de página e seção. Posso obter algo assim:

Table of Contents
I
 Introduction
1
 Introduction
1.1
 Table of Contents
1.2
 Acknowledgments
1
3
3
6
II
....

Estou procurando um leitor de PDF que possa copiar o texto de forma similar, mas com a "estrutura" preservada. O fato de os leitores DJVU terem essa capacidade me diz que isso deve ser possível.

Nota: Não estou falando sobre extrair ToCs dos favoritos: muitos dos meus PDFs não têm nenhum. Eu também gostaria de evitar uma ferramenta CLI que tenha que processar o arquivo inteiro: eu só quero que ela pegue o texto que eu selecionar, mas com as quebras de linha e a estrutura geral intactas.

text-processing
  • 2 2 respostas
  • 26 Views

2 respostas

  • Voted
  1. Best Answer
    Marcus Müller
    2024-12-17T00:22:07+08:002024-12-17T00:22:07+08:00

    Estou procurando um leitor de PDF que possa copiar o texto de forma similar, mas com a "estrutura" preservada. O fato de os leitores DJVU terem essa capacidade me diz que isso deve ser possível.

    Mas você estaria enganado, em geral: os documentos DJVU contêm mais metadados originais; especialmente, se você tiver um DJVU de um livro, é provável que ele seja gerado diretamente da fonte TeX ou ROFF a partir da qual o livro foi criado e retém essas informações estruturais.

    PDFs, por outro lado, geralmente são simplesmente "você coloca esta letra aqui, e a próxima letra exatamente ali, e a próxima letra exatamente ali...", de modo que um visualizador de PDF tem que "chutar" mais qual era o fluxo do texto quando você seleciona, copia e cola. E, muito tipicamente, os visualizadores de PDF simplesmente selecionam todos os glifos na ordem de produção pelo PDF (pense no PDF como algo que produz saída visível em vez de um texto simples com informações de embelezamento) entre o primeiro caractere que você cruzou ao começar a selecionar e o último caractere quando você parou. Se o seu índice for realmente armazenado em colunas, então isso pode surpreendentemente colocar toda a primeira coluna, no seu exemplo, "I", "1", ... primeiro, depois a segunda coluna.

    Por exemplo, quando você pega esta página (de 802.11-2012.pdf),

    Original

    e selecione do primeiro "1." até algum lugar atrás de "Definições…", você obtém o seguinte em atril:

    seleção de atril

    e o seguinte em okular:

    seleção ocular

    Então, a estrutura que você espera simplesmente não está lá no documento, e dois visualizadores diferentes já interpretam qual era sua intenção ao selecionar coisas de forma diferente. E, ambos errados.

    okulartem um select "retângulo" que essencialmente faz o mesmo que o select de texto "normal", mas exclui quaisquer caracteres que não estariam no retângulo. Então, embora inclua apenas as coisas corretas, não lhe dá a ordem correta.

    Agora, isso não significa que não haja um visualizador que seja melhor do que os outros, geralmente. Mas minha experiência é que há essencialmente tantas tentativas diferentes de fazer a coisa certa quanto há diferentes mecanismos de PDF, e com a quantidade de variação que você obtém, não há um vencedor claro. Enquanto acima, atrilestava "menos errado" do que okular, o mesmo experimento com o ToC "blue book" do CCSDS 131.0-B-3 produz o bastante ridículo:

    atril bagunçando as coisas

    onde okulara seleção de área funciona um pouco melhor

    O único visualizador que funciona na maioria das vezes, mas é irritante de usar porque não permite que você inicie uma seleção dentro de qualquer coisa que seja um hiperlink em um PDF (e a maioria das entradas do ToC são, por natureza, hiperlinks) é (infelizmente?) o chromiumvisualizador de PDF integrado do navegador. Então, talvez tente isso!

    • 0
  2. Chester Gillon
    2024-12-17T01:00:34+08:002024-12-17T01:00:34+08:00

    Procurando ferramentas de linha de comando para extrair texto de um arquivo PDF em um sistema Ubuntu 24.04.1 LTS.

    Usado USB Type-C Spec R2.4 - October 2024.pdfpara o qual o GNOME Document Viewer 46.3.1 renderiza o conteúdo como:

    Conteúdo USB Tipo-C Spec R2.4

    pdf2txt

    pdf2txtversão v20221105saída do texto bruto no índice:

    ^LRelease 2.4 
    October 2024 
    
    - 3 - 
    
    USB Type-C® Cable and 
    Connector Specification 
    
    1.1 
    1.2 
    1.3 
    1.4 
    
    Contents 
    Specification Editor ...................................................................................................................................................................................... 18 
    Specification Work Group Contributors .............................................................................................................................................. 18 
    Pre-Release Draft Industry Reviewing Companies That Provided Feedback ..................................................................... 26 
    Revision History ............................................................................................................................................................................................. 27 
    Introduction .......................................................................................................................................................................................... 28 
    1 
    Purpose ........................................................................................................................................................
    ................................ 28 
    Scope ............................................................................................................................................................................................. 28 
    Related Documents ................................................................................................................................................................. 28 
    Conventions ................................................................................................................................................................................ 29 
    1.4.1  Precedence ............................................................................................................................................................................ 29 
    1.4.2  Keywords ............................................................................................................................................................................... 29 
    1.4.3  Numbering............................................................................................................................................................................. 30 
    Terms and Abbreviations ..................................................................................................................................................... 30 
    Overview ................................................................................................................................................................................................ 36 
    Introduction ............................................................................................................................................................................... 36 
    USB Type-C Receptacles, Plugs and Cables .................................................................................................................. 37 
    Configuration Process ............................................................................................................................................................ 38 
    2.3.1  Source-to-Sink Attach/Detach Detection ................................................................................................................. 39 
    2.3.2  Plug Orientation/Cable Twist Detection .................................................................................................................. 39 
    2.3.3 
    

    Então, no texto extraído, os números de seção , título e página nem sempre se alinham. Ou seja, pdf2txtnão ajuda.

    pdfparatexto

    pdftotextversão 24.02.0produz o seguinte texto:

    -3-
    
    USB Type-C® Cable and
    Connector Specification
    
    Contents
    Specification Editor ......................................................................................................................................................................................18
    Specification Work Group Contributors ..............................................................................................................................................18
    Pre-Release Draft Industry Reviewing Companies That Provided Feedback .....................................................................26
    Revision History .............................................................................................................................................................................................27
    1
    
    Introduction ..........................................................................................................................................................................................28
    1.1
    
    Purpose ........................................................................................................................................................................................28
    
    1.2
    
    Scope .............................................................................................................................................................................................28
    
    1.3
    
    Related Documents .................................................................................................................................................................28
    
    1.4
    
    Conventions ................................................................................................................................................................................29
    
    1.4.1
    
    Precedence ............................................................................................................................................................................29
    
    1.4.2
    
    Keywords ...............................................................................................................................................................................29
    
    1.4.3
    
    Numbering.............................................................................................................................................................................30
    

    pdftotextparece fazer um trabalho melhor de ordenar os números de seção, títulos e números de página do que pdf2txtantes, mas ainda pode exigir algum pós-processamento manual.

    A outra resposta já explicou que o formato do documento PDF não foi projetado para retornar ao texto de origem em uma ordem coerente, o que explica as limitações dessas ferramentas.

    • 0

relate perguntas

  • Grep para um conjunto de linhas de $START a $END AND que contém uma correspondência em $MIDDLE

  • Reorganize as letras e compare duas palavras

  • Subtraindo a mesma coluna entre duas linhas no awk

  • Embaralhamento de arquivo de várias linhas

  • como posso alterar o caso do caractere (de baixo para cima e vice-versa)? ao mesmo tempo [duplicado]

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    Possível firmware ausente /lib/firmware/i915/* para o módulo i915

    • 3 respostas
  • Marko Smith

    Falha ao buscar o repositório de backports jessie

    • 4 respostas
  • Marko Smith

    Como exportar uma chave privada GPG e uma chave pública para um arquivo

    • 4 respostas
  • Marko Smith

    Como podemos executar um comando armazenado em uma variável?

    • 5 respostas
  • Marko Smith

    Como configurar o systemd-resolved e o systemd-networkd para usar o servidor DNS local para resolver domínios locais e o servidor DNS remoto para domínios remotos?

    • 3 respostas
  • Marko Smith

    apt-get update error no Kali Linux após a atualização do dist [duplicado]

    • 2 respostas
  • Marko Smith

    Como ver as últimas linhas x do log de serviço systemctl

    • 5 respostas
  • Marko Smith

    Nano - pule para o final do arquivo

    • 8 respostas
  • Marko Smith

    erro grub: você precisa carregar o kernel primeiro

    • 4 respostas
  • Marko Smith

    Como baixar o pacote não instalá-lo com o comando apt-get?

    • 7 respostas
  • Martin Hope
    user12345 Falha ao buscar o repositório de backports jessie 2019-03-27 04:39:28 +0800 CST
  • Martin Hope
    Carl Por que a maioria dos exemplos do systemd contém WantedBy=multi-user.target? 2019-03-15 11:49:25 +0800 CST
  • Martin Hope
    rocky Como exportar uma chave privada GPG e uma chave pública para um arquivo 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Evan Carroll status systemctl mostra: "Estado: degradado" 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim Como podemos executar um comando armazenado em uma variável? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S Por que /dev/null é um arquivo? Por que sua função não é implementada como um programa simples? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 Como ver as últimas linhas x do log de serviço systemctl 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - pule para o final do arquivo 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla Por que verdadeiro e falso são tão grandes? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis Substitua a string em um arquivo de texto enorme (70 GB), uma linha 2017-12-30 06:58:33 +0800 CST

Hot tag

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help
subwaysurfers
my femboy roommate

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve