Perguntas[text-processing](unix)

Tenho um arquivo RTF que contém uma lista de caminhos de arquivos PDF. Como

Category1:
./Folder1/Folder2/1.pdf:18
./Folder3/2.pdf:18
./Folder5/4.pdf:10

Category2:
./Folder3/2.pdf:18
./Folder5/4.pdf:10

Category3:
./Folder1/Folder2/1.pdf:18
./Folder5/4.pdf:10

Category4:
./Folder6/7.pdf:10
./Folder5/4.pdf:10
./Folder3/2.pdf:18

SideNote: O número num depois de *.pdf:num pode ser ignorado. O caminho completo da pasta também pode ser ignorado. A entidade de interesse é apenas o nome do arquivo.pdf

Gostaria de ter uma saída classificada com relação aos nomes de PDF e seu número de ocorrências

A saída estaria no formato (nome do arquivo: número de vezes que o arquivo apareceu no rtf), como:

4.pdf :  4
2.pdf :  3

Nota 2: Qualquer arquivo mencionado menos de 3 vezes pode ser ignorado.

Tenho o seguinte arquivo de texto que preciso usar para enviar a um webhook do Discord:

some\nText\nHere

Os \nseparadores são caracteres literais, não novas linhas reais (o webhook os analisa posteriormente como novas linhas).

Para remover uma das linhas (por exemplo, a palavra "Texto" aqui para que eu obtenha apenas some\nHere), tentei o seguinte com o awk:

awk -F'\\\\n\\(' '{print $1 $2}'

Mas ele ainda emite some\nText\nheree ignora os separadores. Se eu tentar:

awk -F'\n' '{print $1 $2}'ele faz o mesmo.

Como posso fazer com que o awk use literal \ncomo separador de campo?

Temos o seguinte arquivo de texto:

172.55.34.48 172.55.33.95
172.55.32.163 172.55.34.48
172.55.32.163 172.55.33.95

O que precisamos fazer é trocar as duas colunas se a primeira coluna for encontrada contendo um valor já encontrado anteriormente naquela coluna. Para cada valor desse tipo (endereços IP neste caso), a ocorrência máxima é dois.

No exemplo acima, precisamos trocar 172.55.33.95com 172.55.32.163o que 172.55.32.163já foi encontrado na linha anterior.

tentei

awk 'prev && ($1 != prev) {print seen[prev]} {seen[$1] = $0; prev = $1} END {print seen[$1]}' /tmp/new.txt 

mas isso ajuda a remover linhas onde a entrada da coluna 1 já foi encontrada antes.

como faço para que o jq receba json assim:

{
  "responseHeader":{
    "status":0,
    "QTime":1
  },
  "cluster":{
    "collections":{
      "collection1-stored":{
        "pullReplicas":"0",
        "configName":"collection1-stored-conf1",
        "replicationFactor":1,
        "router":{
          "name":"compositeId"
        },
        "nrtReplicas":1,
        "tlogReplicas":"0",
        "shards":{
          "shard1":{
            "range":"80000000-7fffffff",
            "state":"active",
            "replicas":{
              "core_node2":{
                "core":"collection1-stored_shard1_replica_n1",
                "node_name":"servername1:8983_solr",
                "type":"NRT",
                "state":"active",
                "leader":"true",
                "force_set_state":"false",
                "base_url":"http://servername1:8983/solr"
              }
            },
            "health":"GREEN"
          }
        },
        "health":"GREEN",
        "znodeVersion":3,
        "creationTimeMillis":1727780823546
      },
      "collection2-multi":{
        "pullReplicas":"0",
        "configName":"collection2-multi-conf2",
        "replicationFactor":2,
        "router":{
          "name":"compositeId"
        },
        "nrtReplicas":2,
        "tlogReplicas":"0",
        "shards":{
          "shard1":{
            "range":"80000000-7fffffff",
            "state":"active",
            "replicas":{
              "core_node3":{
                "core":"collection2-multi_shard1_replica_n1",
                "node_name":"servername1:8983_solr",
                "type":"NRT",
                "state":"active",
                "leader":"true",
                "force_set_state":"false",
                "base_url":"http://servername1:8983/solr"
              },
              "core_node4":{
                "core":"collection2-multi_shard1_replica_n2",
                "node_name":"servername2:8983_solr",
                "type":"NRT",
                "state":"active",
                "force_set_state":"false",
                "base_url":"http://servername2:8983/solr"
              }
            },
            "health":"GREEN"
          }
        },
        "health":"GREEN",
        "znodeVersion":5,
        "creationTimeMillis":1727780813821,
        "aliases":["collection2-multi-query","collection2-multi-upd"]
      },
      "collection4-multi-multi1":{
        "pullReplicas":"0",
        "configName":"collection4-multi-multi-conf4",
        "replicationFactor":2,
        "router":{
          "name":"compositeId"
        },
        "nrtReplicas":2,
        "tlogReplicas":"0",
        "shards":{
          "shard1":{
            "range":"80000000-ffffffff",
            "state":"active",
            "replicas":{
              "core_node5":{
                "core":"collection4-multi-multi1_shard1_replica_n2",
                "node_name":"servername1:8983_solr",
                "type":"NRT",
                "state":"active",
                "force_set_state":"false",
                "base_url":"http://servername1:8983/solr"
              },
              "core_node8":{
                "core":"collection4-multi-multi1_shard1_replica_n6",
                "node_name":"servername2:8983_solr",
                "type":"NRT",
                "state":"active",
                "leader":"true",
                "force_set_state":"false",
                "base_url":"http://servername2:8983/solr"
              }
            },
            "health":"GREEN"
          },
          "shard2":{
            "range":"0-7fffffff",
            "state":"active",
            "replicas":{
              "core_node3":{
                "core":"collection4-multi-multi1_shard2_replica_n1",
                "node_name":"servername1:8983_solr",
                "type":"NRT",
                "state":"active",
                "leader":"true",
                "force_set_state":"false",
                "base_url":"http://servername1:8983/solr"
              },
              "core_node7":{
                "core":"collection4-multi-multi1_shard2_replica_n4",
                "node_name":"servername2:8983_solr",
                "type":"NRT",
                "state":"active",
                "force_set_state":"false",
                "base_url":"http://servername2:8983/solr"
              }
            },
            "health":"GREEN"
          }
        },
        "health":"GREEN",
        "znodeVersion":7,
        "creationTimeMillis":1727780770838,
        "aliases":["collection4-multi-multi"]
      },
      "collection3-multi":{
        "pullReplicas":"0",
        "configName":"collection3-multi-conf3",
        "replicationFactor":2,
        "router":{
          "name":"compositeId"
        },
        "nrtReplicas":2,
        "tlogReplicas":"0",
        "shards":{
          "shard1":{
            "range":"80000000-7fffffff",
            "state":"active",
            "replicas":{
              "core_node7":{
                "core":"collection3-multi_shard1_replica_n1",
                "node_name":"servername2:8983_solr",
                "type":"NRT",
                "state":"active",
                "force_set_state":"false",
                "base_url":"http://servername2:8983/solr"
              },
              "core_node5":{
                "core":"collection3-multi_shard1_replica_n2",
                "node_name":"servername1:8983_solr",
                "type":"NRT",
                "state":"active",
                "leader":"true",
                "force_set_state":"false",
                "base_url":"http://servername1:8983/solr"
              }
            },
            "health":"GREEN"
          }
        },
        "health":"GREEN",
        "znodeVersion":6,
        "creationTimeMillis":1727780768553,
        "aliases":["collection3-multi-index","collection3-multi-query"]
      }
    }
  }
}

e gerar esta saída:

collection1-stored, collection1-stored-conf1, shard1:core_node2, collection1-stored_shard1_replica_n1, servername1:8983_solr
collection2-multi, collection2-multi-conf2, shard1:core_node3, collection2-multi_shard1_replica_n1, servername1:8983_solr
collection2-multi, collection2-multi-conf2, shard1:core_node4, collection2-multi_shard1_replica_n2, servername2:8983_solr
collection4-multi-multi1, collection4-multi-multi-conf4, shard1:core_node5, collection4-multi-multi1_shard1_replica_n2, servername1:8983_solr
collection4-multi-multi1, collection4-multi-multi-conf4, shard1:core_node8, collection4-multi-multi1_shard1_replica_n6, servername2:8983_solr
collection4-multi-multi1, collection4-multi-multi-conf4, shard2:core_node3, collection4-multi-multi1_shard2_replica_n1, servername1:8983_solr
collection4-multi-multi1, collection4-multi-multi-conf4, shard2:core_node7, collection4-multi-multi1_shard2_replica_n4, servername2:8983_solr
collection3-multi, collection3-multi-conf3, shard1:core_node7, collection3-multi_shard1_replica_n1, servername2:8983_solr
collection3-multi, collection3-multi-conf3, shard1:core_node5, collection3-multi_shard1_replica_n2, servername1:8983_solr

usando o formatador jq.

Resumindo, preciso obter para cada nome de coleção e para cada um de seus fragmentos e para cada uma de suas réplicas, uma linha contendo o nome da coleção, o valor configName, o nome do núcleo, o valor do núcleo e o valor node_name.

Só consegui chegar ao primeiro nível filtrando como:

jq ".cluster.collections"

Obrigado

$ n="foo"; echo "{}" | jq --arg n "$n" '. += { "$n": $n }'
{
  "$n": "foo"
}

Minha leitura de https://jqlang.github.io/jq/manual/#types-and-values ​​sugere que isso deveria funcionar -- mas claramente não funciona. O que está acontecendo?

Recentemente descobri jqe gron. Para meu caso de uso, groné suficiente, mas estou um pouco preocupado com a falta de desenvolvimento. Há alguns bugs que não foram corrigidos em um ano, enquanto vejo que jqestá sendo desenvolvido ativamente.

Então eu gostaria de emular gronusando jq. Suspeito que não seja muito difícil, mas meu conhecimento jqé limitado.

Como exemplo, gostaria de usar jqpara obter esta saída:

T424f7496c3a01  -14889.86
demo    -15030.785

a partir desta entrada:

{
  "T424f7496c3a01": {
    "remaining": -14889.86,
    "ts": 136572.504
  },
  "demo": {
    "remaining": -15030.785,
    "ts": 0.515
  }
}

Eu criei este jqscript que faz isso:

jq -r '[keys,([.[]|.remaining|round|"\t"+tostring])]|transpose|.[]|add'

mas é muito menos legível do que

gron | fgrep '.remaining = '

que produz

json.T424f7496c3a01.remaining = -18079.105;
json.demo.remaining = -18220.029;

que pode ser facilmente analisado usando um IFS=" .=;" readloop em bash.

Então, estou fazendo uma pergunta sobre manutenibilidade de longo prazo: existe um script simples jqque possa me dar algo facilmente analisável em bash? Temo que usando o jqscript acima em um mês eu não terei ideia de como ele funciona...

PS A resposta que escolhi responde à consulta acima. Eu esperava que houvesse uma resposta igualmente simples para a consulta mencionada no título, ou seja, emulando gronusando jq. Na verdade, o comentário abaixo de @Kusalananda faz referência a How to print path and key values ​​of JSON file , onde a resposta escolhida é próxima o suficiente de uma gronemulação. Infelizmente, essa solução é muito complexa para satisfazer meus objetivos de manutenção e legibilidade de longo prazo.

Arquivo de teste:

Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmo tempor incididunt ut labore et dolore magna aliqua. Ut enim minim veniam quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.

Se estiver usando

script.sh input.txt output.txt

sed 's/ - /--/g
     s/ \{0,1\}[—–] \{0,1\}/--/g
     s/…/.../g
     s/\\\*/†/g
     s/*/\//g
     s/\\\././g' $1 |
fold -sw 72 |
sed 's/ *$//g' > $2

a saída é

------------------------------------------------------------------------ <- 72 characters
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmo
tempor incididunt ut labore et dolore magna aliqua. Ut enim minim
veniam quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea
commodo consequat. Duis aute irure dolor in reprehenderit in voluptate
velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint
occaecat cupidatat non proident, sunt in culpa qui officia deserunt
mollit anim id est laborum.

Mas por que não isso?

------------------------------------------------------------------------ <- 72 characters
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmo
tempor incididunt ut labore et dolore magna aliqua. Ut enim minim veniam
quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo
consequat. Duis aute irure dolor in reprehenderit in voluptate velit
esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat
cupidatat non proident, sunt in culpa qui officia deserunt mollit anim
id est laborum.

Ou seja, por que a palavra veniamfoi movida da 2ª linha para a 3ª? Não há espaço suficiente para ela?

man fold:

-s: Dobra a linha após o último caractere em branco dentro das primeiras posições da coluna de largura (ou bytes).

Eu uso foldo fornecido com o macOS, mas se usar o GNU fold, o arquivo de saída é o mesmo.

Tenho um Garmin Nuvi que usa mapas OpenStreet. O Garmin faz códigos postais, mas geralmente está desatualizado de 2 a 3 anos para a Escócia. O OSM não faz códigos postais britânicos, mas o Post Office faz, e pode ser baixado gratuitamente. Este arquivo tem pouco menos de 1 GB. Ele tem 16 colunas, das quais eu quero apenas as 3 primeiras.

Usei cut para remover as colunas estranhas, então agora tenho CEP, Latitude e Longitude. Infelizmente, o arquivo POI deve ser Latitude, Longitude e CEP, ou seja, a coluna 1 deve ser a coluna 3. Para aumentar o problema, o CEP deve estar entre aspas, por exemplo, EH9 1QG e SW12 1AB devem ser "EH9 1QG" e "SW12 1AB".

Usei o awk de forma um tanto estranha (viu o que eu fiz aí?) com:

awk 'BEGIN {FS="\t"; OFS=","} {print $2, $3, $1}' pc0.csv > pc.csv

e tudo o que ele fez foi adicionar 2 colunas vazias na frente.
Seria legal poder usar uma planilha nele, mas há mais de 3 milhões de linhas.

Alguma ideia?

Isto é o que eu obtenho da saída de cut - pc0.csv.
O comando awk dá o mesmo, mas com duas vírgulas na frente de cada linha para dar 2 colunas vazias.

Postcode Latitude Longitude
AB1 0AA,57.101474,-2.242851  
AB1 0AB,57.102554,-2.246308  
AB1 0AD,57.100556,-2.248342  
AB1 0AE,57.084444,-2.255708  
AB1 0AF,57.096656,-2.258102  
AB1 0AG,57.097085,-2.267513  
AB1 0AJ,57.099011,-2.252854  
AB1 0AL,57.101765,-2.254688

Então, usando o arquivo "cut" acima, que agora tem apenas 73 MB, preciso convertê-lo para:

Latitude,Longitude,Postcode
57.101474,-2.242851,"AB1 0AA"  
57.102554,-2.246308,"AB1 0AB"  
57.100556,-2.248342,"AB1 0AD"  
57.084444,-2.255708,"AB1 0AE"  
57.096656,-2.258102,"AB1 0AF"  
57.097085,-2.267513,"AB1 0AG"  
57.099011,-2.252854,"AB1 0AJ"  
57.101765,-2.254688,"AB1 0AL"

Agora eu tive que remover as tabulações para exibir essas linhas, então esse é outro problema, pois só pode haver vírgulas e nada mais - nem mesmo espaços, a menos que entre aspas.

PS Linux (Ubuntu Mate) 22.04 LTS

Eu tenho um seguinte arquivo:

<head>
  <title>this is a title</title>
  <style>
    here goes a style sheet
  </style>
</head>

Eu preciso retirar o <title>elemento dele, com sed. Atualmente eu uso

cat test.html | sed 's/<title>.*<\/title>//'

e funciona, mas não entendo como me livrar da linha em branco. Ou seja, atualmente a saída é

<head>
  
  <style>
    here goes a style sheet
  </style>
</head>

Considerando que eu quero que seja

<head>
  <style>
    here goes a style sheet
  </style>
</head>

Para isso, tentei adicionar \s*or \n*, usando tanto GNU quanto BSD sed,

cat test.html | sed 's/<title>.*<\/title>\s*//'

cat test.html | sed 's/<title>.*<\/title>\n*//'

mas isso não ajudou. O que estou fazendo de errado?

Editar: a <title>linha não precisa estar em uma linha separada. Ou seja, às vezes o arquivo inteiro pode ser apenas uma linha:

<head><title>this is a title</title><style>here goes a style sheet</style></head>

Nesse caso, a saída desejada é

<head><style>here goes a style sheet</style></head>

Quando eu faço SSH em minha máquina kali do Fedora e tento executar um comando e pressiono TABpara preenchê-lo automaticamente como abaixo ...

Então, no momento em que pressiono, TABfaz o seguinte:

Observe isso primeiro sudo? De alguma forma, ele simplesmente aparece e não passa de pixels na tela e não faz parte do comando se eu pressionar Enter. Então, se eu backspacepressionar Enter completamente, o Sudo ainda permanecerá na tela, mas não haverá caixa de sudocomando de ajuda se ele for realmente executado ao pressionar Enter.

Eu só poderia testar isso fazendo o mesmo na VM real e não existe esse problema. Alguma ideia do que está acontecendo aqui?

E se for importante, tive que gerar e alterar UUIDS para esta VM e adicionar chaves MOK, já que copiei descaradamente a pasta da VM ao alterar as distros em vez de cloná-la. E no meu sistema operacional Ubuntu anterior, esse problema não estava acontecendo.

Variáveis:

• $TERMestá xterm-256colorem ambos
• A localidade está definida UTF-8em ambos

$PS1na VM:

┌──(kali㉿kali-pc)-[~]
└─$ echo "$PS1"  
%F{%(#.blue.green)}┌──${debian_chroot:+($debian_chroot)─}${VIRTUAL_ENV:+($(basename $VIRTUAL_ENV))─}(%B%F{%(#.red.blue)}%n㉿%m%b%F{%(#.blue.green)})-[%B%F{reset}%(6~.%-1~/…/%4~.%5~)%b%F{%(#.blue.green)}]
└─%B%(#.%F{red}#.%F{blue}$)%b%F{reset}

Editar: solução de problemas adicionais para descobrir "quando" isso acontece e "o que" faz

• Encontrado no preenchimento automático (quando há mais de 1 opção possível!), com TABe não right-arrowpara completar a partir da última sugestão utilizada.
• Também acontece toda vez que pressiono ctrl+D(de 1 caractere até completar o comando digitado no console)
• Bagunça exatamente o primeiro espaço de 4 caracteres sempre a partir do $prompt, como visto abaixo

Digitei networkantes de pressionar TABe novamente, apenas os 4 primeiros foram afetados

Usando cdum comando pequeno e pressionado TABe novamente os primeiros 4 caracteres ficaram confusos.

Editar 2: Simplesmente configurar PS1='$ ''resolve' isso, mas isso não explica o que está acontecendo aqui.