αғsнιη's questions

Encontrei um problema de OOM (isso acontece sempre que eu o executo) ao executar

grep -Fxvf file1 file2

tamanho do arquivo1: ~200MB
tamanho do arquivo2: ~300MB
número de registros em cada arquivo: ~300K
comprimento médio de registros: ~1K (somente caracteres ASCII)
a diferença entre dois arquivos é de aproximadamente 18K registros

Memória livre disponível: ~16GB

Tentei com diversas grepversões diferentes e em VM, WSL e também em servidor físico, mas obtive o mesmo resultado.

Observe que executei o mesmo comando com apenas algumas linhas de ambos os arquivos para identificar que ele não entra em um loop infinito por ter algum caractere especial nos arquivos e foi bem-sucedido.

Isso é normal?

Estou tentando gerar registros file2que não existem no arquivo file1.

Já resolvi meu requisito no awkmesmo ambiente e obtive a saída em menos de 10 segundos, mas estou me perguntando por que os grepresultados em OOM.

Eu usei o mesmo comando quase sempre quando precisava consultar os mesmos requisitos e até comparei dois arquivos muito grandes, como dois arquivos com ~ 2 GB de tamanho e cada um com ~ 90 milhões de registros e registros contendo no máximo ~ 20 caracteres ASCII sem qualquer problema em as mesmas caixas.

Usei GNU grep2.7, 2.16 no SLES12 e GNU grep3.7 no Ubnutu 22.04 no WSL.

O fuso horário do meu sistema é Ásia/Teerã, e ele tem ajustes de mudança de horário no verão (primavera para frente) e retrocesso no inverno; no entanto, preciso desabilitar esses ajustes de horário de verão e manter o fuso horário sempre em UTC + 3:30. como faço isso no linux?

Normalmente, quando eu passo um nome de arquivo que é o único arquivo no diretório atual com preenchimento automático por Tab para o comando vir antes dele, pressione vários Tab (erroneamente), o mesmo nome de arquivo completo várias vezes e devo excluir ou cancelar e começar novamente .

Existe alguma maneira de desabilitar esse comportamento (sem criar outro arquivo nem arquivo oculto)?

ls <Tab>filename <Tab>filename <Tab>filename

Postei uma resposta para uma pergunta no AU e descobri que a expansão de parâmetros $@não funciona com o shshell:

<infile xargs -d'\n' sh -c 'echo "${@%%/*}"' _

mas funciona bem em bash. Esse é o comportamento esperado do shshell e como posso executar a expansão lá?

Além disso, sei que com a -n1opção xargsposso passar apenas uma linha para o comando por vez, mas estava interessado em saber se shpode expandir $@:

<infile xargs -d'\n' -n1 sh -c 'echo "${0%%/*}"'

infilecontém:

A1 /B1/C1
A 2/B2/C2
A3/B3/C3

Eu tenho uma patternvariável com o valor abaixo:

\"something//\\anotherthing'

e um arquivo com o conteúdo abaixo:

\"something//\\anotherthing'
\"something//\\anotherthing
\"something/\anotherthing'
\"something\anotherthing'
\\"something\/\/\\\\anotherthing'

Quando comparo uma linha lida do arquivo com o padrão no ambiente com ==operador, obtenho a saída esperada:

patt="$pattern" awk '{print $0, ENVIRON["patt"], ($0 == ENVIRON["patt"]?"YES":"NO") }'  OFS="\t" file
\"something//\\anotherthing'    \"something//\\anotherthing'    YES
\"something//\\anotherthing     \"something//\\anotherthing'    NO
\"something/\anotherthing'      \"something//\\anotherthing'    NO
\"something\anotherthing'       \"something//\\anotherthing'    NO
\\"something\/\/\\\\anotherthing'       \"something//\\anotherthing'    NO

Mas quando faço o mesmo com o ~operador, os testes nunca coincidem. (Eu esperava YESna primeira linha, como acima):

patt="$pattern" awk '{print $0, ENVIRON["patt"], ($0 ~ ENVIRON["patt"]?"YES":"NO") }'  OFS="\t" file
\"something//\\anotherthing'    \"something//\\anotherthing'    NO
\"something//\\anotherthing     \"something//\\anotherthing'    NO
\"something/\anotherthing'      \"something//\\anotherthing'    NO
\"something\anotherthing'       \"something//\\anotherthing'    NO
\\"something\/\/\\\\anotherthing'       \"something//\\anotherthing'    NO

Para corrigir o problema com a ~comparação, preciso escapar duas vezes das fugas:

patt="${pattern//\\/\\\\}" awk '{print $0, ENVIRON["patt"], ($0 ~ ENVIRON["patt"]?"YES":"NO") }'  OFS="\t" file
\"something//\\anotherthing'    \\"something//\\\\anotherthing' YES
\"something//\\anotherthing     \\"something//\\\\anotherthing' NO
\"something/\anotherthing'      \\"something//\\\\anotherthing' NO
\"something\anotherthing'       \\"something//\\\\anotherthing' NO
\\"something\/\/\\\\anotherthing'       \\"something//\\\\anotherthing' NO

Observe os escapes duplos no resultado da impressão ENVIRON["patt"]na segunda coluna.

Pergunta:

Onde a sequência de escape no awk~ acontece ao usar o operador de comparação til ? em $0(ou $1, $2, ...) ou em ENVIRON["variable"]?

Alguém poderia explicar o que está acontecendo com o awkcomando abaixo? se não houver erro, por que notmenão está sendo impresso e por que não estou recebendo erro de sintaxe, então, para colchete fechado, ...}preciso fechar com aspas ...}'?

$ awk '{print "me "$0 '"notme"} <<<"printme"
me printme

Então eu tentaria isso:

$ awk '{print "me "$0 '"\"$(date)"\"} <<<"printme-at "
me printme-at Wed Apr 11 16:41:34 DST 2018

Ou

awk '{print '"\"$(date)\""} <<<"run"
Wed Apr 11 16:56:38 DST 2018

O que, como mostra, significa que posso fazer tudo usando a substituição de comandos do shell.

Isso é um inseto? Ou talvez um estado especial que não consigo encontrar.

Como removo entradas duplicadas em cada campo separado com a amostra abaixo como dados.

0x,9.4,,,#0,#UNIX#unix,#cli#L#فا#0#فا#0#L#SE#Cli#SE,#فارسی#فارسی#۱#1#١#1,bsh,#V & v

resultado esperado (exclua todos os duplicados, sem distinção entre maiúsculas e minúsculas, diferença em Unicode "persa #۱/árabe #١", ordem das entradas e qual entrada (ignorar maiúsculas e minúsculas) deve manter não importa aqui):

0x,9.4,,,#0,#unix,#cli#L#فا#0#SE,#فارسی#١#۱#1,bsh,#V & v

O padrão está neste formato #x, xsignifica qualquer coisa em um ou mais comprimentos de caracteres.

Tabela Unicode para diferenças de alfabeto/números dos idiomas persa/árabe