Dave's questions

Estou usando o shell bash. Se eu tiver um arquivo de números de linha

1
4
7
9

e outro arquivo de linhas onde o primeiro elemento é um número seguido por uma string de texto

1,Michael Jordan
2,Karl Malone,
3,Charles Barkley
4,Greg Anthony
5,Chris Mullen
6,Reggie Miller
7,Billy Owens
8,David Robinson
9,Shaquille O'Neal
10,John Stockton

Como escrevo um awkcomando para extrair linhas do segundo arquivo somente se o primeiro número pertencer ao primeiro arquivo? No exemplo acima, eu esperaria esse resultado

1,Michael Jordan
4,Greg Anthony
7,Billy Owens
9,Shaquille O'Neal

eu tentei isso

awk 'FNR==NR{a[$1];next} $1 in a' /tmp/first_file /tmp/second_file > /tmp/third_file

mas não produz nada no terceiro arquivo.

Estou usando o shell bash. Eu tenho essa matriz representando caminhos de arquivo

MY_FILES=(/path/to/file1 /tmp/abc.txt /tmp/test.sh /path/to/file2 /path/to/file3 /tmp/abc.txt)

Como posso formar uma nova matriz de elementos na qual os caminhos realmente existem no meu sistema de arquivos?

Estou usando ag v 2.2. Como configuro o ag para que ele procure arquivos que comecem com "." além de todos os outros arquivos? Estou percebendo que tenho um arquivo assim

$ cat client/.env.production 
REACT_APP_PROXY=https://map.chicommons.coop

mas quando pesquiso com "ag" usando um termo nesse arquivo, o termo não aparece...

$ ag 'map\.chicom' .
web/directory/settings.py
28:ALLOWED_HOSTS = ['127.0.0.1', 'localhost', 'dev.chicommons.coop', 'map.chicommons.coop']

client/config.js
3:    ? "map.chicommons.com"

Quero executar um comando em um servidor remoto (Cent OS 7) e usar as variáveis ​​de ambiente definidas nesse servidor. No entanto, quando eu executo este comando

ssh myuser@remotehost.com "PGPASSWORD=$DB_PASS psql -U $DB_USER -d $DB_NAME -c 'COPY myapp_currencyprice to STDOUT WITH (DELIMITER \",\", FORMAT CSV, HEADER)' > /tmp/prices.csv"

parece que o comando está tentando usar "$DB_PASS" e outros env vars do localhost em vez de "remotehost.com". Qual é a maneira correta de fazer referência a env vars do servidor remoto?

Estou no Mac OS Big Sur e executando uma instância virtual do Linux Ubuntu 16.04 (usando vagrant). Eu posso executar os dois comandos a seguir (um para ssh no servidor virtual e o segundo para executar um comando dentro dele)…

$ ssh myvirtual.local
Warning: Permanently added '10.0.4.19' (ECDSA) to the list of known hosts.
Last login: Wed Sep 15 16:37:57 2021 from 10.0.4.1
$ foreman start -f Procfile.debug
16:38:26 rails.1      | started with pid 27884
16:38:26 worker.1     | started with pid 27885
16:38:26 scheduler.1  | started with pid 27887
...

Eu gostaria de poder combinar esses dois comandos, então tentei

$ ssh -t myvirtual.local 'foreman start -f Procfile.debug’
Warning: Permanently added '10.0.4.19' (ECDSA) to the list of known hosts.
bash: foreman: command not found
Connection to 10.0.4.19 closed.

Estou confuso sobre qual outra configuração eu precisaria executar para ter um único comando para simular o que estou fazendo inicialmente. Alguma ideia?

Estou usando o shell bash. Eu defini a seguinte variável ...

localhost:tmp davea$ echo $json
{"id": "abc", "name": "dave"}

Eu gostaria de inserir o valor desse var em um comando ruby, então tentei isso...

localhost:tmp davea$ ruby -rjson -e 'j = JSON.parse($json); puts j["Instances"][0]["ImageId"]'
Ignoring bindex-0.5.0 because its extensions are not built.  Try: gem pristine bindex --version 0.5.0
Ignoring byebug-11.0.1 because its extensions are not built.  Try: gem pristine byebug --version 11.0.1
Ignoring byebug-10.0.2 because its extensions are not built.  Try: gem pristine byebug --version 10.0.2
Ignoring byebug-10.0.1 because its extensions are not built.  Try: gem pristine byebug --version 10.0.1
Ignoring byebug-10.0.0 because its extensions are not built.  Try: gem pristine byebug --version 10.0.0
Ignoring childprocess-1.0.1 because its extensions are not built.  Try: gem pristine childprocess --version 1.0.1
Ignoring debase-0.2.4 because its extensions are not built.  Try: gem pristine debase --version 0.2.4
Ignoring eventmachine-1.2.5 because its extensions are not built.  Try: gem pristine eventmachine --version 1.2.5
Ignoring ffi-1.11.1 because its extensions are not built.  Try: gem pristine ffi --version 1.11.1
Ignoring ffi-1.9.25 because its extensions are not built.  Try: gem pristine ffi --version 1.9.25
Ignoring ffi-1.9.23 because its extensions are not built.  Try: gem pristine ffi --version 1.9.23
Ignoring ffi-1.9.18 because its extensions are not built.  Try: gem pristine ffi --version 1.9.18
Ignoring hiredis-0.6.1 because its extensions are not built.  Try: gem pristine hiredis --version 0.6.1
Ignoring json-2.1.0 because its extensions are not built.  Try: gem pristine json --version 2.1.0
Ignoring nio4r-2.4.0 because its extensions are not built.  Try: gem pristine nio4r --version 2.4.0
Ignoring nio4r-2.3.1 because its extensions are not built.  Try: gem pristine nio4r --version 2.3.1
Ignoring nio4r-2.3.0 because its extensions are not built.  Try: gem pristine nio4r --version 2.3.0
Ignoring nio4r-2.2.0 because its extensions are not built.  Try: gem pristine nio4r --version 2.2.0
Ignoring nokogiri-1.10.4 because its extensions are not built.  Try: gem pristine nokogiri --version 1.10.4
Ignoring nokogiri-1.8.2 because its extensions are not built.  Try: gem pristine nokogiri --version 1.8.2
Ignoring nokogiri-1.8.1 because its extensions are not built.  Try: gem pristine nokogiri --version 1.8.1
Ignoring pg-1.1.4 because its extensions are not built.  Try: gem pristine pg --version 1.1.4
Ignoring pg-0.21.0 because its extensions are not built.  Try: gem pristine pg --version 0.21.0
Ignoring puma-3.12.1 because its extensions are not built.  Try: gem pristine puma --version 3.12.1
Ignoring puma-3.11.4 because its extensions are not built.  Try: gem pristine puma --version 3.11.4
Ignoring puma-3.11.3 because its extensions are not built.  Try: gem pristine puma --version 3.11.3
Ignoring puma-3.11.2 because its extensions are not built.  Try: gem pristine puma --version 3.11.2
Ignoring rmagick-2.16.0 because its extensions are not built.  Try: gem pristine rmagick --version 2.16.0
Ignoring ruby-debug-ide-0.7.0 because its extensions are not built.  Try: gem pristine ruby-debug-ide --version 0.7.0
Ignoring ruby-filemagic-0.7.2 because its extensions are not built.  Try: gem pristine ruby-filemagic --version 0.7.2
Ignoring sqlite3-1.4.1 because its extensions are not built.  Try: gem pristine sqlite3 --version 1.4.1
Ignoring sqlite3-1.3.13 because its extensions are not built.  Try: gem pristine sqlite3 --version 1.3.13
Ignoring websocket-driver-0.6.5 because its extensions are not built.  Try: gem pristine websocket-driver --version 0.6.5
Ignoring websocket-native-1.0.0 because its extensions are not built.  Try: gem pristine websocket-native --version 1.0.0
/Users/davea/.rvm/gems/ruby-2.4.0/gems/json-2.1.0/lib/json/pure/parser.rb:135:in `convert_encoding': nil is not like a string (TypeError)
    from /Users/davea/.rvm/gems/ruby-2.4.0/gems/json-2.1.0/lib/json/pure/parser.rb:78:in `initialize'
    from /Users/davea/.rvm/gems/ruby-2.4.0/gems/json-2.1.0/lib/json/common.rb:156:in `new'
    from /Users/davea/.rvm/gems/ruby-2.4.0/gems/json-2.1.0/lib/json/common.rb:156:in `parse'
    from -e:1:in `<main>'

Parece que meu $ json não está sendo traduzido. Qual é a maneira correta de inseri-lo no comando acima?

Estou usando o bash. Como posso sair com um código sem sucesso se meu script tiver o número errado de argumentos?

eu tenho isto

#!/bin/bash

if [ "$#" -ne 3 ]; then
    echo "Should be three parameters to this script -- [CWD driver-directory side-file]"
fi

mas então o script continua.

Estou usando o CentOS 7. Quero usar o Pip para instalar um virtualenv . Então eu instalei o Pip assim ...

[laredotornado@server Python-3.7.2]$ sudo yum install python-pip httpd mod_wsgi
[sudo] password for laredotornado: 
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirror.fileplanet.com
 * extras: mirror.us-midwest-1.nexcess.net
 * updates: mirror.fileplanet.com
No package python-pip available.
Package httpd-2.4.6-88.el7.centos.x86_64 already installed and latest version
Package mod_wsgi-3.4-18.el7.x86_64 already installed and latest version
Nothing to do

mas quando eu realmente tento usar o pip, me dizem que ele não pode ser encontrado ...

[laredotornado@server Python-3.7.2]$ sudo pip install virtualenv
sudo: pip: command not found

Como instalo corretamente o pip na minha distribuição Linux?

Estou usando o bash. Eu tenho um arquivo CSV com duas colunas de dados que se parecem com isso

 num_logins,day
 253,2016-07-01
 127,2016-07-02

Eu quero trocar a primeira e a segunda colunas (tornando a coluna de data a primeira). Então eu tentei isso

awk ' { t = $1; $1 = $2; $2 = t; print; } ' /tmp/2016_logins.csv 

No entanto, os resultados estão gerando o mesmo . O que está faltando na minha instrução awk acima para que as coisas mudem corretamente?

Estou usando o CentOS 7 com bash shell. Eu pensei que a codificação base64 de um arquivo binário seria tão simples quanto

[rails@server lib]$ cat mybinary.file | base64 > /tmp/output.base64

No entanto, quando olho para o tamanho do arquivo, percebo que não é um múltiplo de quatro

[rails@server lib]$ ls -al /tmp/output.base64 
-rw-rw-r-- 1 rails rails 92935 May 31 15:50 /tmp/output.base64

Não sei se o que fiz é válido ou não, mas quando tento decodificar o arquivo com uma biblioteca JS recebo um erro reclamando do fato de que o comprimento da string não é múltiplo de quatro, então estou querendo saber se o que eu fiz acima está correto ou se há alguma outra maneira de fazer isso.

Estou usando o shell bash no Amazon Linux. Eu tenho um comando em um script de shell

wget -O - "http://localhost:8088/subco/books/$e_id/segments/$segment_id?product=$product_id&audience=teacher" > /dev/null

Lendo isso - https://superuser.com/questions/321240/how-do-you-redirect-wget-to-standard-out/321241 , fui levado a acreditar que poderia gerar o resultado de wget (o que ele recupera ) para minha tela e suprima todas as outras saídas. No entanto, em vez disso, o que recebo é

--2018-05-29 18:39:49--  http://localhost:8088/subco/books/C2644BB08F394E209A26175BD2C89F5A/segments/C2F62E7002964DD396E381DB331129A4?product=D399B9C5F6204EDE80A002930CC0D02F&audience=teacher
Resolving localhost (localhost)... 127.0.0.1
Connecting to localhost (localhost)|127.0.0.1|:8088... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: ‘STDOUT’

Como faço para exibir o resultado de wget na tela e suprimir todas as outras informações (por exemplo, a parte "Solicitação HTTP enviada, aguardando resposta... 200 OK")?

Estou usando shell bash no CentOS 7. Desejo executar uma consulta MySQL a partir de um script de shell e iterar em cada linha de resultados. Se houvesse 4 linhas retornadas, pensei que poderia capturar as quatro linhas em uma matriz como esta:

query="select p.id, p.ebook_id, es.id FROM ...";
echo "$query" > /tmp/query.sql
mysql -u user --password=pass db_id < /tmp/query.sql > /tmp/query.csv

linesIN=`cat /tmp/query.csv | sed 's/\t/,/g'`
arraylength=${#linesIN[@]}
echo $arraylength

No entanto, $arraylengthsempre produz 1, embora eu possa ver várias linhas de resultado retornadas. Como posso modificar o acima para criar corretamente uma matriz de resultados onde cada elemento na matriz representa uma linha do conjunto de resultados?

Estou usando o CentOS 7. Estou tentando capturar o "PID mestre" de um processo em uma variável de script. Este é o meu script

#!/bin/sh

set -e

PID="$APP_ROOT/shared/pids/puma.pid"
echo "before ..."
MASTER_PID=`pgrep -f '^([^ ]*/)?puma '`
echo "after ..."
xxx

No entanto, a palavra "depois de ..." nunca é impressa. Há algo sobre esta linha

MASTER_PID=`pgrep -f '^([^ ]*/)?puma '`

o que está fazendo com que as coisas se comportem mal, especialmente se não houver nenhum processo puma em execução. Alguém sabe uma maneira de reescrever o acima para que eu possa capturar meu mestre PID ou pelo menos permitir que a execução passe para a próxima linha se ela não existir?

Estou usando o CentOS 7. Quero obter o PID (se houver) do processo em execução na porta 3000. Gostaria de obter esse PID para salvá-lo em uma variável em um script de shell. Até agora eu tenho

[rails@server proddir]$ sudo ss -lptn 'sport = :3000'
State      Recv-Q Send-Q                           Local Address:Port                                          Peer Address:Port
Cannot open netlink socket: Protocol not supported
LISTEN     0      0                                            *:3000                                                     *:*                   users:(("ruby",pid=4861,fd=7),("ruby",pid=4857,fd=7),("ruby",pid=4855,fd=7),("ruby",pid=4851,fd=7),("ruby",pid=4843,fd=7))

mas não consigo descobrir como isolar o PID sozinho sem todas essas informações extras.

Estou usando o CentOS 7. Estou tentando escrever um script para iniciar e parar um processo puma, mas não consigo descobrir como obter o PID "mestre", se é que esse é o termo certo. No comando abaixo

[rails@server myproject_production]$ ps aux | grep puma
rails    15767  0.0  1.2 437904 13612 ?        Sl   17:20   0:00 puma 3.11.4 (tcp://0.0.0.0:3000,unix:///home/rails/myproject_production/shared/sockets/puma.sock) [myproject_production]
rails    15779  0.6  7.6 1061248 80688 ?       Sl   17:20   0:05 puma: cluster worker 1: 15767 [myproject_production]
rails    15781  0.6  7.7 1061248 80876 ?       Sl   17:20   0:05 puma: cluster worker 2: 15767 [myproject_production]
rails    15785  0.6  7.4 1061964 78488 ?       Sl   17:20   0:05 puma: cluster worker 3: 15767 [myproject_production]
rails    15880  0.7  7.4 1059612 78592 ?       Sl   17:22   0:05 puma: cluster worker 0: 15767 [myproject_production]
rails    17106  0.0  0.1 112612  1064 pts/0    S+   17:33   0:00 grep --color=auto puma

O PID mestre é "15767". Se eu matar isso, todos os outros processos do puma morrerão. Como faço para escrever um comando para obter taht em uma variável de script?

Estou usando o CentOS 7. Como descubro por que um serviço está falhando ao iniciar? Eu criei este serviço

[rails@server ~]$ sudo cat /usr/lib/systemd/system/nodejs.service
[Unit]
Description=nodejs server

[Service]
User=rails
Group=rails
ExecStart=/home/rails/NodeJSserver/start.sh
ExecStop=/home/rails/NodeJSserver/stop.sh

[Install]
WantedBy=multi-user.target

O arquivo aponta para isso

[rails@server ~]$ cat /home/rails/NodeJSserver/start.sh
#!/bin/bash

forever start /home/rails/NodeJSserver/server.js

Eu posso executar este arquivo muito bem por si só. Mas quando tento executá-lo como parte do serviço, percebo que meu servidor nodeJS não foi iniciado. Mesmo quando verifico "sudo systemctl --state=failed", não vejo nenhum erro ...

[rails@server ~]$ sudo systemctl enable NodeJSserver
[rails@server ~]$ sudo systemctl start NodeJSserver
[rails@server ~]$
[rails@server ~]$
[rails@server ~]$ forever list
info:    No forever processes running
[rails@server ~]$
[rails@server ~]$
[rails@server ~]$ sudo systemctl --state=failed
  UNIT                           LOAD   ACTIVE SUB    DESCRIPTION
● nginx.service                  loaded failed failed The nginx HTTP and reverse proxy server
● systemd-sysctl.service         loaded failed failed Apply Kernel Variables
● systemd-vconsole-setup.service loaded failed failed Setup Virtual Console

LOAD   = Reflects whether the unit definition was properly loaded.
ACTIVE = The high-level unit activation state, i.e. generalization of SUB.
SUB    = The low-level unit activation state, values depend on unit type.

3 loaded units listed. Pass --all to see loaded but inactive units, too.
To show all installed unit files use 'systemctl list-unit-files'.

Como descubro por que meu serviço falhou ao iniciar?

Estou usando o CentOS 7. Quero executar um script nodeJS como um serviço, mas executar o serviço como o usuário "rails". Como root, criei o arquivo /usr/lib/systemd/system/myservice.service, com o conteúdo

[Unit]
Description=mydir nodejs server

[Service]
ExecStart=/home/rails/mydir/start.sh
ExecStop=/home/rails/mydir/stop.sh

[Install]
WantedBy=multi-user.target

O que mais preciso fazer para que o serviço seja executado como o usuário que desejo?

Estou usando Amazon Linux. Eu defini permissões globais de leitura em um arquivo, mas não consigo acessá-lo como um usuário normal:

[myuser@mymachine ~]$ ls -al /usr/java/jboss/standalone/deployments/myproject.war/css/reset.css
ls: cannot access /usr/java/jboss/standalone/deployments/myproject.war/css/reset.css: Permission denied
[myuser@mymachine ~]$ sudo ls -al /usr/java/jboss/standalone/deployments/myproject.war/css/reset.css
-rwxrwxr-x 1 jboss jboss 771 Oct 29 18:51 /usr/java/jboss/standalone/deployments/myproject.war/css/reset.css
[myuser@mymachine ~]$ whoami
myuser

Observe que quando executo "sudo" consigo acessá-lo. Eu gostaria de manter o arquivo de propriedade do usuário jboss. Como posso obter o arquivo acessível ao meu (ou ao usuário de qualquer outra pessoa) no modo de leitura?

Estou usando o shell bash. Eu tenho um arquivo CSV no qual os tokens de cada linha são separados por vírgulas. Quero pegar a segunda e a terceira colunas e formar uma nova string a partir delas (uma instrução SQL). Achei que poderia usar o awk para esse fim, então tentei...

localhost:mydir davea$ awk -F ',' -v OFS=',' "REPLACE INTO my_table (ID, NAME, HOURS) VALUES ('$2', '$2', '$3');" types.csv
awk: syntax error at source line 1
 context is
    REPLACE INTO my_table >>>  (ID, <<<
awk: bailing out at source line 1

mas como você pode ver, estou recebendo um erro. Estou deixando algo de fora? Como faço para formar minha nova string de cada linha no arquivo CSV?