Bryan Tan's questions

Tenho lido a documentação em https://docs.aws.amazon.com/cli/v1/userguide/cli-usage-filter.html e https://jmespath.org/specification.html , mas não funciona.

Por exemplo, quero usar starts_with para encontrar instâncias de banco de dados cujo DBInstances.DBInstanceIdentifier começa com "foo".

aws rds describe-db-instances --query 'DBInstances.DBInstanceIdentifier[?starts_with(@, "foo")]'
null
---
aws rds describe-db-instances --query 'DBInstances[?starts_with("DBInstanceIdentifier", "foo")]'

In function starts_with(), invalid type for value: None, expected one of: ['string'], received: "null"
---
aws rds describe-db-instances --query 'DBInstances[?starts_with(DBInstanceIdentifier, "foo")]'

In function starts_with(), invalid type for value: None, expected one of: ['string'], received: "null"

Eu também gostaria de usar funções como contains etc. para fazer outras coisas, mas nenhuma delas parece funcionar.

Estou ciente de que posso simplesmente passar a saída por jq e é uma solução fácil, apenas tentando entender mais ferramentas

aws rds describe-db-instances | jq '.DBInstances[] | select(.DBInstanceIdentifier | startswith("foo"))'

Tenho um script bash que pega um arquivo de propriedades simples e substitui os valores em outro arquivo. (O arquivo de propriedades é apenas linhas de propriedades do tipo 'foo=bar')

INPUT=`cat $INPUT_FILE`
while read line; do
   PROP_NAME=`echo $line | cut -f1 -d'='`
   PROP_VALUE=`echo $line | cut -f2- -d'=' | sed 's/\$/\\\$/g`
   time INPUT="$(echo "$INPUT" | sed "s\`${PROP_NAME}\b\`${PROP_VALUE}\`g")"
done <<<$(cat "$PROPERTIES_FILE")
# Do more stuff with INPUT

No entanto, quando minha máquina tem carga alta (mais de quarenta anos), tenho uma grande perda de tempo em meus seds

real  0m0.169s
user  0m0.001s
sys  0m0.006s

Baixa carga:

real  0m0.011s
user  0m0.002s
sys  0m0.004s

Normalmente, perder 0,1 segundo não é um grande problema, mas tanto o arquivo de propriedades quanto os arquivos de entrada têm centenas/milhares de linhas e esses 0,1 segundo somam mais de uma hora de tempo desperdiçado.

O que posso fazer para consertar isso? Preciso apenas de mais CPUs?

Propriedades de exemplo (as linhas começam com um caractere especial para criar uma maneira de indicar que algo na entrada está tentando acessar uma propriedade)

$foo=bar
$hello=world
^hello=goodbye

Entrada de amostra

This is a story about $hello. It starts at a $foo and ends in a park.

Bob said to Sally "^hello, see you soon"

Resultado esperado

This is a story about world. It starts at a bar and ends in a park.

Bob said to Sally "goodbye, see you soon"

Eu criei o seguinte script

import groovy.json.*

pipeline {
    agent { node { label 'mycomputer' } }
    stages {
        stage ( 'Test') {
            steps{
                script {
                    StringJoiner a = new StringJoiner(",");
                    a.add("a").add("b").add("c")
                    env.out = a.toString()
                    echo env.out
                    datas = readYaml file: "/home/cloud-user/test.yaml"
                }
            }
        }
    }
}

Isso resulta nesta saída:

[Pipeline] { [Pipeline] estágio [Pipeline] { (Teste) [Pipeline] script [Pipeline] { [Pipeline] echo a,b,c [Pipeline] readYaml [Pipeline] } [Pipeline] // script [Pipeline] } [Pipeline] // estágio [Pipeline] } [Pipeline] // nó [Pipeline] Fim do Pipeline ocorreu uma exceção: no campo com.cloudbees.groovy.cps.impl.BlockScopeEnv.locals no objeto com.cloudbees.groovy.cps.impl.BlockScopeEnv@7bb36fb8 no campo com.cloudbees.groovy.cps.impl.CallEnv.caller no objeto com.cloudbees.groovy.cps.impl.FunctionCallEnv@636cffca no campo com.cloudbees.groovy.cps.Continuable.e no objeto org.jenkinsci.plugins.workflow.cps.SandboxContinuable@2664c301 no campo org.jenkinsci.plugins.workflow.cps.CpsThread.program no objeto org.jenkinsci.plugins.workflow.cps.CpsThread@1339b8f9 no campo org.jenkinsci.plugins.workflow.cps.CpsThreadGroup.threads no objeto org.jenkinsci.plugins.workflow.cps.CpsThreadGroup@146a9a96 no objeto org.jenkinsci.plugins.workflow.cps.CpsThreadGroup@146a9a96 Também: org.jenkinsci.plugins.workflow.actions.ErrorAction$ErrorId: 16a49acb-27b5-4869-b5ae-bfdb1ca5e058 Causado: java.io.NotSerializableException: java.util.StringJoiner em org.jboss.marshalling.river.RiverMarshaller.doWriteObject(RiverMarshaller.java:278) em org.jboss.marshalling.river.BlockMarshaller.doWriteObject(BlockMarshaller.java:65) em org.jboss.marshalling.river.BlockMarshaller.writeObject(BlockMarshaller.java:56) em org.jboss.marshalling.MarshallerObjectOutputStream.writeObjectOverride(MarshallerObjectOutputStream.java:50) em org.jboss.marshalling.river.RiverObjectOutputStream.writeObjectOverride(RiverObjectOutputStream.java:179) em java.base/java.io.ObjectOutputStream.writeObject(ObjectOutputStream.java:341) em java.base/java.util.HashMap.internalWriteEntries(HashMap.java:1858) em java.base/java.util.HashMap.writeObject(HashMap.java:1412) em org.jboss.marshalling.reflect.JDKSpecific$SerMethods.callWriteObject(JDKSpecific.java:134) em org.jboss.marshalling.reflect.SerializableClass.callWriteObject(SerializableClass.java:231) em org.jboss.marshalling.river.RiverMarshaller.doWriteSerializableObject(RiverMarshaller.java:1128) em org.jboss.marshalling.river.RiverMarshaller.doWriteObject(RiverMarshaller.java:271) em org.jboss.marshalling.river.RiverMarshaller.doWriteFields(RiverMarshaller.java:1182) em org.jboss.marshalling.river.RiverMarshaller.doWriteSerializableObject(RiverMarshaller.java:1140) em org.jboss.marshalling.river.RiverMarshaller.doWriteObject(RiverMarshaller.java:271) em org.jboss.marshalling.river.RiverMarshaller.doWriteFields(RiverMarshaller.java:1182) em org.jboss.marshalling.river.RiverMarshaller.doWriteSerializableObject(RiverMarshaller.java:1140) em org.jboss.marshalling.river.RiverMarshaller.doWriteSerializableObject(RiverMarshaller.java:1119) em org.jboss.marshalling.river.RiverMarshaller.doWriteObject(RiverMarshaller.java:271) em org.jboss.marshalling.river.RiverMarshaller.doWriteFields(RiverMarshaller.java:1182) em org.jboss.marshalling.river.RiverMarshaller.doWriteSerializableObject(RiverMarshaller.java:1140) em org.jboss.marshalling.river.RiverMarshaller.doWriteSerializableObject(RiverMarshaller.java:1119) em org.jboss.marshalling.river.RiverMarshaller.doWriteObject(RiverMarshaller.java:271) em org.jboss.marshalling.river.RiverMarshaller.doWriteFields(RiverMarshaller.java:1182) em org.jboss.marshalling.river.RiverMarshaller.doWriteSerializableObject(RiverMarshaller.java:1140) em org.jboss.marshalling.river.RiverMarshaller.doWriteObject(RiverMarshaller.java:271) em org.jboss.marshalling.river.BlockMarshaller.doWriteObject(BlockMarshaller.java:65) em org.jboss.marshalling.river.BlockMarshaller.writeObject(BlockMarshaller.java:56) em org.jboss.marshalling.MarshallerObjectOutputStream.writeObjectOverride(MarshallerObjectOutputStream.java:50) em org.jboss.marshalling.river.RiverObjectOutputStream.writeObjectOverride(RiverObjectOutputStream.java:179) em java.base/java.io.ObjectOutputStream.writeObject(ObjectOutputStream.java:341) em java.base/java.util.HashMap.internalWriteEntries(HashMap.java:1858) em java.base/java.util.HashMap.writeObject(HashMap.java:1412) em org.jboss.marshalling.reflect.JDKSpecific$SerMethods.callWriteObject(JDKSpecific.java:134) em org.jboss.marshalling.reflect.SerializableClass.callWriteObject(SerializableClass.java:231) em org.jboss.marshalling.river.RiverMarshaller.doWriteSerializableObject(RiverMarshaller.java:1128) em org.jboss.marshalling.river.RiverMarshaller.doWriteObject(RiverMarshaller.java:271) em org.jboss.marshalling.river.RiverMarshaller.doWriteFields(RiverMarshaller.java:1182) em org.jboss.marshalling.river.RiverMarshaller.doWriteSerializableObject(RiverMarshaller.java:1140) em org.jboss.marshalling.river.RiverMarshaller.doWriteObject(RiverMarshaller.java:271) em org.jboss.marshalling.AbstractObjectOutput.writeObject(AbstractObjectOutput.java:58) em org.jboss.marshalling.AbstractMarshaller.writeObject(AbstractMarshaller.java:116) em org.jenkinsci.plugins.workflow.support.pickles.serialization.RiverWriter.lambda$writeObject$1(RiverWriter.java:144) em org.jenkinsci.plugins.scriptsecurity.sandbox.groovy.GroovySandbox.runInSandbox(GroovySandbox.java:331) em org.jenkinsci.plugins.workflow.support.pickles.serialization.RiverWriter.writeObject(RiverWriter.java:143) em org.jenkinsci.plugins.workflow.cps.CpsThreadGroup.saveProgram(CpsThreadGroup.java:580) em org.jenkinsci.plugins.workflow.cps.CpsThreadGroup.saveProgram(CpsThreadGroup.java:557) em org.jenkinsci.plugins.workflow.cps.CpsThreadGroup.saveProgramIfPossible(CpsThreadGroup.java:540) em org.jenkinsci.plugins.workflow.cps.CpsThreadGroup.run(CpsThreadGroup.java:464) em org.jenkinsci.plugins.workflow.cps.CpsThreadGroup$2.call(CpsThreadGroup.java:331) em org.jenkinsci.plugins.workflow.cps.CpsThreadGroup$2.call(CpsThreadGroup.java:295) em org.jenkinsci.plugins.workflow.cps.CpsVmExecutorService$2.call(CpsVmExecutorService.java:97) em java.base/java.util.concurrent.FutureTask.run(FutureTask.java:264) em hudson.remoting.SingleLaneExecutorService$1.run(SingleLaneExecutorService.java:139) em jenkins.util.ContextResettingExecutorService$1.run(ContextResettingExecutorService.java:28) em jenkins.security.ImpersonatingExecutorService$1.run(ImpersonatingExecutorService.java:68) em jenkins.util.ErrorLoggingExecutorService.lambda$wrap$0(ErrorLoggingExecutorService.java:51) em java.base/java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:515) em java.base/java.util.concurrent.FutureTask.run(FutureTask.java:264) em java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1128) em java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:628) em java.base/java.lang.Thread.run(Thread.java:829) Concluído: FALHA

Remover o comando readyaml faz com que o erro desapareça. Isso não faz sentido para mim, por que ele tentaria serializar o StringJoiner na chamada readyaml não relacionada?

Conteúdo Yaml

---
HELLO: "WORLD"