Início / unix / Perguntas / 548892
Accepted
jesse_b
Asked: 2019-10-27 11:52:49 +0800 CST

Como escapar da entrada JSON?

  • 772

Estou tentando criar uma ferramenta para enviar dados para um github gist por meio da API. O problema é que a API do github leva a essência contentcomo uma única linha com todas as sequências de escape escritas literalmente, assim:

{
  "test.txt": {
    "filename": "test.txt",
    "type": "text/plain",
    "language": "Shell",
    "raw_url": "https://gist.githubusercontent.com/jessebutryn/5c8b2a95b4b016e2fa33edee294c732b/raw/474f72ad32c843c18e9a61a228a31df6b85a8da1/test.txt",
    "size": 96,
    "truncated": false,
    "content": "#!/bin/sh\n\n# comment\nfunc () {\n\tfor ((i=1;i<10;i++)); do\n\t\t:\n\tdone\n}\n\nprintf '%s\\n' Foo bar baz\n"
  }
}

Esse conteúdo é exibido da seguinte forma:

#!/bin/sh

# comment
func () {
    for ((i=1;i<10;i++)); do
        :
    done
}

printf '%s\n' Foo bar baz

Que precisa ser convertido em:

#!/bin/sh\n\n# comment\nfunc () {\n\tfor ((i=1;i<10;i++)); do\n\t\t:\n\tdone\n}\n\nprintf '%s\\n' Foo bar baz\n

Existem ferramentas que fazem isso em uma ação? Se não, alguém sabe como isso poderia ser feito sedou com qualquer uma das ferramentas unix padrão?

Nota: Quaisquer sequências de escape literais no texto original precisarão ser escapadas para evitar que o github as interprete (no entanto, isso seria um problema secundário que não precisa necessariamente ser resolvido nesta questão, mas seria bom ter) :

ou seja:

printf '%s\n' Foo bar baz

torna-se:

printf '%s\\n' Foo bar baz
text-processing

3 respostas

  1. Best Answer
    jq -R -s '.' < datafile

    Isso lê tudo datafilecomo uma string e, em seguida, o jq apenas imprime como uma string JSON. Ele fornecerá uma string entre aspas adequada para substituir esse modelo diretamente pelo conteúdo datafiledele. Os dados serão corretamente citados em JSON com apenas os escapes RFC 7159 usados ​​e estarão em uma linha grande porque o JSON não permite que literais de string abranjam várias linhas.

    Você também pode montar todo o documento em jq com um arquivo JSON de modelo e

    jq --arg f "$(cat datafile)" '.["test.txt"].content = $f' < template.json

    Versões muito recentes jqtêm uma --rawfile f datafileopção que você pode usar para carregar um arquivo em uma string ao invés da substituição do comando; você também pode trocar as coisas com -R --slurp --slurpfile t template.json datafilee t["test.txt"].content = ..

    • 9

  2. Eu tive que escapar de algum JSON para inclusão em outro JSON, e há uma solução muito simples:

    $ jq @json <<< '{"Hello": "World"}'
"{\"Hello\":\"World\"}"
    • 6

  3. Se você tiver um documento JSON existente file.jsone quiser apenas inserir o conteúdo no local correto, usando jq,

    jq --rawfile content test.txt '."test.txt".content |= $content' file.json

    Se o conteúdo deve ser codificado em base64:

    base64 test.txt | jq --rawfile content /dev/stdin '."test.txt".content |= $content' file.json

    Construindo o JSON do zero, usando jo(aproximando os metadados da saída de state file):

    #!/bin/sh

gist_url='some url'
filename=test.txt

jo -p "$filename"="$( jo \
        filename="$filename" \
        type="$( file -b --mime-type "$filename" )" \
        language="$( file -b "$filename" )" \
        raw_url="$gist_url" \
        size="$( stat -c %s "$filename" )" \
        truncated=false \
        content=@"$filename" )"

    Ajuste os utilitários state filede acordo com o seu Unix (o acima usa as opções do Linux).

    Resultado:

    {
   "test.txt": {
      "filename": "test.txt",
      "type": "text/x-shellscript",
      "language": "POSIX shell script, ASCII text executable",
      "raw_url": "some url",
      "size": 108,
      "truncated": false,
      "content": "#!/bin/sh\n\n# comment\nfunc () {\n    for ((i=1;i<10;i++)); do\n        :\n    done\n}\n\nprintf '%s\\n' Foo bar baz"
   }
}

    Use %"$filename"no lugar de @"$filename"para obter um valor codificado em base64 para a contentchave:

    {
   "test.txt": {
      "filename": "test.txt",
      "type": "text/x-shellscript",
      "language": "POSIX shell script, ASCII text executable",
      "raw_url": "some url",
      "size": 108,
      "truncated": false,
      "content": "IyEvYmluL3NoCgojIGNvbW1lbnQKZnVuYyAoKSB7CiAgICBmb3IgKChpPTE7aTwxMDtpKyspKTsgZG8KICAgICAgICA6CiAgICBkb25lCn0KCnByaW50ZiAnJXNcbicgRm9vIGJhciBiYXoK"
   }
}
    • 2

relate perguntas