主页 / unix / 问题 / 717254
Accepted
Vidanez
Asked: 2022-09-15 04:12:44 +0800 CST

AWK 从带有跳转行的 CSV 文件中的项目启动操作系统命令

  • 772

我有一个 CSV 文件，如下所示：

keyuat,carsim,logs-keyuat-carsim
lowuat,carsimserver,logs-lowuat-carsimserver
utils,dash,logs-utils-dash
utils,lifecycle,logs-utils-lifecycle
utils,lifecycle-nodejs,logs-utils-lifecycle-nodejs
workshop,cashier,logs-workshop-cashier
workshop,jfrog-dotnet,logs-workshop-jfrog-dotnet
workshop,labelsengine,logs-workshop-labelsengine

基于此 CSV 文件，我正在尝试运行两个必须一起执行的命令：

oc project $1 
oc patch dc $2 -p '{"metadata":{"labels":{"logentries":"$3"}}}'

使用上面的真实示例，命令将是：

oc project keyuat 
oc patch dc carsim -p '{"metadata":{"labels":{"logentries":"logs-keyuat-carsim"}}}'

我一直在尝试使用 awk，但我总是发现特殊字符或 /r 无效字符的问题，我没有看到。如果不是system我使用print，我会看到我的一些字符在行首重叠而不是在最后添加：

 awk -F , '{ cmd="oc project " $1 "\;" "\n" "oc patch dc " $2 " \-p '\''\{\"metadata\"\:\{\"labels\"\:\{\"logentries\"\:\"" $3"\""; print(cmd) }' ./csv/labels.csv
 
"}}}oject keyuat; oc patch dc carsim -p '{"metadata":{"labels":{"logentries":"logs-keyuat-carsim
"}}}oject lowuat; oc patch dc carsimserver -p '{"metadata":{"labels":{"logentries":"logs-keyuat-carsimserver
 "}}}oject utils; oc patch dc dash -p '{"metadata":{"labels":{"logentries":"logs-utils-dash


awk -F , '{ cmd="oc project " $1 "\;" "oc patch dc " $2 " -p '\''\{\"metadata\"\:\{\"labels\"\:\{\"logentries\"\:\"" $3 "\"\}\}\}'\''"; system(cmd) }' ./csv/labels.csv
awk: cmd. line:1: warning: escape sequence `\;' treated as plain `;'
awk: cmd. line:1: warning: escape sequence `\{' treated as plain `{'
awk: cmd. line:1: warning: escape sequence `\:' treated as plain `:'
awk: cmd. line:1: warning: escape sequence `\}' treated as plain `}'
Already on project "keyuat" on server "https://test-ocp.exampleusage.eu:443".
Error from server (BadRequest): invalid character '\r' in string literal
Already on project "lowuat" on server "https://test-ocp.exampleusage.eu:443".
Error from server (BadRequest): invalid character '\r' in string literal
Now using project "utils" on server "https://test-ocp.exampleusage.eu:443".
Error from server (BadRequest): invalid character '\r' in string literal

如何更正此脚本？

awk csv

3 个回答

  1. 我会用

    • 来生成 JSON - 这将是处理任何引用边缘情况的最安全方法，并且
    • 来构造命令——由于bash FAQ #50
    json=$(jq -n -c --arg le "$3" '{metadata: {labels: {logentries: $le}}}')

# no `$` here, I'm building arrays
cmd1=(oc project "$1")
cmd2=(oc patch dc "$2" -p "$json")

# now, execute the commands
"${cmd1[@]}"
"${cmd2[@]}"

    要检查命令的内容：

    $ declare -p cmd1 cmd2
declare -a cmd1=([0]="oc" [1]="project" [2]="keyuat")
declare -a cmd2=([0]="oc" [1]="patch" [2]="dc" [3]="carsin" [4]="-p" [5]="{\"metadata\":{\"labels\":{\"logentries\":\"logs-keyuat-carsim\"}}}")
    • 3
  2. Best Answer

    在 awk 中，您可以使用以下命令轻松打印单引号：\047

    你可以试试（我只是在这里输入，我现在无法测试......我希望它是正确的！）

    # if needed: take out "^M" from the input file
tr -d '\015' <inputfile.csv >inputfile_sanitized.csv

# then parse it with:
awk -F',' '
  { cmd1="oc project " $1 
    cmd2="oc patch dc " $2 " -p \047{\"metadata\":{\"labels\":{\"logentries\":\"" $3 "\"}}}\047"
    ## once sure: you can here do: system(cmd1 " ; " cmd2); 
    print cmd1 " ; " cmd2
  }' inputfile_sanitized.csv
    • 2

  3. 假设输入文件是一个 Unix 文本文件，并且所有涉及的字段都是“不错的”（没有嵌入的逗号、引号或换行符，并且不需要任何特殊的 JSON 编码或 shell 中的额外引号），那么您可以这样做使用简单的 shell 循环：

    while IFS=, read -r project dc logentries; do
        cat <<END_CMDS
oc project $project
oc patch dc $dc -p '{"metadata":{"labels":{"logentries":"$logentries"}}}'
END_CMDS
done <file | sh -s

    这将创建一个命令流：

    oc project keyuat
oc patch dc carsim -p '{"metadata":{"labels":{"logentries":"logs-keyuat-carsim"}}}'
oc project lowuat
oc patch dc carsimserver -p '{"metadata":{"labels":{"logentries":"logs-lowuat-carsimserver"}}}'

    （等等）......它被传递给sh -s执行。

    同样，但现在使用真正知道如何解析 CSV、如何为 shell 引用字符串以及如何创建 JSON 的工具：

    mlr --icsv -N --ojson cat file | 
jq -r '
    @sh "oc project \(."1")",
    @sh "oc patch dc \(."2") \({metadata:{labels:{logentries:."3"}}}|tostring)"' |
sh -s

    在这里，我们使用mlr(Miller) 将输入从 CSV 转换为基本的 JSON 文档。JSON 文档然后由 JSON 处理器解析，该处理器jq创建包含带引号的字符串和格式正确的 JSON 的 shell 代码。输出sh -s像以前一样被发送到执行。

    对于像这样的输入行

    "The ""Project""","A study, in many parts",It'll be fine

    这将生成并执行这两个命令

    oc project 'The "Project"'
oc patch dc 'A study, in many parts' '{"metadata":{"labels":{"logentries":"It'\''ll be fine"}}}'
    • 2

相关问题