主页 / unix / 问题 / 558347
Accepted
ptrcao
Asked: 2019-12-22 01:56:42 +0800 CST

连接同一 csv 文件的列以创建具有新标题的新列

  • 772

我所拥有的是一个 CSV 文件：

+------------+--------------+
| Category I | Sub-Category |
+------------+--------------+
|       1144 |          128 |
|       1144 |          128 |
|       1000 |          100 |
|       1001 |          100 |
|       1002 |          100 |
|       1002 |          100 |
|       1011 |          102 |
|       1011 |          102 |
|       1011 |          102 |
|       1011 |          102 |
|       1011 |          102 |
|       1011 |          102 |
|       1013 |          103 |
|       1013 |          103 |
|       1013 |          103 |
|       1013 |          103 |
|       1013 |          103 |
|       1013 |          103 |
|       1013 |          103 |
+------------+--------------+

我希望将上面的第一列和第二列连接起来形成第三个新列，带有一个新的任意标题，效果如下：

+-------------+--------------+-----------------------+
| Category ID | Sub-Category | Arbitrary New Heading |
+-------------+--------------+-----------------------+
|        1144 |          128 |               1144128 |
|        1144 |          128 |               1144128 |
|        1000 |          100 |               1000100 |
|        1001 |          100 |               1001100 |
|        1002 |          100 |               1002100 |
|        1002 |          100 |               1002100 |
|        1011 |          102 |               1011102 |
|        1011 |          102 |               1011102 |
|        1011 |          102 |               1011102 |
|        1011 |          102 |               1011102 |
|        1011 |          102 |               1011102 |
|        1011 |          102 |               1011102 |
|        1013 |          103 |               1013103 |
|        1013 |          103 |               1013103 |
|        1013 |          103 |               1013103 |
|        1013 |          103 |               1013103 |
|        1013 |          103 |               1013103 |
|        1013 |          103 |               1013103 |
|        1013 |          103 |               1013103 |
+-------------+--------------+-----------------------+

我通常的首选实用程序，csvkit 没有办法实现这一点，afaik - 请参阅https://github.com/wireservice/csvkit/issues/930。

什么是不需要高级编程知识的简单解决方案，可以实现这一点？

我模糊地意识到 awk 和 sed 是潜在的解决方案，但我不想将查询限制在那些以防万一有更好（即更简单）的解决方案的情况下。

该解决方案必须对非常大的文件有效，即包含 120,000+ 行。

编辑：为了方便那些想要破解它的人，我已经包含了示例数据；在这里下载：https ://www.dropbox.com/s/achtyxg7qi1629k/category-subcat-test.csv?dl=0

awk sed

2 个回答

  1. Best Answer

    使用 Miller ( https://github.com/johnkerl/miller ) 和这个示例输入文件

    Category ID,Sub-Category
1001,128
1002,127
1002,126
1004,122

    并运行

    mlr --csv put -S '$fieldName=${Category ID}." ".${Sub-Category}' input.csv >output.csv

    你将会有

    +-------------+--------------+-----------+
| Category ID | Sub-Category | fieldName |
+-------------+--------------+-----------+
| 1001        | 128          | 1001 128  |
| 1002        | 127          | 1002 127  |
| 1002        | 126          | 1002 126  |
| 1004        | 122          | 1004 122  |
+-------------+--------------+-----------+

    你也可以运行 csvsql，它可以通过这种方式运行

    csvsql -I --query 'select *,("Category ID" || " " || "Sub-Category") fieldname from input' input.csv >output.csv
    • 5

  2. 命令

    Tried with below command

awk 'NR>1{print $1,$2,$1$2 }' file| sed '1i Category Sub-Category New Heading'

    输出

    Category Sub-Category New Heading
1144 128 1144128
1144 128 1144128
1000 100 1000100
1001 100 1001100
1002 100 1002100
1002 100 1002100
1011 102 1011102
1011 102 1011102
1011 102 1011102
1011 102 1011102
1011 102 1011102
1011 102 1011102
1013 103 1013103
1013 103 1013103
1013 103 1013103
1013 103 1013103
1013 103 1013103
1013 103 1013103
    • 0

相关问题