主页 / dba / 问题 / 253302
Accepted
Revolucion for Monica
Asked: 2019-11-15 06:52:07 +0800 CST

如何为表创建脚本自动检测 csv 文件的列类型？

  • 772

我是 pgAdmin 和 Azure 数据库的新手。我有一个包含大约 220 列的巨大 csv 文件，我想在 pgAdmin4 中创建一个表以将其推送到 Azure。

但是我不知道如何自动检测列的类型。

这是一个例子：

IDI GKID    S01Q01  S02Q01_Gender ...
100093  enq030059569748fc89091fdd91cc337cac44eca90  Yes, I agree    Female ...

我正在编写脚本来创建表格。但是，考虑到列的数量，我想自动化它以获取允许我将 csv 添加到 Microsoft Azure 的 pgAdmin4 中的数据库的脚本。

然后，在转置 csv 标头后，我得到：

    IDI
    GKID
    S01Q01
    S02Q01_Gender
    ...

我正在编写脚本来创建表格。但是，考虑到列的数量，在最好的情况下，我希望自动检测列的类型以便能够将其写入正确的部分，在最坏的情况下，放置 TEXT 类型的泛型类型。

到目前为止，我已经尝试过

output = ""
file_name = "columns.txt"
string_to_add = " TINYTEXT,"

with open(file_name, 'r') as f:
    file_lines = [''.join([x.strip(), string_to_add, '\n']) for x in f.readlines()]

with open(file_name, 'w') as f:
    f.writelines(file_lines)

它给了我：

IDI TINYTEXT,
GKID TINYTEXT,
S01Q01 TINYTEXT,
S02Q01_Gender TINYTEXT,
...

然后，我可以这样做：

CREATE TABLE my_table (
IDI TINYTEXT,
GKID TINYTEXT,
S01Q01 TINYTEXT,
S02Q01_Gender TINYTEXT,
...

但我不确定这是否足以使表格能够接收我的 csv 文件。

table csv

2 个回答

  1. Best Answer

    有一些命令行工具可以进行字段类型推断。

    一个是 xsv https://github.com/BurntSushi/xsv/

    在此运行此命令（https://gist.githubusercontent.com/aborruso/3b1af402f0d2ed49465f218d19be81d9/raw/c0e95b320924e9e49902633d16e7ab253046ca16/input.csv）

    xsv stats input.csv --everything | xsv table

    你有

    field       type     sum                 min       max         min_length  max_length  mean                stddev              median              mode  cardinality
id          Integer  5050                1         100         1           3           50.5                28.86607004772212   50.5                N/A   100
first_name  Unicode                      Annabal   Willabella  3           11                                                                      N/A   98
last_name   Unicode                      Albinson  Zaniolini   3           13                                                                      N/A   100
f           Float    2063.2419999999984  0.2656    51.1245     4           7           20.632419999999996  12.603955889545158  17.930799999999998  N/A   100

    使用 csvkit ( https://csvkit.readthedocs.io/en/latest/index.html ) 并运行

    csvstat --csv input.csv

    你将会有

    column_id column_name type   nulls unique min   max    sum       mean   median stdev  len freq
1         id          Number False 100    1     100    5,050     50.5   50.5   29.011 -   1, 2, 3, 4, 5
2         first_name  Text   False 98     -     -      -         -      -      -      11  Caren, Weylin, Heall, Flori, Lydia
3         last_name   Text   False 100    -     -      -         -      -      -      13  Saxby, Joderli, Kleinzweig, Coyle, Kleinplac
4         f           Number False 100    0.266 51.124 2,063.242 20.632 17.931 12.667 -   5.356, 12.596, 32.1245, 5.32, 0.2656

    在 csvkit 你也有

    csvsql -i postgresql input.csv

    这给了你

    CREATE TABLE input (
        id DECIMAL NOT NULL,
        first_name VARCHAR NOT NULL,
        last_name VARCHAR NOT NULL,
        f DECIMAL NOT NULL
);
    • 2

  2. csv 来自哪里？- 我猜是其他数据库 - 你不能使用用于其他数据库的创建表语句吗？

    除此之外，虽然第二个数据集会有所帮助 -

    • IDI 显然是一个整数
    • S02Q01_Gender .. 取决于您的场景，很可能是枚举类型

    其他列看起来像字符串数据，所以 tinytext 似乎没有错...

    我知道 x 表中的大约 220 列需要手动完成很多工作 - 但我真的建议投入时间并设置适当的数据类型（尤其是日期时间列 - 以及最有可能用于外键关系的列（整数对于影响连接请求速度的大小）

    • 0

相关问题