导入具有不同可用标题的每日 csv

我会这样做：

1. 存在一些必须将数据放入其中的工作表。它包含可能存在于 CSV 中的所有数据的列，具有正确的名称和数据类型。

2. 创建包含 2 列的名称表：CSV 中使用的列名；根据工作表中的列名。喜欢

CSV_name    | table_name
------------|-----------
ID          | id
user_id     | id
Employee_id | id
name        | first_name
FirstName   | first_name
...         | ...

每列都被定义为唯一的。

3. 创建一个过程：

• 从 CSV 文件加载第一行（文件重命名为某个预定义的名称或作为参数获取），将其解析为单独的名称，然后将它们添加到 CSV_name 中忽略重复错误，然后计算名称表中的名称数量在 table_name 中有 NULL。

• 如果有 CSV_name 行的 table_name 为 NULL，则过程会键入一条消息并中断。操作员查看名称表并用相应的值填充 table_name 列，然后再次调用该过程。

• 如果所有 CSV_name 都具有相应的 table_name，则过程会创建临时表并将整个数据加载到其中。数据加载后，该过程构建 INSERT INTO 查询文本并将数据复制到工作表中。或者，可以在一个步骤中创建/执行正确的导入查询文本。

考虑一个包含两个不同文件的简化场景，每个文件包含不同的数据子集。

abc.csv：

a,b,c
1,a,a
2,b,b
3,c,c
4,d,d

abd.csv：

a,b,d
1,a,1
4,d,4
5,e,5
6,f,6

现在，我们可以使用 PowerShell 将文件、Select列导入已知的、一致的数字和顺序，然后将其导出回带有可预测文件的 csv：

Import-Csv abc.csv | Select a,b,c,d,e,f,g | Export-Csv abc_cleansed.csv -NoTypeInformation
Import-Csv abd.csv | Select a,b,c,d,e,f,g | Export-Csv abd_cleansed.csv -NoTypeInformation

这将生成两个具有通用、可预测文件格式的新文件。

abc_cleansed.csv：

"a","b","c","d","e","f","g"
"1","a","a",,,,
"2","b","b",,,,
"3","c","c",,,,
"4","d","d",,,,

abd_cleansed.csv：

"a","b","c","d","e","f","g"
"1","a",,"1",,,
"4","d",,"4",,,
"5","e",,"5",,,
"6","f",,"6",,,

注意：我在最初的 csv 文件中省略了双引号，PowerShell 也将它们添加到其中。您可以删除它们，但恕我直言，这绝对是数据质量的有益功能。

现在，您可以简单地构建一个数据管道，在其中获取输入文件，进行转换以清理格式，然后选择这些清理后的文件以导入它们。根据您的流程，您可以在单个 SSIS 包中完成所有这些操作，或者构建单独的数据清理/数据导入流程。

晚上好，朋友。您听说过有关 DBATools 的好消息吗？

Import-DbaCsv可能是你的功能。不久前我写了一个补丁，它在某些约束下根据源和目标自动检测和映射列名。它可能正是您所需要的。