我参考了其他一些博客,我无法将问题隔离到这个逻辑。代码如下。抛出附加的错误消息。
-- 1. Import Multiple Delimited Text Files into a SQL Database
-- 1.1 Define the path to the input and define the terminators
USE [Openair_Integration]
DECLARE @Path NVARCHAR(255) = 'C:\\Users\nicolas.gutierrez.su\Downloads\\'
DECLARE @RowTerminator NVARCHAR(5) = CHAR(13) + CHAR(10)
DECLARE @ColumnTerminator NVARCHAR(5) = CHAR(9)
-- 1.2 Define the list of input and output in a temporary table
IF OBJECT_ID('[dbo].[Files_Temporary]', 'U') IS NOT NULL
DROP TABLE [dbo].[Files_Temporary];
CREATE TABLE [dbo].[Files_Temporary]
(
[ID] INT
, [FileName] NVARCHAR(255)
, [TableName] NVARCHAR(255)
);
INSERT INTO [dbo].[Files_Temporary] SELECT 1, 'booking.csv', 'dbo.booking'
-- 1.3 Loop over the list of input and output and import each file to the correct table
DECLARE @Counter INT = 1
WHILE @Counter <= (SELECT COUNT(*) FROM [dbo].[Files_Temporary])
BEGIN
PRINT 'Counter is ''' + CONVERT(NVARCHAR(5), @Counter) + '''.'
DECLARE @FileName NVARCHAR(255)
DECLARE @TableName NVARCHAR(255)
DECLARE @Header NVARCHAR(MAX)
DECLARE @SQL_Header NVARCHAR(MAX)
DECLARE @CreateHeader NVARCHAR(MAX) = ''
DECLARE @SQL_CreateHeader NVARCHAR(MAX)
SELECT @FileName = [FileName], @TableName = [TableName] FROM [dbo].[Files_Temporary] WHERE [ID] = @Counter
IF OBJECT_ID('[dbo].[' + @TableName + ']', 'U') IS NULL
BEGIN
-----------------------------------------------------------------------------------------------------------------------------------------------------------
PRINT 'Creating new table with name ''' + @TableName + '''.'
IF OBJECT_ID('[dbo].[Header_Temporary]', 'U') IS NOT NULL
DROP TABLE [dbo].[Header_Temporary];
CREATE TABLE [dbo].[Header_Temporary]
(
[Header] NVARCHAR(MAX)
);
SET @SQL_Header = '
BULK INSERT [dbo].[Header_Temporary]
FROM ''' + @Path + @FileName + '''
WITH
(
FIRSTROW = 1,
LASTROW = 1,
MAXERRORS = 0,
FIELDTERMINATOR = ''' + @RowTerminator + ''',
ROWTERMINATOR = ''' + @RowTerminator + '''
)'
EXEC(@SQL_Header)
SET @Header = (SELECT TOP 1 [Header] FROM [dbo].[Header_Temporary])
PRINT 'Extracted header ''' + @Header + ''' for table ''' + @TableName + '''.'
----------------------------------------------------------------------------------------------------------------------------------------------------------------
WHILE CHARINDEX(@ColumnTerminator, @Header) > 0
BEGIN
SET @CreateHeader = @CreateHeader + '[' + LTRIM(RTRIM(SUBSTRING(@Header, 1, CHARINDEX(@ColumnTerminator, @Header) - 1))) + '] NVARCHAR(255), '
SET @Header = SUBSTRING(@Header, CHARINDEX(@ColumnTerminator, @Header) + 1, LEN(@Header))
END
SET @CreateHeader = @CreateHeader + '[' + @Header + '] NVARCHAR(255)'
SET @SQL_CreateHeader = 'CREATE TABLE [' + @TableName + '] (' + @CreateHeader + ')'
EXEC(@SQL_CreateHeader)
END
-------------------------------------------------------------------------------------------------------------------------------------------------------------
PRINT 'Inserting data from ''' + @FileName + ''' to ''' + @TableName + '''.'
DECLARE @SQL NVARCHAR(MAX)
SET @SQL = '
BULK INSERT [dbo].[' + @TableName + ']
FROM ''' + @Path + @FileName + '''
WITH
(
FIRSTROW = 2,
MAXERRORS = 0,
FIELDTERMINATOR = ''' + @ColumnTerminator + ''',
ROWTERMINATOR = ''' + @RowTerminator + '''
)'
EXEC(@SQL)
SET @Counter = @Counter + 1
END;
-- 1.4 Cleanup temporary tables
IF OBJECT_ID('[dbo].[Files_Temporary]', 'U') IS NOT NULL
DROP TABLE [dbo].[Files_Temporary];
IF OBJECT_ID('[dbo].[Header_Temporary]', 'U') IS NOT NULL
DROP TABLE [dbo].[Header_Temporary];
这条线
假设列是制表符分隔的(9 = 制表符的 ASCII 码)。稍后,使用此循环拆分标题行:
由于实际的列分隔符是一个逗号,所以这个循环是一个空操作,所以事情落到了下一行:
在这里,您实际上是在尝试定义以整个标题行命名的单个列!由于标题行中的字符总数超过了 T-SQL 标识符的最大长度 (128),因此生成的
CREATE TABLE
语句会引发错误。要解决您拥有的文件的错误,只需修复顶部的 @ColumnTerminator 分配以指定您的实际列分隔符,即逗号:
但是,您的代码还有一些其他小问题,以及房间里的小象:
您声明 using
NVARCHAR
notVARCHAR
始终使用,而是使用非 Unicode 文字,这让我怀疑您是否真的希望支持 Unicode(T-SQL 中的 Unicode 文字是您添加 N 前缀的地方)。吹毛求疵,但传统的 Windows 最大路径长度是 260 而不是 255;不一致的双斜线也有点奇怪。
您创建名为 的永久表
XXXX_Temporary
,然后将其删除。在这种情况下,为什么不创建实际的临时表呢?(CREATE TABLE #TableName
)如果您使用的是较新版本的 SQL Server,则可以将
IF OBJECT_ID('TableName') IS NOT NULL DROP TABLE TableName
语句现代化以DROP TABLE IF EXISTS TableName
类似地,
STRING_SPLIT
现代版本中的函数提供了一种比WHILE
循环更好的简单拆分方式,循环会重复分配少量内存。目前,您正在盲目地对方括号进行硬编码。当您也对名称进行硬编码,并且名称显然不需要转义时,这有点毫无意义(
'[dbo].[Something]'
)。相反,要正确转义未知标识符,您应该改用该QUOTENAME
函数,该函数将正确处理任何嵌入的方括号。在 SQL Server 2017 明确添加适当的“CSV”选项之前,请注意
BULK INSERT
不处理“真实”CSV 文件,而是非常简单地解析数据。因此,如果将 FIELDTERMINATOR 设置为逗号,则以下内容将无法正确导入:"Flat 1, Bishopstoke Views","High Street",Newtown
如果您不能依赖具有设置格式设置的导入文件(或者换一种说法:如果您需要灵活地
BULK INSERT
设置设置),那么坚持纯 T-SQL 方法并不是最好的方法 - 您最好用另一种更适合该任务的语言进行文件和字符串解析。并不是说程序化 T-SQL 不起作用,只是它与命令式脚本的最先进技术相去甚远——你最好用 Python 或其他什么东西编写一些东西,并且只在边缘。事实上,我什至更喜欢使用 VBA 而不是纯 T-SQL 来完成这类工作。