主页 / dba / 问题 / 51210
Accepted
Question3CPO
Asked: 2013-10-09 06:57:05 +0800 CST

将多个跟踪文件导入 SQL Server 表

  • 772

我正在导入 200 多个跟踪文件（这些文件很大），我目前的方法是执行循环并插入跟踪数据（参见下面的脚本）。我环顾四周，看看是否有更快的方法来做到这一点，无论是通过 SSIS 还是 C#，它们似乎仍然调用下面的函数，类似于下面的脚本。

任何人有任何其他方法可以用来导入多个跟踪吗？不要误会我的意思，下面的代码有效，但我很好奇是否有更快的东西我没有考虑。

DECLARE @start INT = 1, @stop INT = 223, @sql NVARCHAR(MAX), @path VARCHAR(1000)


WHILE @start <= @stop
BEGIN

       SET @path = 'N:\Traces\TraceFile_' + CAST(@start AS VARCHAR(5)) + '.trc'

       SET @sql = 'INSERT INTO SavedTraces
                   SELECT *
                   FROM ::fn_trace_gettable(''' + @path + ''', default)
                    '

       EXECUTE sp_executesql @sql

       SET @start = @start + 1
       SET @path = ''
       SET @sql = ''

END

数据说明： 490MB (~.5G)，包含 11,700,000+ 行，需要 13:11 分钟才能导入。

sql-server trace

2 个回答

  1. 这将完全取决于瓶颈在哪里。这需要您像任何其他性能问题一样进行测量和处理。

    • 如果瓶颈是INSERT性能，那么您应该确保实现最少的日志记录。The Data Loading Performance Guide当然是必读的。

    • 如果瓶颈是读取痕迹fn_trace_gettable，那么......你有问题。它可能是一个缓慢的源磁盘（确保访问是序列化的并且磁头没有随机化）或者fn_trace_gettable本身可能很慢（不是，是磁盘，但你应该测量......）。请记住，即使读取源 TRC 文件很慢，从不重叠的输入访问路径（即单独的磁盘）并行读取其中的许多文件可能会获得更好的吞吐量。

    • 如果瓶颈是......嗯......我看不出还有什么可能是瓶颈。但是，当然，您应该测量、获取性能计数器、确定时间的去向。

    归根结底，你的问题相当深奥，所以它的要点是你需要衡量和适应你的发现。

    • 3
  2. Best Answer

    根据我在跟踪文件中查找的内容，我通常会使用

    快速、轻松的数据加载：您可以快速轻松地加载 SQL Trace 文件；T-SQL 脚本输出，包括 SQL DMV 查询；和性能监视器登录到 SQL Server 数据库进行分析。这三个工具都使用批量加载 API 来快速插入数据。您还可以为自定义文件类型创建自己的导入器。

    通过报告可视化加载的数据：加载数据后，您可以启动几个不同的图表和报告来分析它。

    跟踪聚合以显示 TOP N 最昂贵的查询（使用 ReadTrace）。

    显然，您也可以使用powershell，但是当您必须有效地加载大量跟踪文件时，我发现上面的那些更有用。

    • 2

相关问题