Qual é a ferramenta certa para processar arquivos .xel grandes (logs de eventos estendidos do SQL Server)?

Para arquivos de rastreamento XE grandes, uso ferramentas personalizadas com QueryableXEventData . Descobri que isso é muito mais rápido do que a análise XML no T-SQL.

Abaixo está um PowerShell básico que importa campos e ações selecionados de um rpc_completedrastreamento de evento para uma tabela em lotes de 10 mil. Você precisará incluir um Add-Typecomando para os assemblies Microsoft.SqlServer.XE.Core.dlle Microsoft.SqlServer.XEvent.Linq.dll, que estará na pasta de instalação do SQL Server com o local exato variando dependendo da versão do SQL e do local de instalação escolhido.

$SharedPath = "C:\Program Files\Microsoft SQL Server\140\Shared";
$SqlInstanceName = "";

$xeCore = [System.IO.Path]::Combine($SharedPath, "Microsoft.SqlServer.XE.Core.dll");
$xeLinq = [System.IO.Path]::Combine($SharedPath, "Microsoft.SqlServer.XEvent.Linq.dll");
Add-Type -Path $xeLinq;

if( [System.IO.File]::Exists($xeCore) )
{
    Add-Type -Path $xeCore;
}

Observe que há coleções separadas de Campos e Ações na PublishedEventclasse, portanto, você precisará extrair valores da conexão apropriada.

# create target table
$connectionString = "Data Source=.;Initial Catalog=tempdb;Integrated Security=SSPI"
$connection = New-Object System.Data.SqlClient.SqlConnection($connectionString)
$command = New-Object System.Data.SqlClient.SqlCommand(@"
CREATE TABLE dbo.rpc_completed(
      event_name sysname
    , timestamp datetimeoffset
    , statement nvarchar(MAX)
    , username nvarchar(256)
);
"@, $connection)
$connection.Open()
[void]$command.ExecuteNonQuery()
$connection.Close()

# data table for SqlBulkCopy
$dt = New-Object System.Data.DataTable
[void]$dt.Columns.Add("event_name", [System.Type]::GetType("System.String"))
$dt.Columns["event_name"].MaxLength = 256
[void]$dt.Columns.Add("timestamp", [System.Type]::GetType("System.DateTimeOffset"))
[void]$dt.Columns.Add("statement", [System.Type]::GetType("System.String"))
[void]$dt.Columns.Add("username", [System.Type]::GetType("System.String"))
$dt.Columns["username"].MaxLength = 128
$dt.Columns["statement"].MaxLength = -1

$events = new-object Microsoft.SqlServer.XEvent.Linq.QueryableXEventData("D:\TraceFiles\Log\rpc_completed*.xel")

# import XE events from file(s)
$bcp = New-Object System.Data.SqlClient.SqlBulkCopy($connectionString)
$bcp.DestinationTableName = "dbo.rpc_completed"
$eventCount = 0
foreach($event in $events) {
    $eventCount += 1
    $row = $dt.NewRow()
    $dt.Rows.Add($row)
    $row["event_name"] = $event.Name
    $row["timestamp"] = $event.Timestamp
    $row["statement"] = $event.Fields["statement"].Value
    # username is a collected action
    $row["username"] = $event.Actions["username"].Value
    if($eventCount % 10000 -eq 0) {
        $bcp.WriteToServer($dt)
        $dt.Rows.Clear()
    }
}
$bcp.WriteToServer($dt) # write last batch
Write-Host "$eventCount records imported"

A maneira mais rápida de ler e analisar XEvents atualmente é usando a nova biblioteca XELite da Microsoft. Você pode encontrá-lo aqui: XELite no NuGet.org Se você é um cara do PowerShell, pode usar o módulo SQLServer atualizado que é baseado na biblioteca XELite. Você pode encontrá-lo na galeria: SQLServer .