Sir Swears-a-lot's questions

Acabei de construir 2 novos servidores Win/SQL 2022. Tudo correu bem e consegui me conectar com o SSMS.

Em seguida, alterei os dois serviços do mecanismo SQL para usar uma conta de domínio (minha prática padrão), posso conectar localmente, mas não consigo mais conectar remotamente via SSMS com o seguinte erro.

The target principal name is incorrect.  Cannot generate SSPI context. (Microsoft SQL Server, Error: 0)

Quando o SQL é executado como um serviço local, ele pode registrar um SPN. Mas quando é executado como uma conta de domínio, não pode. (Já repeti isso várias vezes em ambos os servidores). Também tentei executar o serviço usando uma conta de administrador de domínio.

Eu segui as instruções do MS para configuração automática e manual do SPN. E nenhum dos dois resolveu o problema.

Alguém mais caiu nessa? Qualquer conselho ou sugestão seria muito apreciada.

Edit: Eu tentei a ferramenta Kerberos Config Mgr e ela não pode se conectar remotamente ou localmente, ela retorna o erro:

10/01/2023 11:36:10 am Error: Connect to SQLWMI failed \root\Microsoft\SqlServer\ComputerManagement System.Management.ManagementException: Invalid namespace

Eu também tentei executar um reparo SQL.

O log SQL mostra os seguintes avisos após a inicialização:

SQL Server is attempting to register a Service Principal Name (SPN) for the SQL Server service. Kerberos authentication will not be possible until a SPN is registered for the SQL Server service. This is an informational message. No user action is required.

The SQL Server Network Interface library could not register the Service Principal Name (SPN) [ MSSQLSvc/server.domain ] for the SQL Server service. Windows return code: 0xffffffff, state: 53. Failure to register a SPN might cause integrated authentication to use NTLM instead of Kerberos. This is an informational message. Further action is only required if Kerberos authentication is required by authentication policies and if the SPN has not been manually registered.

Estou tentando consultar um xml como abaixo.

<wfs:FeatureCollection xmlns:gml="http://www.opengis.net/gml" xmlns:wfs="http://www.opengis.net/wfs" xmlns:ogc="http://www.opengis.net/ogc" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
  <gml:featureMember>
    <SiteList>
      <Site>123 ABC Road</Site>
      <Location>
        <gml:Point>
          <gml:pos>-38.987654321 177.12345678</gml:pos>
        </gml:Point>
      </Location>
    </SiteList>
  </gml:featureMember>
</wfs:FeatureCollection>

Aqui está a minha consulta. Preciso do Site & gml:pos (lat/Long)

select 
    xml.xmldata.value('(wfs:FeatureCollection/gml:featureMember/SiteList/Site)[1]', 'varchar(250)') as [SiteName],  
    xml.xmldata.value('(wfs:FeatureCollection/gml:featureMember/SiteList/Location/gml:Point/gml:pos)[1]', 'varchar(250)') as [Location]
    from  #xml t
    cross apply t.yourXML.nodes('//wfs:FeatureCollection/gml:featureMember/SiteList') xml (xmldata)

Estou tendo o erro a seguir:

Msg 2229, Level 16, State 1, Procedure dbo.DW_sp_Extract_Sites, Line 102 [Batch Start Line 2]
XQuery [#xml.yourXML.nodes()]: The name "wfs" does not denote a namespace.

Alguém pode me dizer o que estou fazendo de errado? Qualquer ajuda ou sugestão seria muito apreciada. Eu sempre lutei com a sintaxe xquery.

Eu tenho um gráfico de linhas mostrando os dados do nível da água.

O gráfico tem uma dica de ferramenta que exibe os valores quando você passa o mouse. Veja abaixo.

Meu problema é que o número de casas decimais exibidas para Recorded Flow é diferente. Eu quero que todos eles sejam exibidos com 3 casas decimais.

Todos os três valores são armazenados em um SQL usando um tipo de dados float. Os valores de nível de aviso e corte são um único valor (que pode ser 1, 2 ou 3 casas decimais, mas exibidos com 3 casas decimais), enquanto Fluxo registrado é uma série temporal variável armazenada com 8 a 10 casas decimais, mas apenas exibe como 2 casas decimais. (e eu quero 3.)

Não consigo ver em nenhum lugar que o tipo de dados foi alterado ou que os valores foram arredondados. Eu removi e adicionei novamente a série temporal e mudei a ordem de aparição, mas não faz diferença. Eu até arredondei os dados no SQL para ver se o PowerBi estava farejando os dados para determinar a formatação.

Todos os resultados de pesquisa na web que encontrei falam sobre a falta de controle de formatação, mas não que sejam inconsistentes ou pareçam diferentes.

o que estou perdendo?

Desejo recuperar a cadeia de conexão existente do SSAS para cada cubo ou banco de dados OLAP. Os dados serão utilizados em um relatório de controle/auditoria.

Descobri que o Powershell me permite detalhar o SSAS como um diretório e posso ver o que estou procurando, mas não sei como consultá-lo.

no Powershell, posso detalhar aqui:

PS SQLSERVER:\SQLAS\LAP123\Default\databases\EnvironmentalAnalysisService\Datasources> 

E eu posso ver os detalhes que eu quero:

Name                      Isolation     Max Connections Connection String                       
----                      ---------     --------------- -----------------                       
Environmental Data Mart   ReadCommitted              10 Provider=SQLNCLI11.1;Data               
                                                        Source=LAP123;Integrated                
                                                        Security=SSPI;Initial                   
                                                        Catalog=EnvironmentalDataMart

Neste caso Servidor; LAP123 e banco de dados: EnvironmentalDataMart

Como posso obter os itens que desejo do Powershell como uma consulta?

Acabei de instalar a versão de agosto de 2018 do PowerBI Report Server no mesmo servidor Win 2012 com o SSRS 2016. Posso executá-lo, mas ele entra em conflito com o SSRS com reservas de URL.

Eu os configurei para usar diferentes diretórios e portas virtuais, mas o SSRS continua quebrando.

• SSRS: http://ServerName:80/Reports
• PBIRS: http://ServerName:8080/PBIReports

O que eu perdi?

Edit: Eu tenho o SSRS 2017 e o PBIRS trabalhando ao mesmo tempo no meu laptop. Ambos na porta 80, mas com diferentes diretórios virtuais.

Estou tentando enviar emails com anexos usando uma conta de autenticação SQL à qual concedi credenciais .

O logon usado nas credenciais armazenadas é uma conta de domínio que tem permissões para ler do compartilhamento.

EXEC msdb.dbo.sp_send_dbmail 
    @recipients = '[email protected]', 
    @profile_name = 'Alarms', 
    @subject = 'Test with Attachment', 
    @body = '*** Alarms ***' , 
    @file_attachments = '\\Servername\Share\Images\TestImage.png'

Mas quando uso o login do SQL recebo o seguinte erro:

Msg 22051, Level 16, State 1, Line 26 O contexto de segurança da conexão do cliente não pôde ser representado. Anexar arquivos requer um login de cliente integrado

O que eu perdi? como posso testar se as credenciais foram aplicadas corretamente? Isso só funciona para um compartilhamento local?

Edit: concedi meus privs Sysadmin de login do SQL e agora funciona com um compartilhamento local e com um compartilhamento remoto. Então, quais privs o sysadmin tem que permite que isso funcione?

Estou tentando usar o HammerDb 3.0 para obter uma linha de base para comparar meus servidores.

Eu posso criar o Db, esquema, dados e itens necessários sem problemas. Eu posso executar o teste e ver que ele está rodando.

Quando o script é concluído, ele me dá um número NOPM, mas diz que o TPM é zero. Quando está em execução, o contador de transações também não representa nada.

Este é um problema conhecido ou comum?

Tenho curvas que consistem em pontos X/Y (um array?) armazenados em uma string com o mesmo delimitador. Há 1 curva por linha. Abaixo está um exemplo simples:

0,0,1,1,2,1.9,2.9,2.8,3.6,3.5

Eu quero extrair cada curva em uma #tabela para que eu possa editá-las e, finalmente, colocá-las de volta.

X,Y
0,0
1,1
2,1.9
2.9,2.8
3.6,3.5

Uma curva pode ter de uma dúzia a centenas de valores, e os pontos podem não ser ordenados.

Qual é a maneira mais limpa/simples de fazer isso?

Eu tenho uma tabela com uma coluna XML. Eu preciso inserir vários nós e, em seguida, definir esses nós usando valores de uma subconsulta.

Configurar:

use tempdb

CREATE TABLE [dbo].[Sites](
    [SiteID] [int] IDENTITY(1,1) NOT NULL,
    [SiteInfo] [xml] NULL,
    [InVal] Varchar(50) NULL)

insert into [dbo].[Sites] ([InVal]) select 'ABC' union select 'DEF' union  select 'GHI'

update [dbo].[Sites] SET [SiteInfo] = '<SiteInfo />'

update [dbo].[Sites] SET [SiteInfo].modify('insert <SiteID/> into (/SiteInfo[1])') 

Aqui está minha atualização em sua forma mais simples.

update Sites SET [SiteInfo].modify('replace value of (/SiteInfo/@SiteID)[1] with sql:column("InVal")') 

Eu tentei com nós singleton e não singleton

O resultado final deve preferencialmente não ser um singleton. ou seja, algo como:

<SiteInfo>
  <SiteID>ABC</SiteID>
</SiteInfo>

Recebi a tarefa de melhorar o desempenho da primeira conexão de relatório a cada dia. Semelhante a esta postagem .

Temos um relatório SSRS simples que funciona como uma página de destino. Possui hiperlinks para relatórios subsequentes.

Eu tentei:

• implementando o script de reinicialização do powershell às 6h30.
• configurar o cache de relatório para atualizar em uma programação a cada 10 minutos após a reinicialização
• Adicionando uma assinatura.
• agendar um script powershell para exportar o relatório .

Parece que o problema é que o SSRS de alguma forma trata essas conexões de maneira diferente do que se um usuário real abrir o relatório por meio de um navegador da web. Mesmo que o relatório seja executado, ele não parece ser tratado da mesma maneira como se um usuário o estivesse acessando por meio do portal. E assim... o primeiro usuário experimenta um grande atraso.

Usando os recursos de depuração F12 no internet explorer, consegui reproduzir e capturar o que o navegador está vendo. O SSRS levou apenas 4 segundos para produzir e retornar o relatório, porém no navegador demorou 122 segundos para tentar abrir a URL para a tela sendo renderizada. 2 minutos!!! Não é à toa que os usuários estão reclamando.

Examinando meus arquivos de log do SSRS (Localizado em: C:\Arquivos de Programas\Microsoft SQL Server\MSRS13.MSSQLSERVER\Reporting Services\LogFiles), parece que o domínio do aplicativo SSRS está sendo reiniciado ou recarregado.

O trecho de log abaixo mostra

1. A atualização de cache agendada às 08:00:19 e 08:10:19
2. Seguido pelo meu pedido de relatório por volta das 8:15:01
3. Eu não recebo o relatório até cerca de 8:17:06

Arquivo de log:

library!WindowsService_0!1bdf8!08/24/2017-08:10:19:: i INFO: Call to CleanBatch()
library!WindowsService_0!1bdf8!08/24/2017-08:10:20:: i INFO: Cleaned 0 batch records, 0 policies, 0 sessions, 0 cache entries, 0 snapshots, 0 chunks, 0 running jobs, etc etc 
library!WindowsService_0!1bdf8!08/24/2017-08:10:20:: i INFO: Call to CleanBatch() ends
appdomainmanager!DefaultDomain!adb0!08/24/2017-08:15:01:: i INFO: Registering AppDomain: type='ReportServer'; id='3'; Name='ReportServer_MSSQLSERVER_0-1-131479929006508632'
appdomainmanager!DefaultDomain!adb0!08/24/2017-08:15:01:: i INFO: Creating a new AppDomainLifeCycleManagementEntry for AppDomain id '3'
appdomainmanager!DefaultDomain!adb0!08/24/2017-08:15:01:: i INFO: Appdomain STARTED: id='3'; name='ReportServer_MSSQLSERVER_0-1-131479929006508632'
appdomainmanager!ReportServer_0-1!adb0!08/24/2017-08:15:08:: i INFO: RS authentication mode is 4; effective ASP.NET authentication mode is Windows. vdir=/ReportServer.
appdomainmanager!DefaultDomain!adb0!08/24/2017-08:15:08:: i INFO: Appdomain:3 ReportServer_MSSQLSERVER_0-1-131479929006508632 initialized (#1).
appdomainmanager!DefaultDomain!adb0!08/24/2017-08:15:08:: i INFO: SetInitialized AppDomain id '3': initialized = 1
webserver!ReportServer_0-1!adb0!08/24/2017-08:16:51:: i INFO: Reporting Web Server started
library!ReportServer_0-1!adb0!08/24/2017-08:16:51:: i INFO: SQLDump flags: ReferencedMemory, AllThreads, SendToWatson
library!ReportServer_0-1!adb0!08/24/2017-08:16:51:: i INFO: MiniDump flags: DataSegs, UnloadedModules, ProcessThreadData
library!ReportServer_0-1!adb0!08/24/2017-08:16:51:: i INFO: Dump on: Microsoft.ReportingServices.Diagnostics.Utilities.InternalCatalogExceptionMicrosoft.ReportingServices.
library!ReportServer_0-1!adb0!08/24/2017-08:16:51:: i INFO: Do not dump on: System.Threading.ThreadAbortExceptionSystem.Web.UI.ViewStateExceptionSystem.OutOfMemoryExceptionSystem.
library!ReportServer_0-1!adb0!08/24/2017-08:16:51:: i INFO: Minidump location: C:\Program Files\Microsoft SQL Server\MSRS13.MSSQLSERVER\Reporting Services\Logfiles
runningjobs!ReportServer_0-1!adb0!08/24/2017-08:16:51:: i INFO: Running Requests Scavenger timer enabled: Next Event: 60 seconds.  Cycle: 60 seconds
runningjobs!ReportServer_0-1!adb0!08/24/2017-08:16:51:: i INFO: Running Requests DB timer enabled: Next Event: 60 seconds.  Cycle: 60 seconds
resourceutilities!ReportServer_0-1!adb0!08/24/2017-08:16:51:: i INFO: Reporting Services starting SKU: Developer
ui!ReportServer_0-1!adb0!08/24/2017-08:16:52:: i INFO: Installed SKU: Developer edition
ui!ReportServer_0-1!adb0!08/24/2017-08:16:52:: i INFO: Registering with Software Usage Metrics Product:SQL Server 2016, Role:Microsoft SQL Server Reporting Services,  etc etc
library!ReportServer_0-1!adb0!08/24/2017-08:16:52:: i INFO: Call to GetItemTypeAction(/CIA). User: MYDOMAIN\prm.
library!ReportServer_0-1!adb0!08/24/2017-08:16:53:: i INFO: Catalog SQL Server Edition = Developer
crypto!ReportServer_0-1!adb0!08/24/2017-08:16:54:: i INFO: Initializing crypto as user: NT Service\ReportServer
crypto!ReportServer_0-1!adb0!08/24/2017-08:16:54:: i INFO: Exporting public key
crypto!ReportServer_0-1!adb0!08/24/2017-08:16:54:: i INFO: Importing existing encryption key
library!ReportServer_0-1!adb0!08/24/2017-08:17:02:: i INFO: Entering StreamRequestHandler.ExecuteCommand - Command = StyleSheet
library!ReportServer_0-1!adb0!08/24/2017-08:17:02:: i INFO: Exiting StreamRequestHandler.ExecuteCommand - Command = StyleSheet (success)
library!ReportServer_0-1!adb0!08/24/2017-08:17:06:: i INFO: Call to GetItemTypeAction(/CIA). User: MYDOMAIN\prm.
library!ReportServer_0-1!adb0!08/24/2017-08:17:06:: i INFO: RenderForNewSession('/CIA')
library!ReportServer_0-1!adb0!08/24/2017-08:17:07:: i INFO: Using folder C:\Program Files\Microsoft SQL Server\MSRS13.MSSQLSERVER\Reporting Services\blahblahblah

Como cada uma das várias soluções alternativas que tentei até agora não parece funcionar...
Como posso forçar o SSRS a fazer isso antes que um usuário real tente executar o relatório?

Acabei de depurar um problema que me deixou completamente confuso.

Um processo de transformação ETL em nosso data warehouse de desenvolvimento acabou de falhar depois de trabalhar com sucesso todos os dias por meses. O mesmo trabalho do SSIS chamando o mesmo proc armazenado, com o mesmo esquema de tabela, índices e dados funciona bem na produção.

Esta etapa normalmente levaria menos de 2 min. Hoje, depois de 4 horas, o trabalho não foi concluído, mas também não falhou. Não há erros relatados. Nada no log do SQL e sp_who2não mostra nada bloqueando.

• Aqui está um link para o plano estimado quando a consulta tiver um bom desempenho.
• Aqui está um link para o plano estimado quando a consulta não for concluída.

O trabalho trunca uma tabela de preparo e insere cerca de 600.000 linhas de dados. O processo ETL tem acesso exclusivo à tabela. Quando verifiquei, tudo o que pude ver foi espera CXPACKET.

Eu rastreei a falha para um índice clusterizado exclusivo.

A tabela tem uma chave primária não clusterizada em uma coluna de identidade (veja abaixo)

CREATE TABLE [dbo].[Transform_JobCosting_Transaction](
    [ETL_TransformKey] [int] IDENTITY(1,1) NOT NULL,
    [TransactionId] [varchar](255) NOT NULL,
    [KeyType] [varchar](255) NOT NULL,
    [FinancialYear] [varchar](255) NOT NULL,
    [Job] [varchar](255) NOT NULL,
    [Subjob] [varchar](255) NOT NULL,
    [AnalysisCode] [varchar](255) NULL,
    [etc] [varchar](255) NOT NULL,
    [etc] [varchar](255) NOT NULL,
    [etc] [varchar](255) NOT NULL
     CONSTRAINT [PK_Transform_JobCosting_Transaction] PRIMARY KEY NONCLUSTERED 
(
    [ETL_TransformKey] ASC
)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]
) ON [PRIMARY]

O índice clusterizado do problema é:

CREATE UNIQUE CLUSTERED INDEX [IDX_Unique] ON [dbo].[Transform_JobCosting_Transaction]
(   [FinancialYear] ASC,
    [KeyType] ASC,
    [TransactionId] ASC
)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, SORT_IN_TEMPDB = OFF, IGNORE_DUP_KEY = OFF, DROP_EXISTING = OFF, ONLINE = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]
GO

Há um terceiro índice não agrupado que não afeta a inserção.

Dois de nós estão trabalhando nisso há 4 horas. Eu deixei cair e re-adicionei o Índice 20-30 vezes tentando opções em diferentes combinações.

Resumo: O índice clusterizado bloqueia inserções. Não agrupado funciona bem.

Nós tentamos:

• A reinicialização do servidor não fez diferença.
• Tabelas truncadas e sp são executadas manualmente a partir do SSMS sem diferenças. (Com privs SA)
• Reconstruir o índice não ajudou.
• Se eu descartar o índice clusterizado, a inserção funciona.
• Após inserir acima, posso adicionar o índice clusterizado sem erro.
• Se descartar e adicionar novamente o índice como não agrupado, ele funcionará.
• Eu verifiquei os dados e é único agrupado por esses 3 campos.
• Alterar o índice para que não seja exclusivo não fez diferença.
• Adicionar/remover with tablockdica não ajudou.
• Tentei classificar os dados antes de inserir e não fez diferença.

Em execução: Microsoft SQL Server 2016 (SP1-CU2) (KB4013106) - 13.0.4422.0 (X64) Developer Edition (64 bits) no Windows Server 2012 R2 Standard 6.3

Quaisquer idéias ou sugestões seriam muito apreciadas.

Tenho uma falha intermitente no meu processo SSIS ETL quando tento processar meu cubo OLAP.

Não há mensagens de erro no log do SQL e não há mais nada significativo em execução no momento. A única mensagem de erro que posso encontrar no log de eventos é:

Foi encontrado um erro na camada de transporte.

SSIS e SSAS são SQL estão todos sendo executados localmente no mesmo servidor, então não acredito que seja relacionado à rede.

O mesmo pacote foi implantado e executado com sucesso por semanas. Se nos conectarmos manualmente ao cubo, ele processa sem nenhum problema.

Windows Server 2012 R2 6.3 (Build 9600: ) em VMWare 64 GB de RAM.

Microsoft SQL Server 2016 Enterprise (SP1-CU1) - 13.0.4411.0 SQL Max mem = 48 gb

Minha intuição é que isso é mais um problema do SSIS do que um problema do SSAS.

Mais alguém encontrou isso? Alguém pode recomendar uma solução ou solução alternativa? É possível obter informações adicionais de depuração?

Cada vez que tento visualizar detalhes de índice ausentes no repositório de consultas, recebo o seguinte erro:

DocumentFrame (Editores SQL)

Local do programa: em Microsoft.SqlServer.Management.UI.VSIntegration.Editors.ShowPlan.ShowPlanControl.OnMissingIndexDetails(Object sender, EventArgs a) em System.ComponentModel.Design.MenuCommand.Invoke() em Microsoft.SqlServer.Management.UI.VSIntegration .Editors.ShowPlan.ShowPlanControl.Microsoft.VisualStudio.OLE.Interop.IOleCommandTarget.Exec(Guid& guidGroup, UInt32 nCmdId, UInt32 nCmdExcept, IntPtr vIn, IntPtr vOut)

Alguém está experimentando isso? Isso é algo que posso corrigir ou é um bug?

SSMS versão 13.0.16106.4

É um pouco frustrante, pois não consigo visualizar o final da recomendação de criação de índice.

Estou tentando calcular uma variedade de cálculos estatísticos em uma variedade de dados, como desvio padrão e média.

Os dados vêm de muitas "fontes de dados" diferentes. Estes são mantidos em uma dimensão.

Tentei usar STDDEVPa função conforme mostrado neste exemplo , que opera em uma medida.

Mas os resultados estavam errados. Presumo que esteja errado porque está trabalhando com totais em vez de dados brutos. [Soma de valores] é uma medida agregada padrão que soma os dados na tabela de fatos.

Seguindo o link fornecido por Greg, agora estou usando isso:

CREATE MEMBER CURRENTCUBE.[Measures].[Standard Deviation]
 AS  (([Measures].[Sum of Values]^2 - (([Measures].[Sum of Values]^2)/[Measures].[Count of Values])/[Measures].[Count of Values])^0.5),
FORMAT_STRING = "#,##0.00;-#,##0.00", VISIBLE = 1 ,  ASSOCIATED_MEASURE_GROUP = 'Fact TS Data'; 

O que me dá isso:

O que ainda não está correto.

Usando SQL Se eu calcular STDDEVa temperatura do ar com a seguinte consulta:

  SELECT stdevp([Value])
  FROM [EnvironmentalDataMart].[DDS_HILLTOP].[factTimeSeries]
  where [DETL_DataSourceSurrogateKey] = 78

Eu recebo: 6.13770334742149

Como faço para obter a consulta MDX para calcular uma STDDEVfonte de dados por na minha dimensão?

Também já tentei usar uma Medida com "Sem agregação" mas não retornou nada.

Estou construindo um cubo SSAS OLAP em dados meteorológicos. Alguns desses dados podem ser totalizados (por exemplo, precipitação) e outros não (como a direção do vento).

Eu quero totais, mas apenas em fontes de dados onde faz sentido. (Onde o método de interpolação = 3.)

Eu tentei adicionar SCOPE com isso:

SCOPE ([Measures].[Total]); 
SUM([Data Source].[Interpolation Method].&[3],[Measures].[Total]); 
END SCOPE; 

E receba avisos:

Sintaxe de consulta inválida. Esperava-se uma consulta MDX ou DAX válida

e:

Um ou mais erros foram encontrados no script MDX

O que estou perdendo?

Estou tentando começar com os serviços R no SQL Server 2016. Estava seguindo este exemplo do MS no youtube .

2 minutos e 22 segundos no vídeo, John mostra uma referência à biblioteca (RODBC) ... que eu não tenho. Então eu baixei o driver RODBC do CRAN

De acordo com a documentação:

O RODBC é simples de instalar e as distribuições binárias estão disponíveis para Windows no CRAN

Mas não fornece mais detalhes sobre como instalá-lo. Ele menciona um gerenciador de driver ODBC, mas não muito mais do que isso.

Então... Como eu instalo o RODBC?

Devo descompactá-lo em um caminho específico? É necessário algum utilitário ou ferramenta para instalá-lo? Eu executo um script?

Eu tenho uma instrução de atualização que usa uma subconsulta para filtrar registros. Minha tabela de entrada contém datas em um campo varchar e algumas delas são inválidas.

CREATE TABLE [dbo].[input](
    [id] int,
    [START_DATE] [varchar](30) NULL
) ON [PRIMARY]

INSERT INTO [dbo].[input] ([id], [START_DATE]) VALUES(1, NULL) ;
INSERT INTO [dbo].[input] ([id], [START_DATE]) VALUES(2, '') ;
INSERT INTO [dbo].[input] ([id], [START_DATE]) VALUES(3, '01 JUL 0201') ;
INSERT INTO [dbo].[input] ([id], [START_DATE]) VALUES(4, '01 JUL 2016') ;

Nos dados de amostra, apenas o registro 4 é válido.

Minha consulta:

select a.[id] 
FROM (
    select [id], convert(datetime, [START_DATE],106) as csd
    FROM [dbo].[input]
    where len([START_DATE]) > 0     
    and substring([START_DATE],7,5) > 2010
    and isdate([START_DATE]) = 1
    ) a
    Where a.csd < getdate()

Eu brinquei com várias cláusulas para excluir lixo:

• len > 0 exclui nulos e ''.
• Substring procura um ano sensato.
• isdate verifica novamente se há uma data válida.

Tenho certeza de que existem outras maneiras mais eficientes de fazer isso, mas o ponto é que a subconsulta é executada e retorna registros válidos corretamente. neste caso, id = 4. Que tem uma data válida em 1º de julho de 2016.

A consulta externa deve simplesmente comparar a data convertida com a data de hoje. Mas em vez disso eu recebo:

Msg 242, Level 16, State 3, Line 2
The conversion of a varchar data type to a datetime data type resulted in an out-of-range value.

Por quê? O que estou perdendo?

A consulta interna filtrou e converteu o valor que estou avaliando.

Existe uma maneira melhor de filtrar essa lista para ser usada em uma consulta de atualização?

Acabei de atualizar nosso Data warehouse para o SQL 2016. Estou vendo alguns gráficos realmente interessantes no Query Store (adoro esse recurso!). Abaixo está o exemplo mais estranho que já vi. 22 planos para a mesma consulta.

Isso está me fazendo considerar o ajuste de desempenho do meu processo ETL e os prós e contras das tabelas temporárias e como você pode influenciar o comportamento do plano de execução.

Meu processo ETL usa vários procedimentos armazenados que usam uma mistura de #tabelas padrão e temporárias como tabelas de preparação. As #tabelas são normalmente usadas uma vez e depois descartadas. Alguns são apenas alguns milhares de linhas. Alguns são milhões. O SSMS informa que há índices ausentes, mas em tabelas menores eles fariam diferença suficiente para valer o esforço de adicioná-los? Estatísticas melhores são suficientes?

Acabei de ler esta postagem no blog de Brent Ozar sobre estatísticas em tabelas temporárias e o artigo de Paul White sobre tabelas temporárias em procedimentos armazenados

Ele diz que as estatísticas são criadas automaticamente, quando a #table é consultada e, presumivelmente, usada pelo otimizador.

Minhas perguntas são: há muito sentido ou benefício em criar um índice em uma #table. E/ou: vale a pena atualizar explicitamente as estatísticas como uma etapa no procedimento armazenado antes de usá-lo em consultas, uma vez que são usadas apenas uma vez.

As etapas adicionais e despesas gerais valem a pena? Isso resultaria em planos de execução significativamente melhores ou diferentes?

No momento, estou atualizando nosso data warehouse do SQL 2012 para o SQL 2016. Tenho meus DWs antigos e novos funcionando lado a lado em paralelo.

Meu processo ETL (uma estrutura desenvolvida no SSIS por terceiros) foi executado com êxito por mais de 2 anos em 2012, mas está falhando em 2016. Até agora, os bancos de dados e o processo ETL são idênticos.

Ambos os servidores são máquinas virtuais em execução no VMWare. O servidor antigo é Win 2008 com 24 Gb de RAM. SQL 2012 Padrão Memória máxima definida para 16 Gb. O novo servidor é Win 2012 com 64 Gb de RAM. Desenvolvedor SQL 2016. Memória máxima definida para 50 Gb. O novo DW está executando a v13.0.1601.5 RTM Developer Edition (64 bits).

Ao executar meu processo ETL, as etapas de carregamento que usam uma mesclagem SQL em uma dimensão ou tabela de fatos falham com o seguinte erro.

Texto completo:

DESCRIÇÃO: SQL Server Assertion: File: , line=951 Failed Assertion = 'IS_OFF (BUF_MINLOGGED, m_buf->bstat) || pageModifyType != PageModifyType_Contents || GetPagePtr ()->IsTextPage ()'. Esse erro pode estar relacionado ao tempo. Se o erro persistir após executar novamente a instrução, use DBCC CHECKDB para verificar a integridade estrutural do banco de dados ou reinicie o servidor para garantir que as estruturas de dados na memória não sejam corrompidas.

Conforme recomendado, executei o DBCC e nenhum erro foi encontrado. Eu também reiniciei o SQL. Em seguida, reiniciei o processo ETL e recebi o mesmo erro.

Minhas pesquisas por esse erro mostram que era um erro conhecido no SQL 2008, 2012 e 2014 e corrigido em hotfixes e atualizações cumulativas subsequentes. então estou um pouco surpreso ao vê-lo reaparecer em 2016.

Os links que encontrei dizem que afeta o SSIS ao tentar fazer inserções se o banco de dados estiver no modelo de recuperação Simples ou Bulk Logged. (Estou executando no modelo de recuperação simples)

Uma solução alternativa sugerida é alterar o modelo de recuperação de banco de dados para COMPLETO. Eu tentei isso e funciona, mas não é uma solução para um Data Warehouse.

Alguém mais encontrou isso com 2016?

Alguém pode sugerir soluções alternativas?

Atualizações:

26/07/2016: Apliquei a atualização crítica KB3164398 (v13.0.1708.0) e o problema persiste.

27/07/2016: Apliquei a atualização cumulativa CU1 KB3164674 (v13.0.2149.0).

08/03/2016: Ocorreu um erro durante a noite em nosso menor cubo. CU1 não corrigiu o problema. Hoje relatei o bug no MS Connect e também registrei uma chamada de suporte com a Microsoft.

08/12/2016: MS-Support respondeu inicialmente, mas as respostas foram "Não temos uma solução para isso". O cara do suporte iria discutir isso com seus colegas e me retornaria. 8 dias depois, não tive notícias dele.

Embora eu não tenha uma 'correção', encontramos uma solução alternativa que nos convinha. Veja minha resposta postada.

29/9/2016. Eu apliquei CU2 na semana passada. Na quinta-feira, executamos acidentalmente uma versão antiga da mesclagem, que falhou novamente com o mesmo erro. Então... CU2 também não consertou.

23/01/2017 : Apliquei o 2016 SP1 CU1 e acredito que isso resolveu o problema. Especificamente KB3205964

Recentemente, convertemos nosso sistema ERP de IBM Universe para SQL Server. O desempenho do aplicativo é geralmente tolerável, mas ocasionalmente degrada para terrível.

Estamos executando o banco de dados no Win Server 2012 em VMWare com 32 Gb de RAM e SQL Server 2012. SQL Max Memory é definido em 27 Gb. O servidor db está hospedando apenas este banco de dados e não está executando nenhuma outra função. O tamanho total do banco de dados é de aproximadamente 110 Gb. O aplicativo possui seu próprio servidor dedicado.

O fornecedor usou extensivamente CLRs para portar o código (mais de 36.000 funções escalares). Entendo que os CLRs individuais são executados corretamente em um contexto de OLTP de aplicativo, mas não aumentam bem ao tentar executar trabalhos em massa devido a operações linha por linha, em vez de definir operações baseadas. bem ... legal ... seguindo em frente.

Eu executei os scripts de Brent Ozar que identificaram alta memória livre como algo a ser observado, bem como um grande número de planos de execução para cada consulta. O fornecedor sugeriu adicionar mais RAM ao servidor, mas isso me incomoda, pois parece que o aplicativo não está usando o que tem agora.

O que me interessa é o desempenho e o comportamento geral do SQL. Vejo uma série de sintomas que sugerem que algo não está certo, mas não consigo identificar. É como se o servidor se recusasse a rodar . Está determinado a caminhar .

Grosso modo, parece-me que cerca de 10 Gb da memória está sendo usado pelo banco de dados para cache, cerca de 11 gb é gratuito, cerca de 3,5 Gb para cache de plano e não consigo explicar o resto. E estou um pouco inseguro sobre algumas das definições, como grátis x reservado x roubado, etc. Eles contam duas vezes?

O monitor de atividade mostra isso:

Quando executo esta consulta:

-- what's happening inside my buffer pool?
SELECT counter_name, instance_name, mb = cntr_value/1024.0
  FROM sys.dm_os_performance_counters 
  WHERE (counter_name = N'Cursor memory usage' and instance_name <> N'_Total')
  OR (instance_name = N'' AND counter_name IN 
       (N'Connection Memory (KB)', N'Granted Workspace Memory (KB)', 
        N'Lock Memory (KB)', N'Optimizer Memory (KB)', N'Stolen Server Memory (KB)', 
        N'Log Pool Memory (KB)', N'Free Memory (KB)')
  ) ORDER BY mb DESC;

Eu recebo:

+--------------------------------+---------------------+----------+
|          Counter_name          |    instance_name    |    mb    |
+--------------------------------+---------------------+----------+
| Free Memory (KB)               |                     |  11,732  |
| Stolen Server Memory (KB)      |                     |   5,426  |
| Lock Memory (KB)               |                     |      59  |
| Log Pool Memory (KB)           |                     |       4  |
| Optimizer Memory (KB)          |                     |       2  |
| Connection Memory (KB)         |                     |       2  |
| Cursor memory usage            | TSQL Global Cursor  |       1  |
| Cursor memory usage            | TSQL Local Cursor   |       0  |
| Cursor memory usage            | API Cursor          |     -    |
| Granted Workspace Memory (KB)  |                     |     -    |
+--------------------------------+---------------------+----------+

Quando executo esta consulta:

-- which db's are using memory and how much. 
SELECT
    (CASE WHEN ([database_id] = 32767)
        THEN N'Resource Database'
        ELSE DB_NAME ([database_id]) END) AS [DatabaseName],
    COUNT (*) * 8 / 1024 AS [MBUsed],
    SUM (CAST ([free_space_in_bytes] AS BIGINT)) / (1024 * 1024) AS [MBEmpty]
FROM sys.dm_os_buffer_descriptors
GROUP BY [database_id];

Eu recebo:

+-------------------+----------+---------+
|   DatabaseName    |  MBUsed  | MBEmpty |
+-------------------+----------+---------+
| ERP               |  10,764  |    626  |
| master            |       2  |    -    |
| model             |     -    |    -    |
| msdb              |      11  |      3  |
| Resource Database |      16  |      5  |
| tempdb            |      41  |     13  |
+-------------------+----------+---------+

Quando executo esta consulta:

SELECT TOP (12) Type, Name, pages_kb,
       Virtual_Memory_reserved_kb, Virtual_Memory_committed_kb
FROM   sys.dm_os_memory_clerks
ORDER BY pages_kb DESC;

Eu recebo:

+---------------------------+-----------------------+----------+----------------------------+-----------------------------+
|           Type            |         Name          | pages_kb | Virtual_Memory_reserved_kb | Virtual_Memory_committed_kb |
+---------------------------+-----------------------+----------+----------------------------+-----------------------------+
| MEMORYCLERK_SQLBUFFERPOOL | Default               | 11224968 |                   12999744 |                      640296 |
| CACHESTORE_SQLCP          | SQL Plans             |  3519552 |                          0 |                           0 |
| CACHESTORE_CLRPROC        | ClrProcCache          |   110232 |                          0 |                           0 |
| CACHESTORE_OBJCP          | Object Plans          |   100776 |                          0 |                           0 |
| USERSTORE_DBMETADATA      | ERP_Live              |    93856 |                          0 |                           0 |
| USERSTORE_SCHEMAMGR       | SchemaMgr Store       |    87544 |                          0 |                           0 |
| CACHESTORE_PHDR           | Bound Trees           |    73464 |                          0 |                           0 |
| MEMORYCLERK_SOSNODE       | SOS_Node              |    62456 |                          0 |                           0 |
| OBJECTSTORE_LOCK_MANAGER  | Lock Manager : Node 0 |    60792 |                     131072 |                      131072 |
| MEMORYCLERK_SQLCLR        | Default               |    40992 |                    6327292 |                      429408 |
| MEMORYCLERK_SQLSTORENG    | Default               |    28472 |                       9472 |                        9472 |
| MEMORYCLERK_SQLQUERYEXEC  | Default               |    20904 |                          0 |                           0 |
+---------------------------+-----------------------+----------+----------------------------+-----------------------------+

1. Parece que tenho 11 Gb de "memória livre". Isso é genuinamente gratuito para ser usado? Por que o SQL não está fazendo uso dele?

2. Parece-me que meu sistema ERP está usando apenas cerca de 10 Gb ou cerca de 1/3 da memória disponível. (o que parece errado .) Como posso encorajar meu aplicativo a usar a memória de forma mais eficaz

3. MEMORYCLERK_SQLCLR reservou 6,03 Gb de memória. Esse comportamento é normal para CLRs? Quando eles reservam memória? Quando são compilados/ registrados/ executados? Eles nunca lançam isso? Isso está dentro da 'memória livre'? (respondido por Srutzky)

4. Re: Alto número de planos de execução irá ajudar a limpar o cache ?

5. Há algum recurso que eu possa usar para influenciar o comportamento acima? Ou devo apenas aceitar que é assim que o aplicativo funciona.

6. Como faço para contabilizar o que realmente está segurando ou usando memória no meu servidor.

Consultas solicitadas por outros

Esses:

SELECT type,
       SUM(pages_kb)/1024 AS [Memory utilized in MB],
       SUM(awe_allocated_kb)/1024 AS [Memory allocated though Windows API]
FROM   sys.dm_os_memory_clerks
GROUP BY type
ORDER BY [Memory utilized in MB] DESC;

SELECT * FROM sys.dm_os_process_memory;

Retornar:

+----------------------------------+-----------------------+-------------------------------------+
|               type               | Memory utilized in MB | Memory allocated though Windows API |
+----------------------------------+-----------------------+-------------------------------------+
| MEMORYCLERK_SQLBUFFERPOOL        |                  4417 |                                   0 |
| CACHESTORE_SQLCP                 |                  3437 |                                   0 |
| CACHESTORE_CLRPROC               |                   120 |                                   0 |
| USERSTORE_DBMETADATA             |                   100 |                                   0 |
| CACHESTORE_OBJCP                 |                    99 |                                   0 |
| USERSTORE_SCHEMAMGR              |                    76 |                                   0 |
| CACHESTORE_PHDR                  |                    72 |                                   0 |
| MEMORYCLERK_SOSNODE              |                    64 |                                   0 |
| OBJECTSTORE_LOCK_MANAGER         |                    59 |                                   0 |
| MEMORYCLERK_SQLCLR               |                    38 |                                   0 |
| MEMORYCLERK_SQLSTORENG           |                    26 |                                   0 |
| MEMORYCLERK_SQLQUERYEXEC         |                    14 |                                   0 |
| MEMORYCLERK_SQLGENERAL           |                    10 |                                   0 |
| OBJECTSTORE_SNI_PACKET           |                     9 |                                   0 |
| CACHESTORE_SYSTEMROWSET          |                     8 |                                   0 |
| USERSTORE_TOKENPERM              |                     7 |                                   0 |
| MEMORYCLERK_XE                   |                     6 |                                   0 |
| MEMORYCLERK_SQLLOGPOOL           |                     4 |                                   0 |
| CACHESTORE_SEHOBTCOLUMNATTRIBUTE |                     3 |                                   0 |
| MEMORYCLERK_SQLOPTIMIZER         |                     2 |                                   0 |
| MEMORYCLERK_SQLQERESERVATIONS    |                     2 |                                   0 |
| MEMORYCLERK_SQLCONNECTIONPOOL    |                     1 |                                   0 |
| OBJECTSTORE_LBSS                 |                     1 |                                   0 |
| CACHESTORE_STACKFRAMES           |                     0 |                                   0 |
| MEMORYCLERK_SQLHTTP              |                     0 |                                   0 |
+----------------------------------+-----------------------+-------------------------------------+

+---------------------------+---------------------------+----------------------------+--------------------------------+-----------------------------------+------------------------------------+------------------------------------+------------------+-------------------------------+---------------------------+-----------------------------+----------------------------+
| physical_memory_in_use_kb | large_page_allocations_kb | locked_page_allocations_kb | total_virtual_address_space_kb | virtual_address_space_reserved_kb | virtual_address_space_committed_kb | virtual_address_space_available_kb | page_fault_count | memory_utilization_percentage | available_commit_limit_kb | process_physical_memory_low | process_virtual_memory_low |
+---------------------------+---------------------------+----------------------------+--------------------------------+-----------------------------------+------------------------------------+------------------------------------+------------------+-------------------------------+---------------------------+-----------------------------+----------------------------+
|                  28571952 |                         0 |                          0 |                   137438953344 |                          77358808 |                           28786620 |                       137361594536 |       1014012259 |                            99 |                   3734268 |                           0 |                          0 |
+---------------------------+---------------------------+----------------------------+--------------------------------+-----------------------------------+------------------------------------+------------------------------------+------------------+-------------------------------+---------------------------+-----------------------------+----------------------------+

Este:

SELECT COUNT(*) AS [NumCachedObjects],
       CONVERT(BIGINT, SUM(CONVERT(BIGINT, size_in_bytes)) / 1024.0) AS [CachedKBytes],
       ISNULL(cacheobjtype, '<-- Totally Total') AS [CacheObjType],
       ISNULL(objtype, '<-- TOTAL') AS [bytes]
FROM   sys.dm_exec_cached_plans
GROUP BY cacheobjtype, objtype WITH ROLLUP;

Retorna:

+------------------+--------------+-------------------+-----------+
| NumCachedObjects | CachedKBytes |   CacheObjType    |   bytes   |
+------------------+--------------+-------------------+-----------+
|             3882 |        62112 | CLR Compiled Func | Proc      |
|             3882 |        62112 | CLR Compiled Func | <-- TOTAL |
|                3 |           24 | CLR Compiled Proc | Proc      |
|                3 |           24 | CLR Compiled Proc | <-- TOTAL |
|               50 |         4168 | Compiled Plan     | Adhoc     |
|            26911 |      3416232 | Compiled Plan     | Prepared  |
|              101 |        99584 | Compiled Plan     | Proc      |
|                5 |         1656 | Compiled Plan     | Trigger   |
|            27067 |      3521640 | Compiled Plan     | <-- TOTAL |
|               17 |          136 | Extended Proc     | Proc      |
|               17 |          136 | Extended Proc     | <-- TOTAL |
|               16 |          536 | Parse Tree        | Check     |
|                3 |           24 | Parse Tree        | Default   |
|              313 |        20632 | Parse Tree        | UsrTab    |
|              535 |        52520 | Parse Tree        | View      |
|              867 |        73712 | Parse Tree        | <-- TOTAL |
|            31836 |      3657624 | <-- Totally Total | <-- TOTAL |
+------------------+--------------+-------------------+-----------+

Este:

SELECT * FROM sys.dm_clr_appdomains;

Retorna:

+--------------------+--------------+------------------------------------------+-------------------------+-------+---------+--------------------+-----------------+---------------+-----------+----------+---------------------+-------------------------+---------------------------+--------------------+ 
| appdomain_address  | appdomain_id | appdomain_name                           | creation_time           | db_id | user_id | state              | strong_refcount | weak_refcount | cost      | value    | compatibility_level | total_processor_time_ms | total_allocated_memory_kb | survived_memory_kb | 
+--------------------+--------------+------------------------------------------+-------------------------+-------+---------+--------------------+-----------------+---------------+-----------+----------+---------------------+-------------------------+---------------------------+--------------------+ 
| 0x00000003DECEC200 | 16           | ERP       .CLRExtensionUser[runtime].111 | 2016-07-13 10:51:23.370 | 5     | 5       | E_APPDOMAIN_SHARED | 1               | 3236          | 130810392 | 11534336 | 110                 | 15                      | 112020591                 |                206 | 
+--------------------+--------------+------------------------------------------+-------------------------+-------+---------+--------------------+-----------------+---------------+-----------+----------+---------------------+-------------------------+---------------------------+--------------------+