minha lista é algo assim

Quero classificar por coluna [Valor] para que fiquem no final

O resultado deve ser o seguinte

eu tento

SELECT * FROM TABLE ORDER BY [Value] ASC , [Date] DESC

O plano de energia de alto desempenho no Windows Server ainda é relevante nas configurações do SQL Server em hardware/virtualização moderna? A pesquisa de artigos de minhas fontes confiáveis ​​habituais não trouxe nada mais recente do que 4 anos atrás. Como regra geral, uso o High Performance Power Plan em configurações do SQL Server desde meus primeiros dias como DBA e, enquanto estou fazendo inventário em uma loja na qual sou novo, encontrei vários servidores de produção ainda executando o plano de energia balanceado padrão.

Problema

Ao trabalhar com dados SCD tipo 2, é fácil ver o estado de uma tabela "a partir de" um determinado momento usando suas colunas de data, por exemplo: valid_frome valid_to. Por exemplo:

select * from table
where '2023-11-01' between valid_from and valid_to

Você pode então agrupar ou usar funções de janela para agregar.

Mas e se eu quiser fazer isso repetidamente, para cada data de um intervalo (por exemplo: diariamente)? Não preciso agregar essas datas, apenas dentro de cada uma.

Exemplo

Digamos que eu tenha uma tabela que rastreia o quantitynúmero de pessoas de cada um reservation_id. Tanto a quantitypersonalidade das pessoas quanto a reservation_statuspodem mudar com o tempo, conforme monitorado pela tabela. Cada reserva está anexada a um arquivo event_id. event_dateestá incluído para ajudar a limitar o escopo, se necessário (veja as suposições abaixo).

PostgreSQL já que o BigQuery é mais difícil de testar – db-fiddle /SQL:

CREATE TABLE Reservations (
  "reservation_id" INTEGER,
  "reservation_status" VARCHAR(9),
  "quantity" INTEGER,
  "event_id" INTEGER,
  "event_date" DATE,
  "valid_from" DATE,
  "valid_to" DATE
);

INSERT INTO Reservations
  ("reservation_id", "reservation_status", "quantity", "event_id", "event_date", "valid_from", "valid_to")
VALUES
  ('1', 'active', '4', '100', '2023-05-25', '2023-01-01', '2023-01-02'),
  ('2', 'active', '2', '200', '2024-01-07', '2023-01-01', '2023-01-03'),
  ('3', 'active', '7', '100', '2023-05-25', '2023-01-02', '9999-12-31'),
  ('4', 'active', '1', '200', '2024-01-07', '2023-01-02', '9999-12-31'),
  ('1', 'active', '5', '100', '2023-05-25', '2023-01-03', '9999-12-31'),
  ('5', 'active', '8', '100', '2023-05-25', '2023-01-03', '9999-12-31'),
  ('2', 'cancelled', '2', '200', '2024-01-07', '2023-01-04', '9999-12-31'),
  ('6', 'active', '3', '100', '2023-05-25', '2023-01-06', '9999-12-31');

Embora isso seja, em última análise, para o BigQuery, a resposta será aceita em qualquer dialeto, desde que seja um tanto genérica.

Premissas

• As datas "a partir de" podem ser uma lista ou intervalo baseado em valid_frommínimo/máximo
• valid_tode 9999-12-31são os dados mais recentes
• Todas as reservas para um determinado evento serão entre event_date - INTERVAL '2 years'e event_date. Isso não muda nada neste exemplo, mas talvez seja útil para dimensionar (?)

Saída desejada

Gostaria de saber a soma dos quantityagrupados por event_ide reservation_status a partir de cada intervalo (dia).

^{Estimativa aproximada dos valores das linhas. Será diferente se usar o intervalo completo de datas.}

Eu essencialmente quero fazer o seguinte:

/* Invalid SQL, just for conceptual purposes */

-- Given a list of dates, for each "date":
select
  event_id,
  reservation_status,
  sum(quantity)
from table
where {{date}} between valid_from and valid_to
group by
  event_id,
  reservation_status

Acredito que isso pode ser feito usando linguagem processual, como um loop for, mas sinto que estou pensando demais nisso e tendo problemas para combinar conceitos mais simples.

Estamos usando o modo de arquivo de autenticação no pgbouncer. A parte de autenticação do Pgbouncer é muito confusa. Seria útil se alguém pudesse esclarecer minhas dúvidas abaixo.

• As conexões Pgbouncer são autenticadas duas vezes no lado do segurança e na camada de banco de dados?

• Qual é a utilidade da autenticação no Pgbouncer se ele estiver usando as mesmas credenciais do banco de dados ?

• É possível usar um conjunto diferente de credenciais de usuário para a autenticação Pgbouncer diferente das próprias credenciais do banco de dados?

Pretendo arquivar mensagens e não tenho certeza de qual devo usar.

Deve ser capaz de conter no máximo 20 bilhões de linhas (é para isso que espero que o número total tenda)

Cada linha terá três colunas: user_id, mensagem, data

O user_id é uma sequência de 30 caracteres. A mensagem tem entre 1 e 20.000 caracteres. Em média, espero que tenha 140 caracteres. (UTF-8, deve permitir emojis, alfabetos diferentes, etc)

Quero apenas um índice para o user_id, não para a mensagem/data.

Eu só pretendo fazer consultas INSERT, e muito simples SELECT * WHERE user_id = XXXXX Haverá muito poucos SELECTs, espero no pico de 10/minuto. Os SELECTs não precisam ser rápidos, qualquer coisa entre 1 e 20 segundos está bom.

Mas haverá muitos INSERTs. Provavelmente cerca de 5.000-10.000 por segundo.

Meu servidor terá: CPU: AMD Ryzen™ 9 7950X3D RAM: 128 GB DDR5 ECC Drives: 1x 7,68 TB NVMe SSD Datacenter (da Hetzner)

Não sou fã de gatilhos e SQL dinâmico, porém, o que estou trabalhando requer ambos.

CREATE TRIGGER [dbo].[GenerateDynamicFormItemViews] ON [dbo].[tblFormItems] AFTER INSERT, UPDATE
AS
BEGIN   
    SET NOCOUNT ON;
    DECLARE @DatabaseName NVARCHAR(100)
    DECLARE @FormItemID INT

    DECLARE db_cursor CURSOR FOR
    SELECT SourceID,FormItemID from Inserted

    OPEN db_cursor  
    FETCH NEXT FROM db_cursor INTO @DatabaseName, @FormItemID

    WHILE @@FETCH_STATUS = 0  
    BEGIN  

        BEGIN TRY    
            EXEC spAddEditFormItemView @FormItemID, @DatabaseName WITH RESULT SETS NONE
        END TRY    
        BEGIN CATCH 
            INSERT INTO AdminErrorLog(SourceID, ErrorNumber, ErrorState, ErrorSeverity, ErrorProcedure, ErrorLine, ErrorMessage, ErrorDateTime) 
            SELECT @DatabaseName, ERROR_NUMBER(), ERROR_STATE(), ERROR_SEVERITY(), ERROR_PROCEDURE(), ERROR_LINE(), ERROR_MESSAGE(), GETDATE()
        END CATCH     

        FETCH NEXT FROM db_cursor INTO @DatabaseName, @FormItemID
    END

    CLOSE db_cursor  
    DEALLOCATE db_cursor
END 

Eis aqui o que está acontecendo.

1. Uma tarefa de replicação do AWS DMS está replicando dados em lotes de 10.000. A implementação da replicação é uma caixa preta, mas parece haver transações aninhadas nas conexões.
2. EXEC spAddEditFormItemView chama um procedimento armazenado que executa o SQL dinâmico e gera erros em um registro.
3. O bloco CATCH nunca é executado
4. O erro nunca chega ao AdminErrorLog.
5. O AWS Batch apresenta erros e nunca é confirmado e toda a tarefa falha.
6. Em eventos estendidos, o seguinte erro sql é detectado. Este é o erro que falhou na tarefa. Eu li sobre condições em que os comandos não podem estar em estado de confirmação ou reversão, mas realmente não entendi totalmente esse conceito.

mensagem: A transação atual não pode ser confirmada e não pode suportar operações gravadas no arquivo de log. Reverta a transação.

gravidade: 16

Alguém pode explicar por que o bloco catch não está sendo capturado e por que o aplicativo cliente está recebendo, o que eu acho, uma exceção sql e revertendo tudo. Meu palpite é que as exceções dinâmicas de SQL estão sendo tratadas de maneira diferente e a transação de gatilho implícita está sendo revertida em vez de capturar o erro. Além disso, alguém sabe uma maneira de evitar que a exceção seja propagada?

Aposto que a solução mais segura seria modificar o gatilho para amontoar os comandos sql em uma tabela e, em seguida, fazer com que um trabalho do agente sql procure comandos para serem executados a cada minuto ou mais.

EDIT - Adicionando procedimento para recriar: No SSSM:

EXEC [spAddEditFormItemView] 30032,'VP_BENCHMARKING_V05'

Comandos concluídos com sucesso.

Prazo de conclusão: 2023-11-27T16:11:18.1762097-05:00

No gatilho ele força um rollback com uma mensagem de erro horrível.

ALTER PROCEDURE [dbo].[spAddEditFormItemView] ( 
    @FormItemID int,
    @Schema nvarchar(100)
)
AS
    DECLARE @SQL NVARCHAR(MAX) = 'e2e2e2e2e'
    BEGIN TRY   
        EXEC (@SQLCommand)      
    END TRY
    BEGIN CATCH
        DECLARE @X INT
    END CATCH

EDIT: agora posso duplicar no SSMS.

Preciso otimizar o desempenho em uma pesquisa com muitas strings como Z1719121.

minha estrutura de tabela:

codfabrica  => varchar 191 => nullable
codoriginal => varchar 191 => nullable
aplicacao   => mediumText  => nullable

índices de tabela:

codfabrica  => non_unique 1 | seq_in_index 1 | collation A    | cardinality 42466
codoriginal => non_unique 1 | seq_in_index 1 | collation A    | cardinality 7449
aplicacao   => non_unique 1 | seq_in_index 1 | collation NULL | cardinality 42550

código de consulta laravel:

$allKeys = [...]; // array with lots of strings
$q = MyModel::query();
$q->whereIn('codfabrica', $allKeys);
$q->orWhereIn('codoriginal', $allKeys);
$q->orWhereRaw('MATCH (aplicacao) AGAINST (?)', array($allKeys));

resultados:

array with 1000 strings => took 5 seconds
array with 2500 strings => took 35 seconds

Existe alguma maneira de otimizar essa pesquisa?

Não tenho experiência com INDEX, então criei índices da maneira correta?

Esta tabela atualmente possui 42.000 rowse 20mb total size, hospedado no AWS db.t3.smallservidor RDS (2 vCPUs, 2 GiB de memória).

Eu uso a solução de manutenção de Ola Hallengren há algum tempo, mas nunca usei o parâmetro @DatabasesInParallel. Estou pensando em usar isso nos trabalhos de manutenção de índices e estatísticas, nos quais tenho um único trabalho que dura muito (mais de 4 horas) e tenho algumas perguntas:

1. Para configurar isso, presumo que o método mais simples seria adicionar @DatabasesInParallel='Y',à minha lista de parâmetros no meu trabalho existente do agente SQL Server e, em seguida, no SSMS, executar um Script Job As > Create To... nesse trabalho, para que eu tenha um script criar uma cópia exata e depois apenas alterar @job_name no script para o novo nome do trabalho para que o novo trabalho seja criado com os mesmos parâmetros e use o mesmo agendamento?

2. Posso configurar 3 ou mais trabalhos para serem executados em paralelo ou está limitado a 2?

3. O servidor em que desejo configurar isso possui 5 bancos de dados de usuários. Se eu configurar tarefas paralelas para manutenção de índice @databases='USER_DATABASES', duas das tarefas poderão executar a indexação no mesmo banco de dados simultaneamente? Por exemplo, o Trabalho 1 está trabalhando em um banco de dados grande com muitos índices altamente fragmentados, e o Trabalho 2 funciona nos outros 4 bancos de dados com bastante rapidez. Se o Trabalho 1 ainda estiver em execução, o Trabalho 2 terminará ou começará a funcionar no banco de dados em que o Trabalho 1 já está trabalhando?

Como alternativa, posso configurar trabalhos separados e, em vez de usá @databases='USER_DATABASES'-los, especificarei em quais bancos de dados de usuário cada um deve realizar a manutenção do índice e não usar @DatabasesInParallel.

Acabei de atualizar para o mysql8

Criou um novo usuário para o phpmyadmin, mas o usuário não consegue criar novos bancos de dados?

no phpmyadmin

No privileges to create databases

criar usuário

CREATE USER 'phpmyadmin'@'localhost' IDENTIFIED BY 'xxx'; FLUSH PRIVILEGES;
GRANT ALL PRIVILEGES ON *.* TO 'phpmyadmin'@'localhost'; FLUSH PRIVILEGES;

atualizar

SHOW GRANTS FOR 'phpmyadmin'@'localhost';

GRANT SELECT, INSERT, UPDATE, DELETE, CREATE, DROP, RELOAD, SHUTDOWN, PROCESS, FILE, REFERENCES, INDEX, ALTER, SHOW DATABASES, SUPER, CREATE TEMPORARY TABLES, LOCK TABLES, EXECUTE, REPLICATION SLAVE, REPLICATION CLIENT, CREATE VIEW, SHOW VIEW, CREATE ROUTINE, ALTER ROUTINE, CREATE USER, EVENT, TRIGGER, CREATE TABLESPACE, CREATE ROLE, DROP ROLE ON *.* TO `phpmyadmin`@`localhost`
GRANT APPLICATION_PASSWORD_ADMIN,AUDIT_ABORT_EXEMPT,AUDIT_ADMIN,AUTHENTICATION_POLICY_ADMIN,BACKUP_ADMIN,BINLOG_ADMIN,BINLOG_ENCRYPTION_ADMIN,CLONE_ADMIN,CONNECTION_ADMIN,ENCRYPTION_KEY_ADMIN,FIREWALL_EXEMPT,FLUSH_OPTIMIZER_COSTS,FLUSH_STATUS,FLUSH_TABLES,FLUSH_USER_RESOURCES,GROUP_REPLICATION_ADMIN,GROUP_REPLICATION_STREAM,INNODB_REDO_LOG_ARCHIVE,INNODB_REDO_LOG_ENABLE,PASSWORDLESS_USER_ADMIN,PERSIST_RO_VARIABLES_ADMIN,REPLICATION_APPLIER,REPLICATION_SLAVE_ADMIN,RESOURCE_GROUP_ADMIN,RESOURCE_GROUP_USER,ROLE_ADMIN,SENSITIVE_VARIABLES_OBSERVER,SERVICE_CONNECTION_ADMIN,SESSION_VARIABLES_ADMIN,SET_USER_ID,SHOW_ROUTINE,SYSTEM_USER,SYSTEM_VARIABLES_ADMIN,TABLE_ENCRYPTION_ADMIN,TELEMETRY_LOG_ADMIN,XA_RECOVER_ADMIN ON *.* TO `phpmyadmin`@`localhost`

..

SELECT USER(), CURRENT_USER();

phpmyadmin@localhost
phpmyadmin@localhost

sstableloader é executado em um host v4.1.3 usando sstablefiles de um host v3.11.6:

sstableloader -v --nodes oneofthehosts --username whatever --password whatever --truststore /etc/cassandra/conf/truststore.jks --truststore-password whatever --keystore /etc/cassandra/conf/keystore.jks --keystore-password whatever /tmp/keyspace/table

A mensagem de erro (ligeiramente cortada):

com.datastax.driver.core.exceptions.NoHostAvailableException: All host(s) tried for query failed (tried: oneofthehosts/someip:9042 (com.datastax.driver.core.exceptions.OperationTimedOutException: [oneofthehosts/someip:9042] Operation timed out))
java.lang.RuntimeException: Unable to initialise org.apache.cassandra.utils.NativeSSTableLoaderClient
    at org.apache.cassandra.utils.NativeSSTableLoaderClient.init(NativeSSTableLoaderClient.java:102)
    at org.apache.cassandra.io.sstable.SSTableLoader.stream(SSTableLoader.java:167)
    at org.apache.cassandra.tools.BulkLoader.load(BulkLoader.java:91)
    at org.apache.cassandra.tools.BulkLoader.main(BulkLoader.java:58)
Caused by: com.datastax.driver.core.exceptions.NoHostAvailableException: All host(s) tried for query failed (tried: oneofthehosts/someip:9042 (com.datastax.driver.core.exceptions.OperationTimedOutException: oneofthehosts/someip:9042] Operation timed out))
    at com.datastax.driver.core.ControlConnection.reconnectInternal(ControlConnection.java:270)
    at com.datastax.driver.core.ControlConnection.connect(ControlConnection.java:109)
    at com.datastax.driver.core.Cluster$Manager.negotiateProtocolVersionAndConnect(Cluster.java:1813)
    at com.datastax.driver.core.Cluster$Manager.init(Cluster.java:1726)
    at com.datastax.driver.core.Cluster.init(Cluster.java:214)
    at com.datastax.driver.core.Cluster.connectAsync(Cluster.java:387)
    at com.datastax.driver.core.Cluster.connectAsync(Cluster.java:366)
    at com.datastax.driver.core.Cluster.connect(Cluster.java:311)
    at org.apache.cassandra.utils.NativeSSTableLoaderClient.init(NativeSSTableLoaderClient.java:70)
    ... 3 more
Exception in thread "main" org.apache.cassandra.tools.BulkLoadException: java.lang.RuntimeException: Unable to initialise org.apache.cassandra.utils.NativeSSTableLoaderClient
    at org.apache.cassandra.tools.BulkLoader.load(BulkLoader.java:104)
    at org.apache.cassandra.tools.BulkLoader.main(BulkLoader.java:58)

Algumas mensagens selecionadas após definir o nível TRACE em logback-tools.xml:

DEBUG 13:29:19,765 [oneofthehosts/someip:9042] preparing to open 1 new connections, total = 1
DEBUG 13:29:19,915 Connection[oneofthehosts/someip:9042-1, inFlight=0, closed=false] Connection established, initializing transport
TRACE 13:29:19,920 Connection[oneofthehosts/someip:9042-1, inFlight=0, closed=false], stream 0, writing request STARTUP {CQL_VERSION=3.0.0, DRIVER_VERSION=3.11.0, DRIVER_NAME=DataStax Java Driver}
DEBUG 13:29:20,113 [id: 0xef0b330f, L:/someip:44896 - R:oneofthehosts/someip:9042] HANDSHAKEN: TLS_AES_256_GCM_SHA384

waiting for timeout

TRACE 13:29:32,027 Defuncting Connection[oneofthehosts/someip:9042-1, inFlight=0, closed=false]
com.datastax.driver.core.exceptions.OperationTimedOutException: [oneofthehosts/someip:9042] Operation timed out
DEBUG 13:29:32,028 [oneofthehosts/someip:9042] preventing new connections for the next 1000 ms
DEBUG 13:29:32,029 [oneofthehosts/someip:9042] Connection[oneofthehosts/someip:9042-1, inFlight=0, closed=false] failed, remaining = 0
DEBUG 13:29:32,029 Connection[oneofthehosts/someip:9042-1, inFlight=0, closed=true] closing connection
DEBUG 13:29:32,029 Not terminating Connection[oneofthehosts/someip:9042-1, inFlight=0, closed=true]: there are still pending requests
DEBUG 13:29:32,031 Connection[oneofthehosts/someip:9042-1, inFlight=0, closed=true], stream 0, Error writing request STARTUP {CQL_VERSION=3.0.0, DRIVER_VERSION=3.11.0, DRIVER_NAME=DataStax Java Driver}
DEBUG 13:29:32,035 [Control connection] error on oneofthehosts/someip:9042 connection, no more host to try

Isso parece familiar? Poderia estar relacionado ao TLS ou já ultrapassamos a configuração inicial da conexão?