Perguntas[postgresql](coding)

Gostaria de ler alguns arquivos rtf que recebi de uma fonte externa em uma tabela com Postgres. Estou usando a pg_stat_file()função para verificar se o arquivo existe ou não e pretendo ler seu conteúdo com pg_read_file(). Se o nome do arquivo contiver um trema, a função falha.

SELECT pg_stat_file('C:\datafolder\ctköln.rtf', true);

ERROR:  could not open file "C:\datafolder\ctköln.rtf" for reading: No such file or directory 
SQL state: 58P01

Existe uma opção para ler o arquivo sem alterar seu nome? O sistema subjacente é um servidor Windows.

O conteúdo do arquivo será eventualmente lido em uma tabela.

Eu literalmente tentei todas as 20 principais soluções do Google e do stackoverflow, mas não consigo fazer meu postgres 17 instalar uma extensão chamada 'pgvector'. Quando eu digito 'make' ou 'cl', eu posso ver que eles são adicionados ao meu caminho e a entrada do terminal é capaz de abrir esses arquivos exe. Eu até instalei o WSL como sugerido pelo AI. Eu clonei o repositório para pgvector na minha pasta de documentos, e quando eu chego lá usando o comando Powershell (admin) e executo o comando make, eu recebo esse erro

C:\Usuários\rohit\Documentos\Codificação\pgvector>make cl -Wall -O2 /wd4018 /wd4244 /wd4273 /wd4101 /wd4102 /wd4090 /wd4267 -march=native -ftree-vectorize -fassociative-math -fno-signed-zeros -fno-trapping-math -I. -I./ -IC:/PROGRA~1/PostgreSQL/17/include/server -IC:/PROGRA~1/PostgreSQL/17/include/internal /DWIN32 /DWINDOWS /D__WINDOWS__ /D__WIN32__ /D_CRT_SECURE_NO_DEPRECATE /D_CRT_NONSTDC_NO_DEPRECATE -IC:/PROGRA~1/PostgreSQL/17/include/server/port/win32 -DWIN32_STACK_RLIMIT=4194304 -c -o src/bitutils.o src/bitutils.c Microsoft (R) C/C++ Optimizing Compiler Versão 19.29.30157 para x86 Copyright (C) Microsoft Corporation. Todos os direitos reservados.

trapping-math' bitutils.c C:\Program Files\PostgreSQL\17\include\server\ch(75): erro fatal C1083: Não é possível abrir o arquivo include: 'libintl.h': Nenhum arquivo ou diretório make: *** [: src/bitutils.o] Erro 2

Alguém tem alguma ideia do que eu posso fazer? Eu até tentei usar o método docker image, e mesmo com essa imagem docker em execução, quando eu executo o comando make ainda recebo um erro parecido.

Também instalei o código do VS Studio com as ferramentas C++ instaladas no meu sistema.

Eu tentei usar este comando também:

"C:\Arquivos de programas\Microsoft Visual Studio\2022\BuildTools\VC\Auxiliary\Build\vcvarsall.bat" x64

mas meu sistema não tem essas pastas VC e posteriores. Devo reinstalar meu postgres 17 ou reinstalar o código do vs studio?

Acredito que todos os meus caminhos foram corrigidos, pois não há mais erros como cl.exe não encontrado ou make não encontrado.

Se eu chegar ao psql e executar

ERRO: a extensão "pgvector" não está disponível DETALHE: Não foi possível abrir o arquivo de controle de extensão "C:/Program Files/PostgreSQL/17/share/extension/pgvector.control": Nenhum arquivo ou diretório. DICA: A extensão deve ser instalada primeiro no sistema onde o PostgreSQL está sendo executado.

A parte estranha é que consigo ver meu sistema tendo esse arquivo exato chamado ch no mesmo diretório que o erro acima sugere. Vi no meu antivírus se havia um erro de permissão, mas não havia nenhum.

Seguindo a documentação exata do repositório, consegui executar o comando

cd "C:\Program Files\Microsoft Visual Studio\2022\Community\VC\Auxiliary\Build" e recebo uma mensagem [vcvarsall.bat] Ambiente inicializado para: 'x64'

Depois disso, quando clono um novo repositório para o pgvector, recebo este novo erro:

C:\Usuários\rohit\AppData\Local\Temp\pgvector>nmake /F Makefile.win instalar

Microsoft (R) Program Maintenance Utility Versão 14.43.34808.0 Copyright (C) Microsoft Corporation. Todos os direitos reservados.

    copy vector.dll "C:\Program Files\PostgreSQL\17\lib" Access is denied.
    0 file(s) copied. NMAKE : fatal error U1077: 'copy vector.dll "C:\Program Files\PostgreSQL\17\lib"' : return code '0x1' Stop.

Observe que executei esses comandos no Powershell Executar como administrador e até mesmo no terminal de opções de inicialização do MS VS Code.

Como você pode ver na saída do terminal após executar o nmake, ele mostra que ele foi instalado. Ele até me mostrou instalando centenas de arquivos chamados pgvector, mas quando eu reinicio meu serviço postgres e vejo se meu postgres tem alguma extensão chamada pgvector ele apenas diz cant find anything

Seguindo as instruções, também consegui executar o comando nmake após clonar o repositório pgvector , e ele até mostra que o instalou corretamente (estou supondo?), mas ainda assim, após reiniciar o serviço postgres ou todo o sistema, dentro do psql não consigo usar essa extensão.

C:\pgvector>nmake /F Makefile.win install Microsoft (R) Program Maintenance Utility Versão 14.43.34808.0 Copyright (C) Microsoft Corporation. Todos os direitos reservados.

   cl /nologo /I"C:\Program Files\PostgreSQL\17\include\server\port\win32_msvc" /I"C:\Program

Arquivos\PostgreSQL\17\include\server\port\win32" /I"C:\Arquivos de programas\PostgreSQL\17\include\server" /I"C:\Arquivos de programas\PostgreSQL\17\include" /O2 /fp:fast /c src\hnsw.c /Fosrc\hnsw.obj hnsw.c C:\Arquivos de programas\PostgreSQL\17\include\server\access/tupmacs.h(65): erro C2196: valor do caso '4' já usado C:\Arquivos de programas\PostgreSQL\17\include\server\access/tupmacs.h(197): erro C2196: valor do caso '4' já usado NMAKE: erro fatal U1077: 'cl /nologo /I"C:\Program Arquivos\PostgreSQL\17\include\servidor\porta\win32_msvc" /I"C:\Arquivos de Programas\PostgreSQL\17\include\servidor\porta\win32" /I"C:\Arquivos de Programas\PostgreSQL\17\include\servidor" /I"C:\Arquivos de Programas\PostgreSQL\17\include" /O2 /fp:fast /c src\hnsw.c /Fosrc\hnsw.obj' : código de retorno '0x2' Parar.

Além disso, é realmente tão difícil instalar uma extensão simples do Postgres em um sistema Windows? Todos os sistemas Unix ou Mac podem usar qualquer gerenciador de pacotes, mas os usuários do Windows são forçados a instalar pelo VS Studio e ainda estou preso nisso há 2 dias inteiros.

Acabei de executar o instalador postgresql_17.3_1_windows_x64 do site deles. Concordo com a janela de administração, e então esse erro aparece. Talvez seja por causa do nome de usuário Win - 10 na minha máquina local. De qualquer forma, é isso que recebo:

Isto é o que recebo em [System.Globalization.CultureInfo]::InstalledUICulture:

Nome do LCD DisplayName

1033 en-US Inglês (Estados Unidos)

Vamos fingir que eu tenho 1.000.000 de linhas para inserir dados e não me importo com perda de dados.

Quão mais rápido seria 1 confirmação após 1.000.000 de linhas em vez de 1 confirmação a cada 100.000 linhas?

A mesma pergunta para atualizações e exclusões.

Como posso alterar o tamanho do commit? Ou seja, não confirmar a transação até ter processado XXX linhas?

Preciso revogar os privilégios INSERT e UPDATE na coluna uid na tabela test.persons.

Aqui está o que eu fiz até agora:

CREATE TABLE test.persons (
    uid UUID DEFAULT gen_random_uuid() PRIMARY KEY,
    name VARCHAR(255),
    description TEXT
);

REVOKE INSERT (uid) ON test.persons FROM hasura;
GRANT INSERT (name, description) ON test.persons TO hasura;
REVOKE UPDATE (uid) ON test.persons FROM hasura;
GRANT UPDATE (name, description) ON test.persons TO hasura;


INSERT INTO test.persons (uid, name, description) 
VALUES ('e7443661-f6c3-4448-8df7-c65e3f8243ca', 'John Doe', 'Some description');
//correct: ERROR: permission denied for table persons

INSERT INTO test.persons (uid) 
VALUES (gen_random_uuid());
//correct: ERROR: permission denied for table persons

INSERT INTO test.persons (name, description) 
VALUES ('John Doe', 'Some description');
//correct: Successfully inserted

INSERT INTO test.persons (name) 
VALUES ('John Doe1');
//correct: Successfully inserted

Até agora tudo bem.

Mas quando tento executar a seguinte ATUALIZAÇÃO:

UPDATE test.persons SET uid = gen_random_uuid() WHERE name = 'John Doe';

Ele foi atualizado com sucesso, embora não devesse, pois revoguei os privilégios UPDATE na coluna uid.

O que estou fazendo errado e como devo revogar corretamente os privilégios UPDATE na coluna uid?

Eu defino as seguintes configurações:

 wal_level = logical
archive_mode = on       # enables archiving; off, on, or always
archive_command = 'test ! -f /home/15arc/%f && cp %p /home/15arc/%f'        # command to use to archive a logfile segment

Backup executado:

./pg_basebackup -D /home/backup  -Ft -p 5415 -P -U postgres

Depois que eu deletei todos os dados de onde o cluster postgres estava instalado (/home/postgres15)

Então descompacto 2 arquivos de backup em /home/postgres15 e inicio o banco de dados:

 ./pg_ctl -D /home/postgres15  start

E o arquivo de linha do tempo do histórico não foi criado. Você sabe por quê?

Estou tentando aprender spring boot seguindo um tutorial, mas não consigo conectar ao meu banco de dados postgresql no docker. Funciona perfeitamente bem com um banco de dados local.

Meu docker-compose.yml:

services:
  db:
    image: postgres
    ports:
      - "5432:5432"
    restart: always
    environment:
      POSTGRES_PASSWORD: admin
      POSTGRES_USER: postgres

Minha aplicação.propriedades:

spring.datasource.url=jdbc:postgresql://db:5432/postgres
spring.datasource.username=postgres
spring.datasource.password=admin
spring.datasource.driver-class-name=org.postgresql.Driver

Em vez de conectar, continuo recebendo o seguinte erro: org.springframework.jdbc.CannotGetJdbcConnectionException: Failed to obtain JDBC Connection

e meu log do docker não mostra nenhuma tentativa de login.

Estou trabalhando em um programa java que importa um arquivo csv para um banco de dados Postgresql. Algumas linhas nos arquivos csv contêm vírgulas de escape, e vírgulas também são o delimitador. Quando importo esse arquivo com mysql, ele funciona bem, mas com postgresql recebo um erro dizendo que há mais tokens nos dados do que colunas para importá-los ( org.postgresql.util.PSQLException: ERROR: extra data after last expected column)

Como posso fazer com que COPY importe essas linhas com as vírgulas de escape tratadas como texto em vez de delimitadores?

Meu comando COPY "COPY temporary_%s (%s) FROM STDIN with csv";

E para comparação, a versão mysql funciona

"LOAD DATA LOCAL INFILE ? "
          + "INTO TABLE temporary_%s "
          + "FIELDS TERMINATED BY ',' ENCLOSED BY '\"' "
          + "LINES TERMINATED BY '\n' "
          + "(%s)";

Tenho tentado anexar algo como ESCAPE '\\'à declaração postgresql, mas não parece ter feito nada. Soluções que vi sugerem envolver cada pedaço de dados entre aspas, mas não tenho controle sobre o conteúdo do arquivo csv, e ele é bem grande (até ~8gb), então prefiro não ter que fazer pré-processamento nele se isso não for necessário.

E o java

    BaseConnection physicalConnection =
        (BaseConnection) connection.unwrap(Class.forName("org.postgresql.core.BaseConnection"));

    CopyManager copyManager = new CopyManager(physicalConnection);
    FileReader fileReader = new FileReader(fileName);
    copyManager.copyIn(String.format(PROCEDURE_POSTGRES, tableName, columns), fileReader);

E uma linha de dados de amostra com este problema (o \,) 0.2\,4,000088797e02a729c72ff07bb9c5a84ef27e6b7c,1541592473000,1545585645000,0.3.0,1,NULL,NULL

editar para responder a perguntas: O tipo de dados para essas colunas é charvar(255). O que eu gostaria de ver é as vírgulas sendo inseridas como dados, por exemplo, neste caso, 0.2,4devem ser os dados na primeira coluna.

Mensagem de erro completa (com nomes apagados para privacidade)

2025-02-04 12:00:40 2025-02-04 17:00:40.374 UTC [89725] STATEMENT:  COPY table_name (***, ***, ***, ***, ***, ***, ***, ***, ***) FROM STDIN with csv"
2025-02-04 12:03:48 2025-02-04 17:03:48.733 UTC [89890] ERROR:  extra data after last expected column
2025-02-04 12:03:48 2025-02-04 17:03:48.733 UTC [89890] CONTEXT:  COPY table_name, line 10: "  0.2\,4,000088797e02a729c72ff07bb9c5a84ef27e6b7c,1541592473000,1..."

também, encontrei uma solução(?) onde não uso CSV. Não sei por que isso está funcionando, mas está - todas as linhas estão sendo importadas e parecem corretas. Isso pode acabar sendo tudo o que preciso (fazer mais testes)

"COPY temporary_%s (%s) FROM STDIN DELIMITER ','";

Tenho a seguinte tabela SQL postgres com três colunas;

    id      linktype      to_id    
  322754       4            1
  322754       4            1
  322754       4            2
  322798       4            2
  322798       4            2
  322797       4            3
  322791       4            6
  322790       4            3

O que estou tentando fazer é filtrar to_idvalores onde há mais de um idvalor correspondente que seja diferente .

Então, a partir do exposto acima, eu simplesmente gostaria que to_ido valor 3 fosse retornado, já que ele é o único to_idque tem mais de um id DISTINCT correspondente a ele.

Truncate não está esperando a liberação de um select lock antes de colocar um exclusive lock no alvo, então nenhum outro select pode ser executado simultaneamente. Existe alguma documentação sobre esse comportamento?

Você precisa de 3 sessões para observar esse comportamento.

aba 1 (transações manuais):

begin;
select * from tbl;

aba 2:

truncate tbl; --stalls (expected)

aba 3:

select * from tbl; --stalls (unexpected)