Como evitar a conversão implícita de bytea para texto durante a conexão atual no postgres?

por exemplo, se houver bytes não ASCII, não poderá funcionar sem problemas

Por que você pensaria assim? byteaé forçado a hex(padrão) ou escapeformato quando atribuído a uma textcoluna. Caracteres não ASCII são codificados automaticamente. Deve funcionar "suavemente" em todos os momentos - exceto que você não deseja permitir isso.

Eu poderia fazer CREATE CASTseguido, DROP CASTmas isso parece sujo para mim, pois ainda não está contido na conexão.

Verdade, mas está contido na transação se você criar e soltar o cast dentro: Os comandos DDL são totalmente transacionais no Postgres, portanto, apenas sua sessão (dentro dessa transação atual) verá o cast.

Como faço conversões (implícitas) de bytealançar textuma exceção apenas dentro da conexão atual?

... Posso adicionar uma instrução SQL precedente antes de cada instrução, isso não é problema.

Solução com elenco personalizado

Atualmente (todas as versões incluindo Postgres 13) o cast from byteato textnão tem entrada explícita no catálogo do sistema pg_cast. É fornecido por funções básicas de entrada/saída dos respectivos tipos. Esse comportamento pode ser anulado com uma entrada explícita, criada com CREATE CAST.

Você precisa ser o proprietário dos tipos envolvidos, então isso basicamente significa que você precisa ser o superusuário para instalá-lo.

Crie esta função de conversão uma vez por banco de dados:

CREATE FUNCTION public.text(bytea, int, bool) 
  RETURNS text
  LANGUAGE plpgsql STABLE STRICT PARALLEL SAFE AS
$func$
BEGIN
   IF $3 THEN           -- true if the cast is an explicit cast, false otherwise.
     -- no infinite loop because we do the cast manually
     -- honors current setting for bytea_output, hence function not IMMUTABLE
      RETURN textin(byteaout($1));
   ELSE
      RAISE EXCEPTION 'Assignment cast from bytea to text forbidden by custom cast rules in this database!';
      RETURN textin(byteaout($1));  -- we should *never* get here!
   END IF;
END
$func$;

Para permitir a criação/descarte do elenco especial para funções sem privilégios, adicione funções de wrapper. Faça isso como superusuário (ou como função de daemon dedicada):

CREATE FUNCTION public.f_create_cast_bytea2text() 
  RETURNS void
  LANGUAGE sql SECURITY DEFINER AS
'CREATE CAST (bytea AS text) WITH FUNCTION public.text(bytea, int, bool) AS ASSIGNMENT;';

CREATE FUNCTION public.f_drop_cast_bytea2text() 
  RETURNS void
  LANGUAGE sql SECURITY DEFINER AS
'DROP CAST IF EXISTS (bytea AS text);';

Agora você pode fazer o que pediu:

BEGIN;
SELECT public.f_create_cast_bytea2text();  -- optionally activate your casting rule

INSERT INTO tbl(txt_col)
VALUES ('\000'::bytea::text, 'local bytea_output: hex');    -- explicit cast still works!

INSERT INTO tbl(txt_col)
VALUES ('\000'::bytea); -- but assignment cast forbidden! -> ERROR

SELECT public.f_drop_cast_bytea2text();  -- deactivate your casting rule
END;

db<>fiddle aqui -- a segunda metade não é executada devido à falta de privilégios.

Caso de teste estendido

Tabela de teste:

CREATE TABLE test(id int, txt_col text, note text);
INSERT INTO test(id, txt_col, note) VALUES
  (-1, 'foo', 'plain text input')
, ( 0, '\000'::bytea, 'default bytea_output: ' || current_setting('bytea_output'));

Nenhuma exceção levantada:

BEGIN;
SELECT public.f_create_cast_bytea2text();

SET LOCAL bytea_output = 'hex';
INSERT INTO test(id, txt_col, note)
VALUES (1, '\000'::bytea::text, 'local bytea_output: hex');    -- explicit cast still works

SET LOCAL bytea_output = 'escape';
INSERT INTO test(id, txt_col, note)
VALUES (2, '\000'::bytea::text, 'local bytea_output: escape'); -- explicit cast still works

SELECT public.f_drop_cast_bytea2text();
END;

Também sem exceção:

BEGIN;
SELECT public.f_drop_cast_bytea2text();

SELECT '\000'::bytea || text 'foo'; -- implicit cast still works

SELECT public.f_drop_cast_bytea2text();
END;

Exceção levantada:

BEGIN;
SELECT public.f_create_cast_bytea2text();

INSERT INTO test(id, txt_col, note)
VALUES (3, '\000'::bytea, 'must fail!'); -- assignment cast forbidden!

SELECT public.f_drop_cast_bytea2text();
END;

Problema do lado do cliente?

Seu comentário parece revelar uma toca de coelho:

Os valores de entrada devem ser preparados de forma diferente, dependendo de serem strings com codificação ou strings binárias. Mesmo se fizermos uso da codificação atualmente ativa. Assumindo que strings binárias irão para bytea e strings com codificação irão para texto.

A solução não pode funcionar quando você assume incorretamente o tipo de dados textno lado do cliente. O cast só é invocado se você entregar byteaos valores digitados. Ou seja: use uma função ou instrução preparada com tipo de dados explícito ou anexe um cast explícito a literais de string entregues a um INSERTcomando como demonstrado acima: '\000'::bytea.

Depois de passar literais não tipados, o Postgres não tem como saber se realmente deveria ser bytea. E como você pode (incorretamente) preparar byteastrings para textentrada e ainda (corretamente?) adicionar um cast explícito a bytea?