Como faço para criar uma função de agregação definida pelo usuário?

Não sei se há como definir uma nova função agregada, não sem mexer no código-fonte do MySQL.

Mas se seus números são todos positivos, você pode derivar da identidade aritmética:

log( product( Ai ) ) = sum( log( Ai ) )

que você pode usar EXP(SUM(LOG(x)))para calcular PRODUCT(x). Teste no SQL-Fiddle :

SELECT EXP(SUM(LOG(a))) AS product
FROM t ;

SELECT col, EXP(SUM(LOG(a))) AS product
FROM t 
GROUP BY col ;

Quando os dados podem ter 0s, fica um pouco mais complicado:

SELECT (NOT EXISTS (SELECT 1 FROM t WHERE a = 0)) 
       * EXP(SUM(LOG(a))) AS p
FROM t 
WHERE a > 0 ;

SELECT d.col, 
       (NOT EXISTS (SELECT 1 FROM t AS ti WHERE ti.col = d.col AND ti.a = 0)) 
       * COALESCE(EXP(SUM(LOG(t.a))),1)  AS p
FROM 
    ( SELECT DISTINCT col
      FROM t
    ) AS d
  LEFT JOIN
    t  ON  t.col = d.col
       AND t.a > 0
GROUP BY d.col ;

Testado no SQL-Fiddle

Para outros SGBDs, que não possuam a autoconversão do MySQL de valores booleanos para inteiros, o

(NOT EXISTS (SELECT ...))

deve ser substituído por:

(CASE WHEN EXISTS (SELECT 1...) THEN 0 ELSE 1 END) 

Especificamente para o Oracle, serão necessárias mais algumas alterações, sem alterar a lógica da resposta, apenas porque o Oracle não segue rígido padrão ANSI em algumas áreas. Testado no SQL-Fiddle-2

De acordo com a documentação http://dev.mysql.com/doc/refman/5.5/en/adding-udf.html só é possível escrever funções agregadas em C. Desculpe!

No interesse de aprender a pescar, compilei e instalei com sucesso um "Hello, World!" UDF (função definida pelo usuário) para MySQL encontrada aqui . O arquivo hello_world.so (depois de cumprido gcc -shared -o hello_world.so -I /usr/include/mysql hello_world.c) deve ser armazenado em /usr/lib/mysql/plugins/ com 755 permissões em sistemas Ubuntu linux. [O "-I /usr/include/mysql" é o caminho para os arquivos de cabeçalho mysql; Descobri que meu código não compilaria sem esse parâmetro, mas YMMV.]

O programa não faz nada além de imprimir a string "Hello, World!" para cada registro no conjunto de dados resultante de uma consulta, mas isso é tudo o que deve fazer. Vou tentar escrever uma função de agregação PEQUENA nos próximos dias. Há um exemplo de função agregada que calcula o custo médio de um grupo de registros de preço e quantidade; a função SMALL não deve ser tão diferente dessa função no final.

Espero que isto ajude.

Tecnicamente, não é uma função agregada definida pelo usuário e não é ideal, mas funciona e não precisa criar um UDF: use GROUP_CONCAT()em sua consulta, o que tornará sua consulta agregada e consolidará todos os valores em uma string separada por vírgula e em seguida, escreva uma função SQL que processe essa string.

Exemplo (função baseada nesta resposta)::

DELIMITER $$
CREATE FUNCTION `replace_multiple`(_text text, _from text, _to text) RETURNS text CHARSET utf8mb4
    DETERMINISTIC
BEGIN

DECLARE _nextfrom TEXT DEFAULT NULL;
DECLARE _nextto TEXT DEFAULT NULL;
DECLARE _nextlenfrom INT DEFAULT NULL;
DECLARE _nextlento INT DEFAULT NULL;
DECLARE _valuefrom TEXT DEFAULT NULL;
DECLARE _valueto TEXT DEFAULT NULL;

iterator:
LOOP
  -- exit the loop if the list seems empty or was null;
  -- this extra caution is necessary to avoid an endless loop in the proc.
  IF CHAR_LENGTH(TRIM(_from)) = 0 OR _from IS NULL THEN
    LEAVE iterator;
  END IF;

  -- capture the next value from the list
  SET _nextfrom = SUBSTRING_INDEX(_from,',',1);
  SET _nextto = SUBSTRING_INDEX(_to,',',1);

  -- save the length of the captured value; we will need to remove this
  -- many characters + 1 from the beginning of the string
  -- before the next iteration
  SET _nextlenfrom = CHAR_LENGTH(_nextfrom);
  SET _nextlento = CHAR_LENGTH(_nextto);

  -- trim the value of leading and trailing spaces, in case of sloppy CSV strings
  SET _valuefrom = TRIM(_nextfrom);
  SET _valueto = TRIM(_nextto);

  -- use the extracted value
  SET _text = replace(_text, _valuefrom, _valueto);

  -- rewrite the original string using the `INSERT()` string function,
  -- args are original string, start position, how many characters to remove,
  -- and what to "insert" in their place (in this case, we "insert"
  -- an empty string, which removes _nextlen + 1 characters)
  SET _from = INSERT(_from,1,_nextlenfrom + 1,'');
  SET _to = INSERT(_to,1,_nextlento + 1,'');
END LOOP;

RETURN _text;
END$$
DELIMITER ;

Tábua:

Consulta:

SELECT replace_multiple('my 2 cents', GROUP_CONCAT(fromThis), GROUP_CONCAT(toThat))
FROM t;

Traduzirá para:

SELECT replace_multiple('my 2 cents', '1,2,3', 'one,two,three')

Qual para esta função personalizada específica retornarámy two cents