Como uso um dicionário Ispell com a pesquisa de texto do Postgres?

Este exemplo usa o dicionário de inglês canadense, mas você também pode experimentá-lo com outras pessoas.

Estas são as etapas necessárias para o Windows:

1. Abra http://src.chromium.org/svn/trunk/deps/third_party/hunspell_dictionaries/en_CA.dic
2. Selecione todo o texto, copie-o e cole-o no Text Mechanic: http://textmechanic.co/Sort-Text-Lines.html . Adicione uma quebra de linha no final.
3. Abra http://src.chromium.org/svn/trunk/deps/third_party/hunspell_dictionaries/en_CA.dic_delta
4. Selecione todo o texto, copie-o e cole-o abaixo do texto colado anteriormente no Text Mechanic.
5. Role até o topo, selecione e corte a primeira linha (deve ser um número de cinco dígitos) e elimine a quebra de linha.
6. Clique no botão Alfabético e aguarde a classificação do texto.
7. Selecione todo o texto e copie-o para a área de transferência
8. Abra o bloco de notas do Windows como administrador
9. Cole o texto do Passo 7 no Bloco de Notas
10. Salve o arquivo como en_ca.dict (com codificação UTF-8) na pasta de pesquisa de texto do Postgres. O meu é C:\Program Files\PostgreSQL\9.3\share\tsearch_data .
11. Abra http://src.chromium.org/svn/trunk/deps/third_party/hunspell_dictionaries/en_CA.aff , selecione tudo, copie e cole no Bloco de Notas. Salve o arquivo como en_ca.affix na pasta de pesquisa de texto do Postgres.

No PgAdmin, execute o seguinte SQL:

create text search dictionary ispell_en_ca (
  template  =   ispell,
  dictfile  =   en_ca,
  afffile   =   en_ca,
  stopwords =   english
);

--make sure it works:
select * from ts_lexize('ispell_en_ca', 'colours');

/* 
result:
ts_lexize
text[]
{coloured,colour}
*/

Você precisará criar uma nova configuração de pesquisa de texto para usar o dicionário.

Eu escrevi o seguinte script para instalar um dicionário en_us no Ubuntu 14.04 rodando PostgreSQL 9.4. Deve ser bastante fácil de modificar para a maioria das situações.

#!/bin/bash
cd /usr/share/postgresql/9.4/tsearch_data

wget http://src.chromium.org/svn/trunk/deps/third_party/hunspell_dictionaries/en_US.dic
wget http://src.chromium.org/svn/trunk/deps/third_party/hunspell_dictionaries/en_US.dic_delta
wget http://src.chromium.org/svn/trunk/deps/third_party/hunspell_dictionaries/en_US.aff -O en_us.affix

# Remove first line
sed -i 1d en_US.dic

# Concat the dic and dic_delta, sort alphabetically and remove the leading blank line (leaves the ending newline intact)
cat en_US.dic en_US.dic_delta | sort > en_us.dict
sed -i 1d en_us.dict

# Set permissions
chown -R postgres:postgres *

sudo -u postgres psql -c "CREATE TEXT SEARCH DICTIONARY ispell_en_us (template  = ispell, dictfile = en_us, afffile = en_us, stopwords = english);"

# Clean up source files
rm en_US*

Baixe e instale os arquivos necessários:

inglês.sh

#!/bin/sh

# https://www.cs.hmc.edu/~geoff/ispell.html
wget http://www.cs.hmc.edu/~geoff/tars/ispell-3.4.00.tar.gz

tar xvzf ispell-3.4.00.tar.gz

cat ispell-3.4.00/languages/english/english.{0,1,2,3} | sort > english.dic
cp ispell-3.4.00/languages/english/english.aff ./

#iconv -f ISO_8859-1 -t UTF-8 -o english.affix english.aff
#iconv -f ISO_8859-1 -t UTF-8 -o english.dict english.dic

iconv -f ISO_8859-1 -t UTF-8 english.aff > english.affix
iconv -f ISO_8859-1 -t UTF-8 english.dic > english.dict

sudo cp english.{affix,dict} `pg_config --sharedir`/tsearch_data

Em seguida, crie o dicionário e a configuração:

inglês.sql

-- first change the database name in the alter database command below

-- create dictionary using files installed by english.sh script
create text search dictionary english_ispell (
    template = ispell,
    dictfile = english,   -- english.dict
    afffile = english,   -- english.affix
    stopwords = english   -- english.stop (should exist in default installation)
);

-- create new configuation using the default as a template
create text search configuration public.english ( copy = pg_catalog.english );

-- show current configuration
\dF+ public.english

-- alter appropriate mappings to use new dictionary
alter text search configuration public.english
    alter mapping for asciiword, asciihword, hword_asciipart, word, hword, hword_part
        with english_ispell, english_stem;

-- show changed configuration
\dF+ public.english

-- test that the new configuation works
select * from ts_debug(
    'public.english',
    'PostgreSQL, the highly scalable, SQL compliant, open source object-relational database management system, is now undergoing beta testing of the next version of our software.'
);

-- make database use new config
alter database <name> set default_text_search_config to 'public.english';

-- make session use new config
set default_text_search_config to 'public.english';

-- test that the new config is used by default
select * from ts_debug(
    'PostgreSQL, the highly scalable, SQL compliant, open source object-relational database management system, is now undergoing beta testing of the next version of our software.'
);

Isso é abordado em detalhes no manual do PostgreSQL, em ISpell Dictionaries .

Essencialmente, você apenas CREATE TEXT SEARCH DICTIONARY (...)com o nome do arquivo do dicionário, lista de palavras irrelevantes, etc.