如何在 Postgres 文本搜索中使用 Ispell 字典？

此示例使用加拿大英语词典，但您也可以与其他人一起尝试。

这些是 Windows 所需的步骤：

1. 打开http://src.chromium.org/svn/trunk/deps/third_party/hunspell_dictionaries/en_CA.dic
2. 选择所有文本，复制并粘贴到 Text Mechanic：http ://textmechanic.co/Sort-Text-Lines.html 。在末尾添加换行符。
3. 打开http://src.chromium.org/svn/trunk/deps/third_party/hunspell_dictionaries/en_CA.dic_delta
4. 选择所有文本，复制它，然后将其粘贴到 Text Mechanic 中先前粘贴的文本下方。
5. 滚动到顶部，选择并剪切第一行（应该是五位数字），并去掉换行符。
6. 单击按字母顺序排列的按钮，然后等待文本排序。
7. 选择所有文本并将其复制到剪贴板
8. 以管理员身份打开 Windows 记事本
9. 将步骤 7 中的文本粘贴到记事本中
10. 将文件另存为en_ca.dict（使用 UTF-8 编码）到 Postgres 文本搜索文件夹。我的是 C:\Program Files\PostgreSQL\9.3\share\tsearch_data 。
11. 打开http://src.chromium.org/svn/trunk/deps/third_party/hunspell_dictionaries/en_CA.aff，全选，复制粘贴到记事本。将文件作为en_ca.affix保存到 Postgres 文本搜索文件夹。

在 PgAdmin 中，运行以下 SQL：

create text search dictionary ispell_en_ca (
  template  =   ispell,
  dictfile  =   en_ca,
  afffile   =   en_ca,
  stopwords =   english
);

--make sure it works:
select * from ts_lexize('ispell_en_ca', 'colours');

/* 
result:
ts_lexize
text[]
{coloured,colour}
*/

您将需要创建一个新的文本搜索配置来使用字典。

我编写了以下脚本来在运行 PostgreSQL 9.4 的 Ubuntu 14.04 上安装 en_us 字典。对于大多数情况，它应该很容易修改。

#!/bin/bash
cd /usr/share/postgresql/9.4/tsearch_data

wget http://src.chromium.org/svn/trunk/deps/third_party/hunspell_dictionaries/en_US.dic
wget http://src.chromium.org/svn/trunk/deps/third_party/hunspell_dictionaries/en_US.dic_delta
wget http://src.chromium.org/svn/trunk/deps/third_party/hunspell_dictionaries/en_US.aff -O en_us.affix

# Remove first line
sed -i 1d en_US.dic

# Concat the dic and dic_delta, sort alphabetically and remove the leading blank line (leaves the ending newline intact)
cat en_US.dic en_US.dic_delta | sort > en_us.dict
sed -i 1d en_us.dict

# Set permissions
chown -R postgres:postgres *

sudo -u postgres psql -c "CREATE TEXT SEARCH DICTIONARY ispell_en_us (template  = ispell, dictfile = en_us, afffile = en_us, stopwords = english);"

# Clean up source files
rm en_US*

下载并安装必要的文件：

英语.sh

#!/bin/sh

# https://www.cs.hmc.edu/~geoff/ispell.html
wget http://www.cs.hmc.edu/~geoff/tars/ispell-3.4.00.tar.gz

tar xvzf ispell-3.4.00.tar.gz

cat ispell-3.4.00/languages/english/english.{0,1,2,3} | sort > english.dic
cp ispell-3.4.00/languages/english/english.aff ./

#iconv -f ISO_8859-1 -t UTF-8 -o english.affix english.aff
#iconv -f ISO_8859-1 -t UTF-8 -o english.dict english.dic

iconv -f ISO_8859-1 -t UTF-8 english.aff > english.affix
iconv -f ISO_8859-1 -t UTF-8 english.dic > english.dict

sudo cp english.{affix,dict} `pg_config --sharedir`/tsearch_data

然后创建字典和配置：

英语.sql

-- first change the database name in the alter database command below

-- create dictionary using files installed by english.sh script
create text search dictionary english_ispell (
    template = ispell,
    dictfile = english,   -- english.dict
    afffile = english,   -- english.affix
    stopwords = english   -- english.stop (should exist in default installation)
);

-- create new configuation using the default as a template
create text search configuration public.english ( copy = pg_catalog.english );

-- show current configuration
\dF+ public.english

-- alter appropriate mappings to use new dictionary
alter text search configuration public.english
    alter mapping for asciiword, asciihword, hword_asciipart, word, hword, hword_part
        with english_ispell, english_stem;

-- show changed configuration
\dF+ public.english

-- test that the new configuation works
select * from ts_debug(
    'public.english',
    'PostgreSQL, the highly scalable, SQL compliant, open source object-relational database management system, is now undergoing beta testing of the next version of our software.'
);

-- make database use new config
alter database <name> set default_text_search_config to 'public.english';

-- make session use new config
set default_text_search_config to 'public.english';

-- test that the new config is used by default
select * from ts_debug(
    'PostgreSQL, the highly scalable, SQL compliant, open source object-relational database management system, is now undergoing beta testing of the next version of our software.'
);

这在 PostgreSQL 手册的ISpell Dictionaries下有详细介绍。

本质上，您只需CREATE TEXT SEARCH DICTIONARY (...)使用字典文件名、停用词列表等即可。