主页 / dba / 问题 / 342881
Accepted
M.A. Heshmat Khah
Asked: 2024-10-09 00:55:28 +0800 CST

PostgreSQL 无重音和阿拉伯语/波斯语全文搜索

  • 772

我正在使用一款使用 PostgreSQL 作为数据库的应用程序，它使用扩展unaccent来规范化文本。我想通过修改unaccent.rules文件来改进其搜索功能。

我编辑/usr/share/postgresql/16/tsearch_data/unaccent.rules并添加了一些阿拉伯语 Unicode 块的规则（U+0600至U+06ff）：

۰   0
۱   1
۲   2
۳   3
۴   4
۵   5
۶   6
۷   7
۸   8
۹   9
َ

并且运行良好。

SELECT unaccent('سَلام ۱۳۲');
 unaccent
----------
 سلام 123
(1 row)

问题 1：

问题出在零宽度非连接符（ZWNJ- U+200C），应该用空格（U+0020）代替。

سَلام‌علیکم->سلام علیکم

我尝试过的：

我尝试了以下行，但是不起作用或者给出错误：

  • "‌" " "：（invalid syntax: more than two strings in unaccent rule警告）+它不起作用。
  • ‌ " "：（invalid syntax: more than two strings in unaccent rule警告）+它不起作用。
  • \u200C \u0020：由ChatGPT建议，但是没有起作用。
  • \u200C " "：由ChatGPT建议，但是没有起作用。

注1：

上面的前两行中，有一个不可见的 ZWNJ 字符，在 VIM 中显示为 <200c>，但在本文中看不到。

vim 将 zwnj 显示为 200c

注2：

我没有同时添加所有这些行，而是逐一尝试。

注3：

没有其他关于 ZWNJ 的规则unaccent.rules

问题2：

有没有办法添加新规则文件而不是编辑默认文件？我无法编辑应用程序源代码并更改查询。

添加类似/usr/share/postgresql/16/tsearch_data/arabic.stop或/usr/share/postgresql/16/tsearch_data/arabic.rules重新启动服务是否可以使 PostgreSQL 理解它？

是否需要运行一些查询来重新加载文件？

是否需要改变应用程序请求搜索的方式？

postgresql

1 个回答

  1. Best Answer

    问题＃1已由 PostgreSQL 17 解决，如发行说明和提交消息中所述：

    允许非重音字符翻译规则包含空格和引号（Michael Paquier）
    unaccent.rules 文件的语法已更改。

    问题 #2:

    • 仅添加arabic.rules文件是无效的。规则文件对应于字典，具体请参见 unaccent 扩展的 SQL 部分中的这些声明：

      CREATE TEXT SEARCH TEMPLATE unaccent (
   INIT = unaccent_init,
   LEXIZE = unaccent_lexize
);

CREATE TEXT SEARCH DICTIONARY unaccent (
   TEMPLATE = unaccent,
   RULES    = 'unaccent'
);

      您可以创建其他字典，但unaccent(text)Postgres 附带的函数会搜索该unaccent字典。

    • 是否需要运行一些查询来重新加载文件？
      每个后端首次使用时都会加载该文件，然后在会话的其余时间将其保存在内存中。因此重新连接会重新加载该文件。似乎没有其他方法。

    • 是否需要更改应用程序请求搜索的方式？
      您提到您无法更改应用程序。但如果它只是调用而没有架构限定，那么您可能可以在顺序中排在第一位的架构中unaccent()提供自己的函数，从而遮蔽其他函数。unaccent(text)search_path

    • 6

相关问题