AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / unix / 问题 / 752469
Accepted
Sebastian Carlos
Sebastian Carlos
Asked: 2023-07-26 20:44:32 +0800 CST2023-07-26 20:44:32 +0800 CST 2023-07-26 20:44:32 +0800 CST

就像有“locate”和“find”一样。有没有更快的“grep”数据库​​?

  • 772

locate(或者更确切地说,updatedb)有点简单:它获取find所需路径(通常是“/”)的输出,对其进行排序,然后使用前置压缩工具(frcode)对其进行压缩,其中连续的公共前缀被替换为重复字符的数量。

所以我想知道,是什么阻止人们为全文搜索创建类似的东西?比如说,串联系统中的每个文件,用格式对每一行进行排序line:filename:linenumber,然后进行前压缩怎么样?我猜你最终会得到一个更快的grep,但代价是在每日/每周 cron 作业运行之前就过时了,就像locate.

也许locategrep对整个系统来说有点杀伤力,但我认为它对于加速一个大型项目很有用,而该项目在一天的剩余时间内不会发生太大变化。

类似的东西是否已经存在或者使用一些已知的工具来实现是微不足道的?

注意:我宁愿避免包含纯文本搜索之外的功能的企业级解决方案(但我很欣赏正则表达式支持)。

grep
  • 1 1 个回答
  • 36 Views

1 个回答

  • Voted
  1. Best Answer
    Marcus Müller
    2023-07-26T21:05:36+08:002023-07-26T21:05:36+08:00

    通常,GNU grep 和 BSD 的竞争速度相当慢。

    人们喜欢ag(又名the_silver_searcher)、rg(又名ripgrep)或ack;他们不会尝试建立文本索引,他们只是为每个查询重新搜索它,但以比grep. 我rg这些天(主要)使用它,它确实使搜索完整的 Linux 源代码树变得相当容易管理(rg FOOBAR当我预热文件系统缓存时,“搜索每个文件,即使不是 C 头文件”大约需要 3 秒;GNUgrep需要> 10 秒)。

    还有全文搜索引擎(主要是 xapian),我将其用作 IMAP 服务器上的插件来加速全文搜索。这是唯一一个被证明对我真正产生影响的用例。

    (Ceterum censeo mandbem esse delendam;我们的搜索工具太快了,需要 30 秒才能重建 190 MB 的手册页索引,这根本不可接受;并且 gzip 是一个很好的压缩器,适用于真正统一的数据,例如手册页,其中有一个压缩字典会使这些东西变得非常小,这是我的另一个烦恼。但是事情相互交织在一起,我无法摆脱 mandb。)

    • 2

相关问题

  • 来自 `service | 的意外结果 grep`

  • 读取带有单词的文本文件及其出现次数和排序的打印输出

  • 命令 ls | grep 只显示目录(当它也应该显示文件时)

  • grep 什么时候计数,什么时候不计数

  • grep --line-buffered 直到 X 行?

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    模块 i915 可能缺少固件 /lib/firmware/i915/*

    • 3 个回答
  • Marko Smith

    无法获取 jessie backports 存储库

    • 4 个回答
  • Marko Smith

    如何将 GPG 私钥和公钥导出到文件

    • 4 个回答
  • Marko Smith

    我们如何运行存储在变量中的命令?

    • 5 个回答
  • Marko Smith

    如何配置 systemd-resolved 和 systemd-networkd 以使用本地 DNS 服务器来解析本地域和远程 DNS 服务器来解析远程域?

    • 3 个回答
  • Marko Smith

    dist-upgrade 后 Kali Linux 中的 apt-get update 错误 [重复]

    • 2 个回答
  • Marko Smith

    如何从 systemctl 服务日志中查看最新的 x 行

    • 5 个回答
  • Marko Smith

    Nano - 跳转到文件末尾

    • 8 个回答
  • Marko Smith

    grub 错误:你需要先加载内核

    • 4 个回答
  • Marko Smith

    如何下载软件包而不是使用 apt-get 命令安装它?

    • 7 个回答
  • Martin Hope
    user12345 无法获取 jessie backports 存储库 2019-03-27 04:39:28 +0800 CST
  • Martin Hope
    Carl 为什么大多数 systemd 示例都包含 WantedBy=multi-user.target? 2019-03-15 11:49:25 +0800 CST
  • Martin Hope
    rocky 如何将 GPG 私钥和公钥导出到文件 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Evan Carroll systemctl 状态显示:“状态:降级” 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim 我们如何运行存储在变量中的命令? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S 为什么 /dev/null 是一个文件?为什么它的功能不作为一个简单的程序来实现? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 如何从 systemctl 服务日志中查看最新的 x 行 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - 跳转到文件末尾 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla 为什么真假这么大? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis 在一个巨大的(70GB)、一行、文本文件中替换字符串 2017-12-30 06:58:33 +0800 CST

热门标签

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve