主页 / computer / 问题 / 1885485
Accepted
Dominique
Asked: 2025-03-11 18:53:10 +0800 CST

为什么“grep”无法在 SQL-Server 生成的脚本中找到匹配项，即使是简单的匹配项？

  • 772

我正在Windows 10 机器上开发WSL实例（Ubuntu）。

为了在数据库中查找某些信息，我生成了一个脚本，其中包含数据库的整个结构和grep内容，我希望它可以简单地告诉我某些信息是否存在。

然而，正如您所看到的，这并没有起作用：

WSL_Prompt> grep "S" DB_Local_Backup_20250311.sql

=> 你在开玩笑吗？整个数据库中没有字母“S”？

WSL_Prompt> head -5 DB_Local_Backup_20250311.sql
USE [DB_Name]
GO
/****** Object:  User [DB_user]    Script Date: 11/03/2025 11:32:44 ******/
CREATE USER [DB_user] WITHOUT LOGIN WITH DEFAULT_SCHEMA=[dbo]
GO

=> 字母“S”几乎出现在该文件的所有地方。

WSL_Prompt> ls -ltra DB_Local_Backup_20250311.sql
-rwxrwxrwx 1 scampsd scampsd 4575828864 Mar 11 11:35 DB_Local_Backup_20250311.sql

=> 好吧，我承认：这个文件确实很大。

WSL_Prompt> grep --version | head -n 1
grep (GNU grep) 3.4

grep=> 这是我正在使用的版本。

WSL Prompt> cat /etc/os-release
NAME="Ubuntu"
VERSION="20.04.2 LTS (Focal Fossa)"

=> 这是我正在使用的 WSL 的版本。

更多信息：

文件类型：

WSL_Prompt> file DB_Local_Backup_20250311.sql
DB_Local_Backup_20250311.sql: Little-endian UTF-16 Unicode text, with CRLF line terminators

十六进制转储：

WSL_Prompt> head -n 1 DB_Local_Backup_20250311.sql | hd -c
00000000  ff fe 55 00 53 00 45 00  20 00 5b 00 43 00 65 00  |..U.S.E. .[.C.e.|
0000000         U  \0   S  \0   E  \0      \0   [  \0   C  \0   e  \0

有解决办法吗？

linux

2 个回答

  1. Best Answer

    grep据我所知，没有任何文件大小限制。这更可能是编码问题。可能有很多 UTF-16、UTF-32 甚至 UTF-8 代码点未编码为 83，其字形看起来像S。经典 grep 倾向于假设 ASCII 编码。

    我将使用的解决方案是按如下方式识别编码

     file DB_Local_Backup_20250311.sql

 head -n 5 DB_Local_Backup_20250311.sql | hd -C

    您的发行版/操作系统上规范的十六进制转储的当前咒语在哪里。hd -c hd -C

    然后，您可以根据需要使用十六进制转义符来 grep 字节序列。

    您的文件采用UTF-16编码，小端字节序 (LE)，带有字节顺序标记 (BOM)，并且使用 Microsoft-Windows 行尾符号 (CR、LF)，而不是 Unix 行尾符号 (LF)。因此，每个字母都以两个字节写入文件，而不是旧版 grep 可能期望的单字节。因此，该文件的前两个字节还包含字节顺序标记 (BOM)，在 ASCII 值“S”之前包含一个空值。这两种情况都可能破坏旧版 grep，但我觉得现代 grep 有问题，这很奇怪。我会尝试grep --binary-files=text S filename。

    除了 grep 我还会尝试类似

    perl -ne 'print if /S/' DB_Local_Backup_20250311.sql

    或者

    iconv -f UTF-16LE -t UTF-8 DB_Local_Backup_20250311.sql | grep S

    PS 请参阅它是 ANSI 还是 UTF8 文件？以了解更多有关 Microsoft误导性地称为“Unicode”和“ANSI”的信息

    聚苯硫醚

    $ hostnamectl | grep Oper
Operating System: Ubuntu 24.04.2 LTS
$ grep --version | head -n 1
grep (GNU grep) 3.11

$ hd -C test.sql
00000000  ff fe 55 00 53 00 45 00  20 00 5b 00 44 00 42 00  |..U.S.E. .[.D.B.|
00000010  5f 00 4e 00 61 00 6d 00  65 00 5d 00 0a 00 47 00  |_.N.a.m.e.]...G.|
00000020  4f 00 0a 00 2f 00 2a 00  2a 00 2a 00 2a 00 2a 00  |O.../.*.*.*.*.*.|
00000030  2a 00 20 00 4f 00 62 00  6a 00 65 00 63 00 74 00  |*. .O.b.j.e.c.t.|
00000040  3a 00 20 00 20 00 55 00  73 00 65 00 72 00 20 00  |:. . .U.s.e.r. .|
00000050  5b 00 44 00 42 00 5f 00  75 00 73 00 65 00 72 00  |[.D.B._.u.s.e.r.|
00000060  5d 00 20 00 20 00 20 00  20 00 53 00 63 00 72 00  |]. . . . .S.c.r.|
00000070  69 00 70 00 74 00 20 00  44 00 61 00 74 00 65 00  |i.p.t. .D.a.t.e.|
00000080  3a 00 20 00 31 00 31 00  2f 00 30 00 33 00 2f 00  |:. .1.1./.0.3./.|
00000090  32 00 30 00 32 00 35 00  20 00 31 00 31 00 3a 00  |2.0.2.5. .1.1.:.|
000000a0  33 00 32 00 3a 00 34 00  34 00 20 00 2a 00 2a 00  |3.2.:.4.4. .*.*.|
000000b0  2a 00 2a 00 2a 00 2a 00  2f 00 0a 00 43 00 52 00  |*.*.*.*./...C.R.|
000000c0  45 00 41 00 54 00 45 00  20 00 55 00 53 00 45 00  |E.A.T.E. .U.S.E.|
000000d0  52 00 20 00 5b 00 44 00  42 00 5f 00 75 00 73 00  |R. .[.D.B._.u.s.|
000000e0  65 00 72 00 5d 00 20 00  57 00 49 00 54 00 48 00  |e.r.]. .W.I.T.H.|
000000f0  4f 00 55 00 54 00 20 00  4c 00 4f 00 47 00 49 00  |O.U.T. .L.O.G.I.|
00000100  4e 00 20 00 57 00 49 00  54 00 48 00 20 00 44 00  |N. .W.I.T.H. .D.|
00000110  45 00 46 00 41 00 55 00  4c 00 54 00 5f 00 53 00  |E.F.A.U.L.T._.S.|
00000120  43 00 48 00 45 00 4d 00  41 00 3d 00 5b 00 64 00  |C.H.E.M.A.=.[.d.|
00000130  62 00 6f 00 5d 00 0a 00  47 00 4f 00 0a 00        |b.o.]...G.O...|
0000013e
$ grep S test.sql
grep: test.sql: binary file matches
$ grep --binary-file=text S test.sql
��USE [DB_Name]
/****** Object:  User [DB_user]    Script Date: 11/03/2025 11:32:44 ******/
CREATE USER [DB_user] WITHOUT LOGIN WITH DEFAULT_SCHEMA=[dbo]

    上面的屏幕截图显示了找到的文本中 S 的颜色突出显示

    问题作者的评论：
    显然，最简单的解决方案是确保所提及的文件一开始就没有那种奇怪的编码。可以通过将 SQL-Server 生成的脚本保存为 ANSI 文本来解决这个问题，如下所示：

    SQL Server Management Studio 屏幕截图

    • 15

  2. grep 是一种传统工具，有其局限性。多字节编码（例如您提到的 UTF-16）就是其中之一 - 它无法正确处理它们。

    不要手动处理编码，而是使用更现代的 grep 工具，例如ugrep。

    默认匹配 Unicode 模式并自动搜索 UTF-8、UTF-16 和 UTF-32 编码的文件

    它会尝试自动检测输入的内容。它甚至可以处理二进制文件。您所要做的就是安装它（apt install ugrep在 Ubuntu 上）并在命令中更改可执行文件：

    ug "S" DB_Local_Backup_20250311.sql
    • 7

相关问题