主页 / unix / 问题 / 435043
Accepted
forthrin
Asked: 2018-04-03 04:27:45 +0800 CST

用 shell perl 替换 UTF-8 字符

  • 772

如何perl从 shell 中正确替换 UTF-8 字符？

这些示例使用标准输入，但我也需要一些适用的东西perl ... file。

这是我所期望的：

$ echo ABCæøåDEF | perl -CS -pe "s/([æøå])/[\\1]/g"
ABC[æ][ø][å]DEF

这就是我得到的：

$ echo ABCæøåDEF | perl -CS -pe "s/([æøå])/[\\1]/g"
ABCæøåDEF

用 ASCII 替换 Unicode 字符可以立即生效：

$ echo ABC123DEF | perl -CS -pe "s/([123])/[\\1]/g"
ABC[1][2][3]DEF

我的环境：

perl 5.18.2
Bash 3.2.57
LC_ALL=en_US.UTF-8
LANG=en_US.UTF-8
perl unicode

3 个回答

  1. Best Answer

    用这个 ：

     $ echo 'ABCæøåDEF' |
    perl -CSD -Mutf8 -pe 's/([æøå])/[$1]/g'

    也适用于文件

    输出 ：

    ABC[æ][ø][å]DEF

    笔记 ：

    • 替换：\\1用于，\1用于，在中我们使用$1
    • 检查perldoc perlrunutf8-CSD技巧
    • 8

  2. 您的输入：

    $ cat input.txt 
ABCæøåDEF
$ hexdump -C input.txt 
00000000  41 42 43 c3 a6 c3 b8 c3  a5 44 45 46 0a           |ABC......DEF.|
0000000d

    IMO 的一种好方法是-C选项加utf8：

    $ perl -CSD -Mutf8 -pe 's/([æøå])/[$1]/g' input.txt 
ABC[æ][ø][å]DEF
$ cat input.txt | perl -CSD -Mutf8 -pe 's/([æøå])/[$1]/g'
ABC[æ][ø][å]DEF

    如果你不想在命令行上使用 UTF-8，你总是可以用纯 ASCII 写你的 Perl 代码，并使用转义符，比如\xAB, \x{ABCD}，或者在更新的 Perls\N{U+ABCD}或者\N{CHARNAME}:

    $ perl -CSD -pe 's/([\xE6\xF8\xE5])/[$1]/g' input.txt 
ABC[æ][ø][å]DEF
$ cat input.txt | perl -CSD -pe 's/([\xE6\xF8\xE5])/[$1]/g'
ABC[æ][ø][å]DEF

    这个有点创意：@ARGV将被解释为 UTF-8，因此您可以将源代码保留为 ASCII 并通过命令行参数传递 UTF-8 字符（不一定是最好的解决方案，只是展示您如何制作使用该-CA选项）：

    $ perl -CSDA -pe 'BEGIN{$p=shift;} s/($p)/[$1]/g' '[æøå]' input.txt 
ABC[æ][ø][å]DEF
$ cat input.txt | perl -CSDA -pe 'BEGIN{$p=shift;} s/($p)/[$1]/g' '[æøå]'
ABC[æ][ø][å]DEF

    或者，当然，您可以随时将 oneliner 变成实际脚本，您可以在其中

    use warnings;
use 5.012;
use utf8;
use open qw/:std :encoding(UTF-8)/;
use charnames qw/:full :short/;

    进一步阅读：perlunitut、perlunifaq、perluniintro、perlunicode、perlunicook。

    • 1

  3. $ echo 'ABCæøåDEF' | perl -CS -Mutf8 -pe 's/([æøå])/[$1]/g'

    • -2

相关问题