主页 / coding / 问题 / 78926883
Accepted
shantanuo
Asked: 2024-08-29 16:42:25 +0800 CST

使用二元组、三元组拆分单词

  • 772

我有这个文本文件：

worked
working
works
tested
tests
find
found

它包含一百万个没有空格的单词。它可能包含 Unicode 字符。

最长的单词是“working”：

awk '{print length, $0}' test.txt | sort -nr | head -1
7 working

我需要创建二元组、三元组（最多 7 列）

w,wo,wor,work,worke,worked,
w,wo,wor,work,worki,workin,working
w,wo,wor,work,works,,
t,te,tes,test,teste,tested,
t,te,tes,test,tests,,
f,fi,fin,find,,,,
f,fo,fou,foun,found,,

最好使用 awk（因为它很快）

regex

5 个回答

  1. Best Answer

    一种直接的方法是：

    awk -v n=7 -v OFS=, \
  '{s=$0; len=length(s); for (i=1;i<=len;i++) $i=substr(s,1,i); $n=$n}1'

    w,wo,wor,work,worke,worked,
w,wo,wor,work,worki,workin,working
w,wo,wor,work,works,,
t,te,tes,test,teste,tested,
t,te,tes,test,tests,,
f,fi,fin,find,,,
f,fo,fou,foun,found,,

    在GNU Awk 5.3.0、mawk 1.3.4 20240819 和The One True Awk版本 20240728 上进行了测试。

    • 5

  2. 如果您事先不知道字符串的最大长度，您可以使用：

    awk '
 BEGIN {max_length=1}; { a[NR]=$1; m=length($1); if (m > max_length) {max_length=m} }
 END { for(i=1;i<=NR;i++) {for (j=1; j<=max_length;j++) {if(j<=length(a[i])){printf "%s", substr(a[i],1,j)}; if(j<max_length){ printf "%s", "," } }; print ""} }
' file
w,wo,wor,work,worke,worked,
w,wo,wor,work,worki,workin,working
w,wo,wor,work,works,,
t,te,tes,test,teste,tested,
t,te,tes,test,tests,,
f,fi,fin,find,,,
f,fo,fou,foun,found,,
    • 3

  3. 如果您已经知道输入字符串的最大长度，则使用任何 awk（至少用于英语字符输入）：

    $ cat tst.awk
BEGIN { FS=OFS=","; maxLen=7 }
{
    curLen = length($0)
    out = substr($0,1,1)
    for ( i=2; i<=curLen; i++ ) {
        out = out OFS substr($0,1,i)
    }
    $0 = out
    $maxLen = $maxLen
    print
}


    $ awk -f tst.awk file
w,wo,wor,work,worke,worked,
w,wo,wor,work,worki,workin,working
w,wo,wor,work,works,,
t,te,tes,test,teste,tested,
t,te,tes,test,tests,,
f,fi,fin,find,,,
f,fo,fou,foun,found,,

    否则，采用两遍方法首先计算最大长度：

    $ cat tst.awk
BEGIN { FS=OFS="," }
{ curLen = length($0) }
NR == FNR {
    if ( curLen > maxLen ) {
        maxLen = curLen
    }
    next
}
{
    out = substr($0,1,1)
    for ( i=2; i<=curLen; i++ ) {
        out = out OFS substr($0,1,i)
    }
    $0 = out
    $maxLen = $maxLen
    print
}


    $ awk -f tst.awk file file
w,wo,wor,work,worke,worked,
w,wo,wor,work,worki,workin,working
w,wo,wor,work,works,,
t,te,tes,test,teste,tested,
t,te,tes,test,tests,,
f,fi,fin,find,,,
f,fo,fou,foun,found,,

    有了以上内容，我

    1. 仅length()在循环开始前调用一次，因此 awk 不会在每次循环迭代时调用它，
    2. 仅$0在循环外部填充以避免 awk$0在每次循环迭代时重新拆分和/或重新构建，
    3. 仅循环到当前行的长度，而不是所有行的最大长度，
    4. $maxLen = $maxLen仅在循环后使用，在每个输入行中创建最多 1 次空字段，并且
    5. 每次仅在内存中存储一​​行。

    因此它具有可移植性、速度快，并且适用于任何大小的输入文件。

    @tripleee 在评论中指出，使用 unicode 字符时，上述脚本在 MacOS 上的输出不正确。MacOS 上的默认 awk 漏洞百出，而且我没有 Mac 可以测试，所以我不打算调查这个问题，但以下是我从上面第二个脚本中看到的结果，给出了 @tripleee 的输入，并在 cygwin 上使用 gawk 5.3.0 进行测试LC_ALL='en_US.UTF-8'：

    $ printf '%s\n' "người" "đặt" > file

$ awk -f tst.awk file file
n,ng,ngư,ngườ,người
đ,đặ,đặt,,

$ awk -b -f tst.awk file file
n,ng,ng▒,ngư,ngư▒,ngư▒,ngườ,người
▒,đ,đ▒,đ▒,đặ,đặt,,


    $ printf '%s\n' 'résumé' 'zoölogy' > file

$ awk -f tst.awk file file
r,ré,rés,résu,résum,résumé,
z,zo,zoö,zoöl,zoölo,zoölog,zoölogy

$ awk -b -f tst.awk file file
r,r▒,ré,rés,résu,résum,résum▒,résumé
z,zo,zo▒,zoö,zoöl,zoölo,zoölog,zoölogy


    $ printf '%s\n' $'re\u0301sume\u0301' > file

$ awk -f tst.awk file file
r,re,ré,rés,résu,résum,résume,résumé

$ awk -b -f tst.awk file file
r,re,re▒,ré,rés,résu,résum,résume,résume▒,résumé

    以下是它-b的作用（摘自gawk 手册）：

    -b --字符作为字节

    使 gawk 将所有输入数据视为单字节字符。此外，所有使用 print 或 printf 写入的输出都被视为单字节字符。

    通常，gawk 遵循 POSIX 标准并尝试根据当前语言环境处理其输入数据（请参阅您所在的位置会产生影响）。这通常涉及将多字节字符转换为宽字符（内部），如果输入数据不包含有效的多字节字符，则可能导致问题或混淆。此选项是一种告诉 gawk“不要碰我的数据”的简单方法！

    • 2

  4. 一种使用 Unicode 安全方法ruby（max=7-1：从零开始，length-1：尾随换行符）。$_保存行，通过以下方式启用-n

    % ruby -ne 'BEGIN{max=7-1}
    sep=""
    (0..max).each do |i|
      if i < $_.length-1 
        printf("%s%s", sep,$_[0..i])
        sep=","
      else printf("%s", sep)
      end
    end
    puts ""' file

    输出

    r,ré,rés,résu,résum,résumé,
z,zo,zoö,zoöl,zoölo,zoölog,zoölogy
w,wo,wor,work,worke,worked,
w,wo,wor,work,worki,workin,working
w,wo,wor,work,works,,
t,te,tes,test,teste,tested,
t,te,tes,test,tests,,
f,fi,fin,find,,,
f,fo,fou,foun,found,,
    数据
    % cat file
résumé
zoölogy
worked
working
works
tested
tests
find
found
    • 2

  5. Awk 不能很好地处理 Unicode 组合序列。也许可以使用 Perl 来方便地替代。

    以下是使用越南语随机字符串进行的简短测试，其中使用了很多重音符号。

    bash$ printf '%s\n' "người" "đặt" | xxd
00000000: 6e67 c6b0 e1bb 9d69 0ac4 91e1 bab7 740a  ng.....i......t.

    nawk以下是此输入的行为演示：

    bash$ printf '%s\n' "người" "đặt" |
> awk -vn=7 -vOFS=, '{s=$0; for (i=1;i<=n;i++) $i=i<=length(s)? substr(s,1,i): ""}1'
n,ng,ng?,ngư,ngư?,ngư?,ngườ
?,đ,đ?,đ?,đặ,đặt,

    这是一个快速而粗糙的 Perl 实现：

    bash$ printf '%s\n' "người" "đặt" |
> perl -CSD -ne 'BEGIN { $n = 7 }
> chomp; $sep = ""; for my $i (1..$n) {
>   print ($_ =~ "\\X{$i}" ? "$sep$&" : "$sep"); $sep = ","; }
> print "\n";'
n,ng,ngư,ngườ,người,,
đ,đặ,đặt,,,,

    这里用一个更熟悉的英语（嗯，借用词）来进行演示。

    bash$ printf '%s\n' $'re\u0301sume\u0301' |
> perl -CSD -ne 'BEGIN { $n = 7 }
> chomp; $sep = ""; for my $i (1..$n) {
>   print ($_ =~ "\\X{$i}" ? "$sep$&" : "$sep"); $sep = ","; }
> print "\n";'
r,ré,rés,résu,résum,résumé,

    如果不明显的话，Perl 知道U+0301是一个组合字符，应该以图形方式与前面的基本字符连接，因此就正则表达式而言，将生成的群集视为单个字符（或更确切地说是字素）\X。因为 Awk 没有这方面的知识，所以它不能这样做。（也许也可以参见Wikipedia 上的Unicode 等价性。 ）

    如果您确实想要二元组和三元组，而不是特定长度的前缀，这也很容易。

    bash$ printf '%s\n' "người" "đặt" |
> perl -CSD -ne 'chomp; $sep = "";
> for my $i (0..length($_)) {
>     break unless ($_ =~ "\\X{$i}\\K\\X{2}");
>     print "$sep$&";
>     $sep = ",";
>     print ($_ =~ "\\X{$i}\\K\\X{3}" ? "$sep$&" : "");
> } print "\n";'
ng,ngư,gư,gườ,ườ,ười,ời
đặ,đặt,ặt
    • 1

相关问题