主页 / coding / 问题

问题[awk](coding)

Martin Hope
ABu
Asked: 2024-10-20 20:55:53 +0800 CST
  • 5

在 AWK 中，为了对数组进行排序，我可以定义自己的排序函数，既可以在 for 循环中控制数组的遍历，也可以调用asort或asorti。比较函数的签名最多接受 6 个参数，但最后两个参数是可选的：

function cmp_field(i1, v1, i2, v2, l, r) { whatever; }

l和的用途是什么r？据我所知，它们只是占位符，AWK 根本不使用或检查它们，而是为了我自己方便，以便我可以在它们内部存储值，作为某种便利辅助变量。例如分配l和从和r计算出的临时值。但是，为什么我需要它们或它们的用途是什么，如果我可以像这样声明自己的变量：v1v2

function cmp_field(i1, v1, i2, v2) { 
   l = computation(v1);
   r = computation(v2);
   whatever; 
}

l除了第二个例子中的全局变量之外，还有其他区别吗r？或者除此之外还有其他原因吗？

awk
Martin Hope
Só Isso
Asked: 2024-10-01 21:27:25 +0800 CST
  • 5

我有一个包含四列的文件：

text1  a1  a2   5
text2  b2  b8   10
text3  b9  b4   15
text3  b9  b4   25
text3  b9  b4   20
text4  h1  g8   50
text4  g1  k5   70
text4  g1  k5   80
text4  g1  k5   50
text5  y5  p3   25

我想要以下结果：

text1  a1  a2   5
text2  b2  b8   10
text3  b9  b4   25
text4  h1  g8   50
text4  g1  k5   80
text5  y5  p3   25

从匹配的行中删除重复的值：第一、第二和第三列相同，并在第四列取最高值。

我尝试如下：

awk '!x[$1]++' file.txt
awk
Martin Hope
Gert Gottschalk
Asked: 2024-09-02 05:59:35 +0800 CST
  • 6

有一个来自成像会话的日志文件，我需要从中提取位于某个触发器之前的多行参数。一旦找到触发器，我就想打印收集的数据并重新开始。

使用 grep，我提取了触发器之前的行。触发器应为“自动对焦完成”。这是我得到的结果，并希望进一步将其输入到 awk 中进行参数提取和打印。

$ grep -B4 'AutoFocus completed' 20240831-195957-3.1.1.9001.10824-*.log
20240831-195957-3.1.1.9001.10824-202408.log-2024-08-31T20:19:16.2135|INFO|FocuserVM.cs|MoveFocuserInternal|212|Moving Focuser to position 21611
20240831-195957-3.1.1.9001.10824-202408.log-2024-08-31T20:19:20.4192|INFO|CameraVM.cs|Capture|737|Starting Exposure - Exposure Time: 5s; Filter: ; Gain: 100; Offset 50; Binning: 1x1;
20240831-195957-3.1.1.9001.10824-202408.log-2024-08-31T20:19:27.9594|INFO|StarDetection.cs|Detect|244|Average HFR: 2.545578870303149, HFR σ: 0.3919148934340784, Detected Stars 609, Sensitivity High, ResizeFactor: 0.33
20240831-195957-3.1.1.9001.10824-202408.log-2024-08-31T20:19:27.9713|INFO|FocuserMediator.cs|BroadcastSuccessfulAutoFocusRun|45|Autofocus notification received - Temperature 28.5
20240831-195957-3.1.1.9001.10824-202408.log:2024-08-31T20:19:27.9719|INFO|AutoFocusVM.cs|StartAutoFocus|277|AutoFocus completed
--
20240831-195957-3.1.1.9001.10824-202408.log-2024-08-31T20:55:18.0098|INFO|FocuserVM.cs|MoveFocuserInternal|212|Moving Focuser to position 21573
20240831-195957-3.1.1.9001.10824-202408.log-2024-08-31T20:55:22.1916|INFO|CameraVM.cs|Capture|737|Starting Exposure - Exposure Time: 5s; Filter: ; Gain: 100; Offset 50; Binning: 1x1;
20240831-195957-3.1.1.9001.10824-202408.log-2024-08-31T20:55:29.6817|INFO|StarDetection.cs|Detect|244|Average HFR: 2.4623768995206703, HFR σ: 0.37028813097450053, Detected Stars 832, Sensitivity High, ResizeFactor: 0.33
20240831-195957-3.1.1.9001.10824-202408.log-2024-08-31T20:55:29.6834|INFO|FocuserMediator.cs|BroadcastSuccessfulAutoFocusRun|45|Autofocus notification received - Temperature 27.6
20240831-195957-3.1.1.9001.10824-202408.log:2024-08-31T20:55:29.6839|INFO|AutoFocusVM.cs|StartAutoFocus|277|AutoFocus completed
--
20240831-195957-3.1.1.9001.10824-202408.log-2024-08-31T22:01:56.2682|INFO|FocuserVM.cs|MoveFocuserInternal|212|Moving Focuser to position 21589
20240831-195957-3.1.1.9001.10824-202408.log-2024-08-31T22:02:00.4053|INFO|CameraVM.cs|Capture|737|Starting Exposure - Exposure Time: 5s; Filter: ; Gain: 100; Offset 50; Binning: 1x1;
20240831-195957-3.1.1.9001.10824-202408.log-2024-08-31T22:02:08.0464|INFO|StarDetection.cs|Detect|244|Average HFR: 2.337959785686696, HFR σ: 0.43475116635610034, Detected Stars 972, Sensitivity High, ResizeFactor: 0.33
20240831-195957-3.1.1.9001.10824-202408.log-2024-08-31T22:02:08.0476|INFO|FocuserMediator.cs|BroadcastSuccessfulAutoFocusRun|45|Autofocus notification received - Temperature 26
20240831-195957-3.1.1.9001.10824-202408.log:2024-08-31T22:02:08.0477|INFO|AutoFocusVM.cs|StartAutoFocus|277|AutoFocus completed

我想要捕捉：

  • “移动调焦器到位置”后面的数字
  • “平均 HFR:”后面的数字
  • “已探测到的星星”后面的数字

一旦我遇到“自动对焦完成”，我想打印在 .log 和 |INFO 之间的行部分中编码的时间和日期，然后是位置 hfr 和星星

我尝试了部分代码，但未能打印出 hfr 和日期

$ grep -B4 'AutoFocus completed' 20240831-195957-3.1.1.9001.10824-*.log \
| awk '/Moving Focuser to/ { pos= $5 }; /Average HFR/ { hfr=$3}; /AutoFocus completed/ { print $1,pos,hfr }'
 2.545578870303149,.1.9001.10824-202408.log:2024-08-31T20:19:27.9719|INFO|AutoFocusVM.cs|StartAutoFocus|277|AutoFocus 21611
 2.4623768995206703,1.9001.10824-202408.log:2024-08-31T20:55:29.6839|INFO|AutoFocusVM.cs|StartAutoFocus|277|AutoFocus 21573
 2.337959785686696,.1.9001.10824-202408.log:2024-08-31T22:02:08.0477|INFO|AutoFocusVM.cs|StartAutoFocus|277|AutoFocus 21589
 2.360274405865274,.1.9001.10824-202408.log:2024-08-31T23:09:24.1184|INFO|AutoFocusVM.cs|StartAutoFocus|277|AutoFocus 21558
 2.3450609716393003,1.9001.10824-202409.log:2024-09-01T00:16:57.9708|INFO|AutoFocusVM.cs|StartAutoFocus|277|AutoFocus 21566
 2.361727006131884,.1.9001.10824-202409.log:2024-09-01T01:09:04.0561|INFO|AutoFocusVM.cs|StartAutoFocus|277|AutoFocus 21568
 2.561488030855142,.1.9001.10824-202409.log:2024-09-01T02:12:22.2001|INFO|AutoFocusVM.cs|StartAutoFocus|277|AutoFocus 21561
 2.3263163204824595,1.9001.10824-202409.log:2024-09-01T03:19:34.1076|INFO|AutoFocusVM.cs|StartAutoFocus|277|AutoFocus 21610
 2.371915558447258,.1.9001.10824-202409.log:2024-09-01T04:26:36.0461|INFO|AutoFocusVM.cs|StartAutoFocus|277|AutoFocus 21588

期望输出：

2024-08-31T20:19:27.9719 21611  2.545578870303149  609
2024-08-31T20:55:29.6839 21573  2.4623768995206703 832
2024-08-31T22:02:08.0477 21589  2.337959785686696  972

在 WSL 中运行 awk。

awk --version
GNU Awk 5.1.0, API: 3.0 (GNU MPFR 4.1.0, GNU MP 6.2.1)
Copyright (C) 1989, 1991-2020 Free Software Foundation.

更新以解决 Ed Morton 的回答

awk 脚本仅与前面的 grep 配合使用。似乎模式的某些部分只与 grep 前面的文件名挂钩。没有 grep 则不起作用。不过这是完全可以接受的，我会将其标记为选定的答案。

这有效：

grep -B4 'AutoFocus completed' 20240831-195957-3.1.1.9001.10824-*.log | awk -f AF_stats.awk
2024-08-31T20:19:27.9719 21611 2.545578870303149 609
2024-08-31T20:55:29.6839 21573 2.4623768995206703 832
2024-08-31T22:02:08.0477 21589 2.337959785686696 972
2024-08-31T23:09:24.1184 21558 2.360274405865274 999
2024-09-01T00:16:57.9708 21566 2.3450609716393003 1076
2024-09-01T01:09:04.0561 21568 2.361727006131884 1067
2024-09-01T02:12:22.2001 21561 2.561488030855142 1017
2024-09-01T03:19:34.1076 21610 2.3263163204824595 1021
2024-09-01T04:26:36.0461 21588 2.371915558447258 1008

这不起作用：

cat  20240831-195957-3.1.1.9001.10824-*.log | awk -f AF_stats.awk
awk
Martin Hope
shantanuo
Asked: 2024-08-30 18:21:29 +0800 CST
  • 7

我有一个使用命令 | sort | uniq -c 生成的文件

city.txt
2 mumbaiXa
3 mumbaiXb
1 mumbaiXp
5 delhiXn
4 delhiXz
1 parisXs
7 parisXt
1 parisXa
9 parisXe

我试图按 X 进行拆分并获取每个城市的数量：

expected output:
mumbai 6
delhi 9
paris 18

我尝试过这个，但没有得到预期的结果。

grep 'X' city.txt | awk '{print $2}' | awk -F 'X' '{print $1}' | sort | uniq -c

更新：

数据文件看起来像这样...

   1904 mumbaiXa
   1167 mumbaiXa
    830 mumbaiXb
    565 mumbaiXp
    424 delhiXn
    423 delhiXz

我给出了一个简化版本并更改了文本。

awk
Martin Hope
Adam D.
Asked: 2024-08-15 10:20:43 +0800 CST
  • 7

我想知道以下行为是否可靠：

echo 😄 | gawk '{split($0,array,"."); print array[1] length(array);}'

输出为：😄1

对比

echo 😄 | gawk '{patsplit($0,array,"."); print array[1] length(array);}'

输出为：�4

patsplit是在字节上工作还是split在字符上工作，但我没有在任何地方找到关于此的文档或讨论。问题是，我可以依赖这种行为吗？在哪里？

awk
Martin Hope
albertkao9
Asked: 2024-08-06 00:03:17 +0800 CST
  • 6

在以“declarations:”字符串开头的行的文本文件中，将“declarations”替换为“imports”，将“AppComponent”或“NxWelcomeComponent”替换为“”，解析结果字符串以获取用逗号“，”分隔的单个字符串，并从上面获取它们相关的导入字符串。例如：

import { RouterModule } from '@angular/router';
import { ScrollDirective } from './directives/scroll.directive';
import { TestComponent } from './test';
import { Test2 } from './test2';
import { Test3 } from './test';

@NgModule({
  declarations: [AppComponent, NxWelcomeComponent, ScrollDirective, TestComponent, Test2],
})

预期输出：

import { ScrollDirective } from './directives/scroll.directive';
import { TestComponent } from './test';
import { Test2 } from './test2';

imports: [ScrollDirective, TestComponent, Test2],

我试过了：test.awk：

/declarations:/ {str=$0;  sub("declarations", "imports", str) ; sub("AppComponent,", "", str) ; sub("NxWelcomeComponent,", "", str) }
/import/ { importbuf[++arrindex]=$0}

END {
    for (i in importbuf) {
        print importbuf[i]
    }
    print str
}

awk -f test.awk in

额外输入2：

import { RouterModule } from '@angular/router';
import { ScrollDirective } from './directives/scroll.directive';
import { TestComponent } from './test';
import {Test4} from './test4';

@NgModule({
  declarations: [AppComponent, NxWelcomeComponent, ScrollDirective, TestComponent, Test4],
})

预期结果2：

import { ScrollDirective } from './directives/scroll.directive';
import { TestComponent } from './test';
import {Test4} from './test4';

imports: [ScrollDirective, TestComponent, Test4],

awk -f test.awk in2
awk
Martin Hope
trogne
Asked: 2024-06-28 02:00:02 +0800 CST
  • 6

我有一个数字列表。

对于每个数字，我想在另一个文件中找到它。

但我只想在第12列找到它。

我尝试了很多方法，包括变量注入：

for line in `cat numbers.txt`; do awk -F'|' -v "LINE=$line" '$12~/LINE/' bigfilewithcolumns.txt; done

使用 awk 可以实现吗？

awk
Martin Hope
ShannonTown
Asked: 2024-05-24 05:16:15 +0800 CST
  • 6

我有一个 fastq 文件，其中前 8 行如下所示：

@SRR21388627.2845086/1
GCTGCAGTTGCTGCTGTTGCTGCTGCTGGGGCAGCACACCAGGATGGCCGGCGCCCCCG
+
FFFFFFFFFFFFFFFFFFFFF:FFFFFFFFFFFFFFFFFFFFFFF:FFFFFFFFFF:FF
@SRR21388627.2707233/1
GCTGCAGTTGCTGCTGTTGCTGCTGCTGGGGCAGCACACCAGGATGGCCGGCGCCCCCG
+
FFFF:FF,:FFFF,FF,F:FFFFF:,F,,:,FF:,:,FFF:::F:,,FFF:::,FF:::

我想获取DNA序列并将每个序列保存为一个新文件，该文件以序列之前的行命名，例如“SRR21388627.2845086.1.fq”，其中删除了@，并/替换为.

到目前为止，我想出了一个参考这篇文章的命令，但它还不起作用，因为我不确定如何删除@和/替换awk

cat deltaQ_1_region_1.fq | paste - - - - | cut -f1,2 | 
awk -F'\t' '$1!=prev{close(out); out=$1".fq"; prev=$1} {sub(/[^\t]+\t/,""); print > out}' file

谢谢你！

awk