从 bash 代码
command1 | tee >(command2) | command3
我想捕获in的输出和command2invar2的输出。command3var3
command1是 I/O 绑定的，其他命令成本很高，但可以在command1完成之前开始工作。
command2和的输出顺序command3不固定。所以我尝试在
read -r var2 <<< var3=(command1 | tee >(command2 >&3) | command3) 3>&1
或者
{read -u 3 -r var2; read -r var3} <<< command1 | tee >(command2 >&3) | command3
但没有成功。
有没有办法让三个命令并行运行，将结果存储在不同的变量中而不是制作临时文件？
我想提取所有$file1以存储在$file2.
$file1大小为 4 GB，约有 2000 万行，$file2有 200 万行，大小约为 140 MB，包含两列，用,. 这两个文件的最大行长度远低于 1000，它们按顺序排序，LC_ALL=C并且$file1可以包含除\0.
没想到这个命令
parallel --pipepart -a $file1 grep -Ff $file2
消耗大量内存并被操作系统杀死。
如果我限制线程数，该命令有效：
parallel --pipepart -j 8 -a $file1 grep -Ff $file2
对于最后一个命令，htop 显示每个grep -Ff $file2-thread 始终占用 12.3 GB 的内存。我假设这个需求来自字典 grep 构建于$file2.
我怎样才能更有效地实现这样的过滤器？
我的文件有数百万行，驻留在内存中/dev/shm/tmp.file，被多个线程访问，看起来像这样
831092,25a1bd66f2eec71aa2f0a8bb3d,/path/to/a/file
4324,8d83c29e4d8c71bd66f1bd66fs,/path/to/another/file
...
,并按第二个之后的部分排序sort -t , -k3。一般来说，每一行都有形状[0-9]*,[0-9a-z]*,.*，文件路径可以包含除\0or之外的任何字符\n。
我需要尽快提取驻留在给定目录中的所有文件的行，而无需制作额外的副本。由于文件是以这种方式排序的，我正在寻找的行是文件的一个不间断的块。
目前我使用grep -F ',<directory>' /dev/shm/tmp.file但我知道对第一个命中进行二进制搜索然后逐行扩展块或使用另一个二进制搜索而不读取每个新行的整个文件会更快。但是，这必须集成到 bash 脚本中，我发现无法在 bash 中执行类似 lseek 的操作。
有sgrep但它需要对完整的行进行排序。
如何以',<directory>'比 更快的速度提取所有匹配项grep -F？
编辑：输入/dev/shm/tmp.file仅用于进行这种提取。因此，以某种方式对其进行预处理以使工作更容易是一种选择。
编辑： 和a.b之间的排序不是问题，因为所有子目录都应该包含在块中。aa/b