AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / user-72456

αғsнιη's questions

Martin Hope
αғsнιη
Asked: 2024-08-23 11:34:41 +0800 CST

grep 命令因内存不足错误而失败

  • 11

我在运行

grep -Fxvf file1 file2

文件 1 大小:~200MB
文件 2 大小:~300MB
每个文件中的记录数:~300K
平均记录长度:~1K(仅 ASCII 字符)
两个文件之间的差异为 ~18K 条记录

可用内存:~16GB

我尝试了几个不同的grep版本,并在 VM、WSL 和物理服务器上进行了尝试,但得到了相同的结果。

请注意,我运行了相同的命令,但只使用了两个文件中的几行来识别它不会由于文件中有一些特殊字符而陷入无限循环,并且它是成功的。

这是正常的吗?

我正在尝试输出file2不存在的记录file1。

我已经在awk相同的环境中解决了我的需求,并在不到 10 秒的时间内获得了输出,但我想知道为什么会grep出现 OOM 的结果。

当我需要查询相同要求时,我几乎总是使用相同的命令,甚至我比较了两个非常大的文件,比如两个大小约为 2GB 的文件,每个文件约有 90M 条记录,并且记录最多包含约 20 个 ASCII 字符,在同一个框中没有任何问题。

我grep在 SLES12 上使用了 GNU 2.7、2.16,grep在 WSL 中的 Ubnutu 22.04 上使用了 GNU 3.7。

linux
  • 2 个回答
  • 471 Views
Martin Hope
αғsнιη
Asked: 2022-03-11 04:39:59 +0800 CST

如何禁用时区的 DST 更改?

  • 2

我的系统时区是亚洲/德黑兰,它在夏季(春季向前)调整夏令时,在冬季调整;但是我确实需要禁用这些 DST 调整并将时区始终保持在 UTC+3:30。我如何在 Linux 中做到这一点?

linux timezone
  • 1 个回答
  • 911 Views
Martin Hope
αғsнιη
Asked: 2018-09-16 21:29:33 +0800 CST

忽略单个相同文件名的自动完成

  • 5

通常,当我将一个文件名传递给当前目录中唯一由 Tab 自动完成的文件时,在它之前出现的命令然后按多个 Tab(错误地),相同的文件名多次完成,我应该删除或取消并重新开始.

有没有办法禁用此行为(不创建另一个文件或隐藏文件)?

ls <Tab>filename <Tab>filename <Tab>filename
bash autocomplete
  • 1 个回答
  • 154 Views
Martin Hope
αғsнιη
Asked: 2018-05-25 02:22:23 +0800 CST

sh shell 不支持 $@ 上的参数扩展吗?

  • 8

我在 AU 上发布了一个问题的答案,我发现参数扩展 on$@不适用于shshell:

<infile xargs -d'\n' sh -c 'echo "${@%%/*}"' _

但它在bash. 这是sh外壳的预期行为,我如何在那里执行扩展?

此外,我知道通过-n1选项xargs我一次只能将一行传递给命令,但我对是否sh可以扩展感兴趣$@:

<infile xargs -d'\n' -n1 sh -c 'echo "${0%%/*}"'

infile包含:

A1 /B1/C1
A 2/B2/C2
A3/B3/C3
bash shell
  • 1 个回答
  • 1030 Views
Martin Hope
αғsнιη
Asked: 2018-05-24 01:24:04 +0800 CST

在 awk 中使用波浪号 ~ 运算符时需要转义序列在哪里?

  • 6

我有一个pattern具有以下值的变量:

\"something//\\anotherthing'

和一个包含以下内容的文件:

\"something//\\anotherthing'
\"something//\\anotherthing
\"something/\anotherthing'
\"something\anotherthing'
\\"something\/\/\\\\anotherthing'

当我将从文件中读取的行与==操作符环境中的模式进行比较时,我得到了预期的输出:

patt="$pattern" awk '{print $0, ENVIRON["patt"], ($0 == ENVIRON["patt"]?"YES":"NO") }'  OFS="\t" file
\"something//\\anotherthing'    \"something//\\anotherthing'    YES
\"something//\\anotherthing     \"something//\\anotherthing'    NO
\"something/\anotherthing'      \"something//\\anotherthing'    NO
\"something\anotherthing'       \"something//\\anotherthing'    NO
\\"something\/\/\\\\anotherthing'       \"something//\\anotherthing'    NO

但是当我对~操作员做同样的事情时,测试永远不会匹配。(我期望YES在第一行,如上所述):

patt="$pattern" awk '{print $0, ENVIRON["patt"], ($0 ~ ENVIRON["patt"]?"YES":"NO") }'  OFS="\t" file
\"something//\\anotherthing'    \"something//\\anotherthing'    NO
\"something//\\anotherthing     \"something//\\anotherthing'    NO
\"something/\anotherthing'      \"something//\\anotherthing'    NO
\"something\anotherthing'       \"something//\\anotherthing'    NO
\\"something\/\/\\\\anotherthing'       \"something//\\anotherthing'    NO

要解决~比较问题,我需要双重转义转义:

patt="${pattern//\\/\\\\}" awk '{print $0, ENVIRON["patt"], ($0 ~ ENVIRON["patt"]?"YES":"NO") }'  OFS="\t" file
\"something//\\anotherthing'    \\"something//\\\\anotherthing' YES
\"something//\\anotherthing     \\"something//\\\\anotherthing' NO
\"something/\anotherthing'      \\"something//\\\\anotherthing' NO
\"something\anotherthing'       \\"something//\\\\anotherthing' NO
\\"something\/\/\\\\anotherthing'       \\"something//\\\\anotherthing' NO

ENVIRON["patt"]请注意第二列中打印结果的双重转义。

问题:

使用波浪号比较运算符时, awk中的转义序列在哪里发生?~在$0(或$1, $2, ...) 或在ENVIRON["variable"]?

awk escape-characters
  • 2 个回答
  • 5344 Views
Martin Hope
αғsнιη
Asked: 2018-04-12 04:29:31 +0800 CST

awk 中的单引号

  • 6

有人可以解释一下下面的awk命令发生了什么吗?如果没有错误,那么为什么notme没有得到打印,为什么我没有得到语法错误,那么对于右括号...}需要用引号关闭...}'?

$ awk '{print "me "$0 '"notme"} <<<"printme"
me printme

然后我会尝试这个:

$ awk '{print "me "$0 '"\"$(date)"\"} <<<"printme-at "
me printme-at Wed Apr 11 16:41:34 DST 2018

或者

awk '{print '"\"$(date)\""} <<<"run"
Wed Apr 11 16:56:38 DST 2018

正如它所显示的,这意味着我可以使用 shell 命令替换来做所有事情。

这是一个错误吗?或者也许是我找不到的特殊状态。

awk
  • 2 个回答
  • 2382 Views
Martin Hope
αғsнιη
Asked: 2018-03-20 10:32:41 +0800 CST

删除 CSV 文件中每个字段中的重复模式/条目

  • 1

如何使用以下示例作为数据删除每个单独字段中的重复条目。

0x,9.4,,,#0,#UNIX#unix,#cli#L#فا#0#فا#0#L#SE#Cli#SE,#فارسی#فارسی#۱#1#١#1,bsh,#V & v

预期输出(删除所有重复的,不区分大小写,Unicode“波斯语#۱/阿拉伯语#١”的差异,条目的顺序以及应该保留哪个条目(忽略大小写)在这里无关紧要):

0x,9.4,,,#0,#unix,#cli#L#فا#0#SE,#فارسی#١#۱#1,bsh,#V & v

模式采用这种格式#x,x表示一个或多个字符长度的任何内容。

波斯语/阿拉伯语字母/数字差异的 Unicode 表

awk text-processing
  • 3 个回答
  • 647 Views

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    模块 i915 可能缺少固件 /lib/firmware/i915/*

    • 3 个回答
  • Marko Smith

    无法获取 jessie backports 存储库

    • 4 个回答
  • Marko Smith

    如何将 GPG 私钥和公钥导出到文件

    • 4 个回答
  • Marko Smith

    我们如何运行存储在变量中的命令?

    • 5 个回答
  • Marko Smith

    如何配置 systemd-resolved 和 systemd-networkd 以使用本地 DNS 服务器来解析本地域和远程 DNS 服务器来解析远程域?

    • 3 个回答
  • Marko Smith

    dist-upgrade 后 Kali Linux 中的 apt-get update 错误 [重复]

    • 2 个回答
  • Marko Smith

    如何从 systemctl 服务日志中查看最新的 x 行

    • 5 个回答
  • Marko Smith

    Nano - 跳转到文件末尾

    • 8 个回答
  • Marko Smith

    grub 错误:你需要先加载内核

    • 4 个回答
  • Marko Smith

    如何下载软件包而不是使用 apt-get 命令安装它?

    • 7 个回答
  • Martin Hope
    user12345 无法获取 jessie backports 存储库 2019-03-27 04:39:28 +0800 CST
  • Martin Hope
    Carl 为什么大多数 systemd 示例都包含 WantedBy=multi-user.target? 2019-03-15 11:49:25 +0800 CST
  • Martin Hope
    rocky 如何将 GPG 私钥和公钥导出到文件 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Evan Carroll systemctl 状态显示:“状态:降级” 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim 我们如何运行存储在变量中的命令? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S 为什么 /dev/null 是一个文件?为什么它的功能不作为一个简单的程序来实现? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 如何从 systemctl 服务日志中查看最新的 x 行 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - 跳转到文件末尾 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla 为什么真假这么大? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis 在一个巨大的(70GB)、一行、文本文件中替换字符串 2017-12-30 06:58:33 +0800 CST

热门标签

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve