Kiwy's questions

我运行以下命令：

systemctl status tomcat10.service
#and get the following warning: 
Warning: The unit file, source configuration file or drop-ins of tomcat10.service changed on disk. Run 'systemctl daemon-reload' to reload units.

如果我查看单元文件

ls -l /usr/lib/systemd/system/tomcat10.service
-rw-r--r-- 1 root root 1161 Jul  2 12:36 /usr/lib/systemd/system/tomcat10.service

该文件已被修改或至少被篡改。

然而，即使我使用这样的装置比较当前运行的配置：

systemctl cat tomcat10.service | diff /usr/lib/systemd/system/tomcat10.service -
# Warning: tomcat10.service changed on disk, the version systemd has loaded is 
outdated.
# This output shows the current version of the unit's original fragment and drop-in files.
# If fragments or drop-ins were added or removed, they are not properly reflected in this output.
# Run 'systemctl daemon-reload' to reload units.
0a1
> # /usr/lib/systemd/system/tomcat10.service

但在这种情况下，我根本看不到任何不同，而且消息让我感到困惑，我真的是在将正在运行的 congig 与当​​前配置进行比较吗？如果我什么都没有改变，那么为什么 systemd 要求我进行守护进程重新加载？
所以我的问题是如何可靠地将 systemctl unit 运行配置与当前启动配置进行比较？
更广泛地说，如何知道在执行时或键入时/之前发生了什么变化或即将发生什么变化systemctl daemon-reload。

我正在尝试打印文件的出生日期（crtime），我正在使用 ext4 并支持 crtime 启用：

stat a
  File: a
  Size: 0           Blocks: 0          IO Block: 4096   regular empty file
Device: 254,5   Inode: 393233      Links: 1
Access: (0644/-rw-r--r--)  Uid: ( 1006/    user)   Gid: ( 1006/    user)
Access: 2024-06-24 13:35:25.672343713 +0200
Modify: 2024-06-24 13:35:25.672343713 +0200
Change: 2024-06-24 13:35:25.672343713 +0200
 Birth: 2024-06-24 13:35:25.672343713 +0200

find -printf '%B@'当尝试按照手册所示显示出生日期时：

%Bk    File's  birth  time,  i.e., its creation time, in the format 
specified by k, which is the same as for %A. 
This directive produces an empty string if the underlying operating 
system  or  filesystem does not support birth times.

我得到了这个结果：

find -name a -printf '%B@ %p\n' 
-1.-000000010 ./a

这是错误还是我不知道的功能或其他什么。我使用的是 find 版本 4.9.0-5（也测试了版本 -4）。

我已经在 Ubuntu 和 Debian 上尝试过了。

我有一个脚本，它从一个文件夹中获取多个 CSV 文件，并将它们放在一个 gzip 文件中，并从文件名中提取一个字段：

awk -F";" 'BEGIN { OFS = FS }
FNR == 1 { match(FILENAME, "([0-9]{8})", a); JOBID = a[1]; print $0, JOBID }
FNR > 1 { print $0, JOBID }' Event_*txt | gzip > agzipfile.gz

我的目标是用来NF检查该行是否包含 5 个字段，如果不包含，则将该行打印到 stderr 或另一个文件。
但是我不明白或找不到这样做的正确方法。
这可能吗？如何？
PS：我正在使用 GNUawk

我正在尝试根据文件系统块大小进行一些测试，以识别由于 IO 错误导致的网格作业中的一些潜在瓶颈。我注意到在作业期间有很多 8096 B 的小文件增量，而 FS 的块大小为：

stat -fc %s /my/filesytem
1048576

这远非最佳。为了模拟这种行为，我创建了两个从 1GB 到 20GB 的小随机文件，dd并 /dev/urandom作为源，我尝试了这个 python 代码：

#!/bin/python
bsize=8096
print('File random.20g1')
print(strftime("%Y-%m-%d_%H:%M:%S"))
f1= open('random.20g1','rb')
f2= open('random.20g1.dest','wb')

while True:
   b = f1.read(bsize)
   if b:
       f2.write(b)
   else:
       break
print(strftime("%Y-%m-%d_%H:%M:%S"))

我也试过了bsize=1048576。

我首先观察到块大小为 8096 和 1048576 之间的读/写时间差为 4 秒（大块大小少 4 秒）。
第一个结果很有希望，但经过进一步测试，例如将文件大小增加到 20GB 或对 10 个 GB 文件执行相同操作，我观察到在性能方面始终存在 4/3 秒的相同差异，并且增益永远不会扩展文件。

我在我的测试过程中做错了什么还是你觉得没问题？
例如，我本来希望在增加文件大小方面有所改进。

这是我在几个 Linux 风格中多次看到的问题，所以让我们尽量详尽。
在用户登录其桌面会话之前和之后执行脚本/命令/程序的方法是什么？

我正在处理命名Event_42417555_2018-05-23_16\:45\:28-log.txt和格式如下的 CSV 文件：

timestamp;fullpath;event;size
1521540649.02;/home/workdir/ScienceXMLIn/config.cfg;IN_OPEN;2324
1521540649.02;/home/workdir/ScienceXMLIn/config.cfg;IN_ACCESS;2324
1521540649.02;/home/workdir/ScienceXMLIn/config.cfg;IN_CLOSE_NOWRITE;2324
1521540649.02;/home/workdir/quad_list_14.json;IN_OPEN;2160
1521540649.03;/home/workdir/quad_list_14.json;IN_ACCESS;2160
1521540649.03;/home/workdir/quad_list_14.json;IN_CLOSE_NOWRITE;2160

我想要的是根据使用正则表达式提取的文件名中的值向该文件添加一列[0-9]{8}（并删除标题）。

1521540649.02;/home/workdir/ScienceXMLIn/config.cfg;IN_OPEN;2324;42417555
1521540649.02;/home/workdir/ScienceXMLIn/config.cfg;IN_ACCESS;2324;42417555
1521540649.02;/home/workdir/ScienceXMLIn/config.cfg;IN_CLOSE_NOWRITE;2324;42417555
1521540649.02;/home/workdir/quad_list_14.json;IN_OPEN;2160;42417555
1521540649.03;/home/workdir/quad_list_14.json;IN_ACCESS;2160;42417555
1521540649.03;/home/workdir/quad_list_14.json;IN_CLOSE_NOWRITE;2160;42417555

使用 gnu 工具很容易，就像这样（几乎没有经过测试，几乎可以肯定引号有问题）：

#!/bin/bash
#$1 being the filename
JOBID=$(grep -oE "[0-9]{8}" "${1}")
sed -E "s/(.*)/\1;$JOBID/" "${1}"

awk到目前为止，我想在这里实现这一目标，这是最有效的：

awk -F";"  'JOBID=substr(FILENAME ,match(FILENAME,"[0-9]{8}"),8); \  
BEGIN { OFS=";"} { if ($1 != "timestamp") print $0,JOBID; }' \  
Event_42417555_2018-05-23_16\:45\:28-log.txt | head

timestamp;fullpath;event;size
timestamp;fullpath;event;size
1521540649.02;/home/workdir/ScienceXMLIn/config.cfg;IN_OPEN;2324
1521540649.02;/home/workdir/ScienceXMLIn/config.cfg;IN_OPEN;2324;42417555
1521540649.02;/home/workdir/ScienceXMLIn/config.cfg;IN_ACCESS;2324
1521540649.02;/home/workdir/ScienceXMLIn/config.cfg;IN_ACCESS;2324;42417555
1521540649.02;/home/workdir/ScienceXMLIn/config.cfg;IN_CLOSE_NOWRITE;2324
1521540649.02;/home/workdir/ScienceXMLIn/config.cfg;IN_CLOSE_NOWRITE;2324;42417555

我有我的变量并且它设置正确，但我找不到合适的位置。
如果我移动JOBID=substr(FILENAME ,match(FILENAME,"[0-9]{8}"),8);
我无法访问该变量。
这里的问题是文件被处理了两次，一次是正确的（尽管我的条件被忽略了），另一次是它认为我的变量

我有一个问题 /proc/[PID]/io 和 memmap 我需要分析使用 python 库astropy的应用程序 IO 。
我遇到的问题之一是/proc/[PID]/io 中的 IO 读/写总字节数不正确。

我有一个脚本copy.sh：

#!/bin/bash
cp huge.fits huge.2.fits
#python copyfits.py
#python copyfitsMemmapOFF.py
sleep 5 
cat /proc/$$/io

我评论了该cp行以及我想为每个测试运行的行。

copyfits.py包含：

from astropy.io import fits    
hdulist = fits.open('huge.fits', mode='readonly')
hdulist.writeto('huge.2.fits')
hdulist.close()

copyfitsMemmapOFF.py包含：

    from astropy.io import fits    
    hdulist = fits.open('huge.fits', mode='readonly', memmap=False)
    hdulist.writeto('huge.2.fits')
    hdulist.close()

以下是每个解决方案的 IO 结果：

cp huge.fits huge.2.fits

rchar: 9749929202
wchar: 9749551680

python copyfits.py

**rchar: 8399421**
wchar: 9749551685

python copyfitsMemmapOFF.py

rchar: 9757502959
wchar: 9749551685

我了解当使用此变量监控应用程序读取文件的数量时，关闭 memmap 会导致 IO 结果不一致。memmap 如何/为什么不计入标准 IO 中，我如何才能找到这些 IO ？
因为如果它是内核而不是应用程序读取文件，则仍然可以访问该文件。

我有几个由inotify脚本生成的 1MB 到 6GB 的 CSV 文件，其中的事件列表格式如下：
timestamp;fullpath;event;size.

这些文件的格式如下：

timestamp;fullpath;event;size
1521540649.02;/home/workdir/ScienceXMLIn/config.cfg;IN_OPEN;2324
1521540649.02;/home/workdir/ScienceXMLIn/config.cfg;IN_ACCESS;2324
1521540649.02;/home/workdir/ScienceXMLIn/config.cfg;IN_CLOSE_NOWRITE;2324
1521540649.02;/home/workdir/quad_list_14.json;IN_OPEN;2160
1521540649.03;/home/workdir/quad_list_14.json;IN_ACCESS;2160
1521540649.03;/home/workdir/quad_list_14.json;IN_CLOSE_NOWRITE;2160
1521540649.03;/home/workdir/ScienceXMLIn/masterbias_list.asc;IN_OPEN;70
1521540649.03;/home/workdir/ScienceXMLIn/masterbias_list.asc.1;IN_OPEN;80
1521540649.03;/home/workdir/ScienceXMLIn/masterbias_list.asc.2;IN_OPEN;70
1521540649.03;/home/workdir/otherfolder/quad_list_14.json;IN_OPEN;2160
1521540649.03;/home/workdir/otherfolder/quad_list_14.json;IN_CLOSE_NOWRITE;2160

我的目标是识别出现在不同文件夹中的同名文件。
在此示例中，该文件quad_list_14.json同时出现在/home/workdir/otherfolder和/home/workdir/中。

我想要的输出很简单，只是出现在多个文件夹中的文件列表，在这种情况下，它看起来像这样：

quad_list_14.json

为此，我编写了一小段代码：

#this line cut the file to only get unique filepath
PATHLIST=$(cut -d';' -f 2 ${1} | sort -u)
FILENAMELIST=""

#this loop build a list of basename from the list of filepath
for path in ${PATHLIST}
do
    FILENAMELIST="$(basename "${path}")
${FILENAMELIST}"
done

#once the list is build, I simply find the duplicates with uniq -d as the list is already sorted
echo "${FILENAMELIST}" | sort | uniq -d

不要在家里使用这个代码，这很糟糕，我应该用这样的在线人替换这个脚本：

#this get all file path, sort them and only keep unique entry then
#remove the path to get the basename of the file 
#and finally sort and output duplicates entry.
cut -d';' -f 2 ${1} | sort -u |  grep -o '[^/]*$' | sort | uniq -d

我的问题虽然仍然存在，而且文件很多，最短需要 0.5 秒，但最长需要 45 秒在 SSD 上（而且我的生产磁盘不会那么快）在不同的文件夹中找到重复的文件名。

我需要改进此代码以使其更高效。我唯一的限制是我无法完全加载 RAM 中的文件。

我不确定是否正确地表达了这个问题，我已经尝试阅读man proc，但我无法找到正确的答案，也找不到简单的方法来验证它。
我尝试获取一个 PID 的 CPU/RAM 消耗，但我不知道程序将投射多少子进程，我想获取 CPU 和 RAM 消耗的总量，而不仅仅是主进程。
我知道事实和经验/proc/[PID]/io确实是通过所有子进程累积的，但我想知道，如果可能的话，如果这同样适用于/proc/[PID]/stat.