Yves's questions

在我的 CentOS 中，有一个 Logstash，它会生成很多日志文件。日志文件如下所示：

logstash-2023-03-09.log  logstash-2023-03-20.log                   logstash-deprecation-2023-03-08-1.log.gz  logstash-plain-2023-03-14-1.log.gz  logstash-plain-2023-03-25-1.log.gz
logstash-2023-03-10.log  logstash-2023-03-21.log                   logstash-deprecation-2023-03-09-1.log.gz  logstash-plain-2023-03-15-1.log.gz  logstash-plain-2023-03-26-1.log.gz
logstash-2023-03-11.log  logstash-2023-03-22.log                   logstash-deprecation-2023-03-10-1.log.gz  logstash-plain-2023-03-16-1.log.gz  logstash-plain-2023-03-27-1.log.gz
logstash-2023-03-12.log  logstash-2023-03-23.log                   logstash-deprecation.log                  logstash-plain-2023-03-17-1.log.gz  logstash-plain-2023-03-28-1.log.gz
logstash-2023-03-13.log  logstash-2023-03-24.log                   logstash-json.log                         logstash-plain-2023-03-18-1.log.gz  logstash-plain.log
logstash-2023-03-14.log  logstash-2023-03-25.log                   logstash-plain-2023-03-07-1.log.gz        logstash-plain-2023-03-19-1.log.gz  logstash-slowlog-json.log
logstash-2023-03-15.log  logstash-2023-03-26.log                   logstash-plain-2023-03-09-1.log.gz        logstash-plain-2023-03-20-1.log.gz  logstash-slowlog-plain.log
logstash-2023-03-16.log  logstash-2023-03-27.log                   logstash-plain-2023-03-10-1.log.gz        logstash-plain-2023-03-21-1.log.gz
logstash-2023-03-17.log  logstash-2023-03-28.log                   logstash-plain-2023-03-11-1.log.gz        logstash-plain-2023-03-22-1.log.gz
logstash-2023-03-18.log  logstash-2023-03-29.log                   logstash-plain-2023-03-12-1.log.gz        logstash-plain-2023-03-23-1.log.gz
logstash-2023-03-19.log  logstash-deprecation-2023-03-07-1.log.gz  logstash-plain-2023-03-13-1.log.gz        logstash-plain-2023-03-24-1.log.gz

所有这些都是由 Logstash 生成的。

现在我想用logrotate它们来删除旧文件。

这是我的配置logrotate：

[envoy@mirror-dfh0splogv logstash]$ cat /etc/logrotate.d/logstash
/var/log/logstash/logstash-20*.log {
    daily
    rotate 15
    compress
    delaycompress
}

/var/log/logstash/logstash-plain*.log.gz {
    daily
    rotate 5
}

我想要的很简单。对于logstash-20*.log文件，我只想保留 15 个最新文件。而对于logstash-plain*.log.gz，我只想保留 5 个最新的。

但是，当我执行命令时logrotate --force /etc/logrotate.d/logstash，所有文件名都附加了.1并且没有文件被删除：

logstash-2023-03-09.log.1  logstash-2023-03-20.log.1  logstash-deprecation-2023-03-07-1.log.gz  logstash-plain-2023-03-13-1.log.gz.1  logstash-plain-2023-03-24-1.log.gz.1
logstash-2023-03-10.log.1  logstash-2023-03-21.log.1  logstash-deprecation-2023-03-08-1.log.gz  logstash-plain-2023-03-14-1.log.gz.1  logstash-plain-2023-03-25-1.log.gz.1
logstash-2023-03-11.log.1  logstash-2023-03-22.log.1  logstash-deprecation-2023-03-09-1.log.gz  logstash-plain-2023-03-15-1.log.gz.1  logstash-plain-2023-03-26-1.log.gz.1
logstash-2023-03-12.log.1  logstash-2023-03-23.log.1  logstash-deprecation-2023-03-10-1.log.gz  logstash-plain-2023-03-16-1.log.gz.1  logstash-plain-2023-03-27-1.log.gz.1
logstash-2023-03-13.log.1  logstash-2023-03-24.log.1  logstash-deprecation.log                  logstash-plain-2023-03-17-1.log.gz.1  logstash-plain-2023-03-28-1.log.gz.1
logstash-2023-03-14.log.1  logstash-2023-03-25.log.1  logstash-json.log                         logstash-plain-2023-03-18-1.log.gz.1  logstash-plain.log
logstash-2023-03-15.log.1  logstash-2023-03-26.log.1  logstash-plain-2023-03-07-1.log.gz.1      logstash-plain-2023-03-19-1.log.gz.1  logstash-slowlog-json.log
logstash-2023-03-16.log.1  logstash-2023-03-27.log.1  logstash-plain-2023-03-09-1.log.gz.1      logstash-plain-2023-03-20-1.log.gz.1  logstash-slowlog-plain.log
logstash-2023-03-17.log.1  logstash-2023-03-28.log.1  logstash-plain-2023-03-10-1.log.gz.1      logstash-plain-2023-03-21-1.log.gz.1
logstash-2023-03-18.log.1  logstash-2023-03-29.log    logstash-plain-2023-03-11-1.log.gz.1      logstash-plain-2023-03-22-1.log.gz.1
logstash-2023-03-19.log.1  logstash-2023-03-29.log.1  logstash-plain-2023-03-12-1.log.gz.1      logstash-plain-2023-03-23-1.log.gz.1

我有一些来自 Linux 机器上的 Web 服务的日志。日志如下所示：

{"log":"[2023-03-09T06:39:10.669Z] \"GET /server/prod?blank=true HTTP/1.1\" 200 - 0 874 1 1 \"-\" \"-\" \"aaad-bbb-ccc-dd-eeeee\" \"example.com:22213\" \"172.16.2.1:10080\"\n","stream":"stdout","time":"2023-03-09T06:39:11.935831787Z"}

如您所见，有一些双引号。我需要打印第三个和第四个双引号之间以及第11个和第12个双引号之间的内容。意思是我想获取如下内容：

"GET /server/prod?blank=true HTTP/1.1\"   "example.com:22213\"

我只关心内容。我不关心"或\。

我正在使用 Ubuntu 16.04.4 LTS。我使用 Mobaxterm 远程登录。

当我执行grep时，发生了一些奇怪的事情......

me@mymachine:/data/myserver/log/server$ grep -rnH 23423 ./*log
... # outputs of the grep command
me@mymachine:/data/myserver/log/server$ xterm-256colorxterm-256colorxterm-256colorxterm-256color

我不明白为什么我得到了最后一行。

似乎有人xterm-256colorxterm-256colorxterm-256colorxterm-256color在执行命令后自动键入grep -rnH 23423 ./*log。

我必须删除它或Ctrl-c每次都输入。真的很无聊。

我正在编写一个配置 bash 脚本来在我的 Ubuntu 上构建一些环境。

在这个 bash 脚本中需要做的一件事是添加一个函数~/.bashrc，以便在记录时自动执行它。

但是，由于某种原因，此脚本可能会执行多次。结果，相同的函数被附加了~/.bashrc很多次。

有没有办法解决这个问题？

我知道缓存用于存储数据，以便可以更快地处理未来对该数据的请求。通常我们有三级缓存：当前计算机架构中的 L1、L2 和 L3。我们可以看到缓存硬件。

另外，我听说过缓冲区，它用于安排 IO 流。但我不知道缓冲区使用了哪些硬件。仅仅是记忆吗？

例如，在Linux系统中，free -m可以告诉我cache/buff的用法：

如果我是对的，则buff/cache显示缓存的大小 + 缓冲区的大小。那么缓存的大小来自于L1、L2和L3缓存，对吧？但是缓冲区的大小呢？缓冲区使用哪个硬件？

我想找到所有包含两行的文件：abc和def. 例如，

xxx
111abc
yyy
222def333

该文件应该被捕获，grep因为它包含abc和def.

我应该怎么办？我试过grep -rE 'abc.*def' /dir/了，但它不起作用。

我有一个名为test.sh如下的 bash 脚本：

#!/bin/bash

while :
do
    echo xxx
    sleep 1
done

我不知道为什么./test.sh & | ./test.sh给我一个错误：-bash: syntax error near unexpected token |'，而./test.sh | ./test.sh工作./test.sh | ./test.sh &。

我有一个 Ubuntu 服务器，它有 16 个 CPU。（nproc --all给我看16）

我写了一个 bash 脚本，命名test.sh如下：

#!/bin/bash


while :
do
    echo xxx
done

我执行了它：./test.sh >/dev/null &.

然后我用命令top监控cpu使用情况，我发现一个cpu几乎100%被使用了，因为这个过程test.sh：

6411 me       20   0   11240   3052   2852 R  93.8  0.0   0:11.71 test.sh
%Cpu5 : 96.7 us,  3.3 sy,  0.0 ni,  0.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st

如我们所见，该进程test.sh已分配到第 5 个 CPU 上，几乎 100% 已被使用。

是否可以在多个 CPU 上分配一个繁重的进程，以便我们可以更多地使用 CPU？为什么操作系统不将进程分配到test.sh多个 CPU 上？是因为进程test.sh不够重还是我们应该为操作系统做一些配置？

我正在使用 Ubuntu 16.04.3，我发现我可以从两个地方获取内核日志：/var/log/kern.log和/var/log/syslog. /var/log/syslog包含其他日志，但我可以/var/log/kern.log在其中找到。

那么有没有可能把它kern.log拒之门外syslog呢？我的意思是我想kern.log从syslog?

我试图module(load="imklog")从中删除 ，/etc/rsyslog.conf但这会从kern.log和 中删除所有内核日志syslog，而我需要的是不要触摸kern.log，只需从syslog.

我的团队正在开发 CI 环境。

CI 环境每天都会定期生成一个ko名为的文件，其类型为.x.koELF 64-bit LSB relocatable

今天发现这个ko文件的类型变成了data.

我试图找出原因。

我尝试cat这个ko文件，但输出什么都没有。然后，我尝试cat -et x.ko，它给了我很多^@^@^@^@^@^@^@^@^@^@^@^@^@^@...

你知道什么^@^@^@^@^@^@^@^@^@意思吗？

众所周知，当我们重新启动、关闭或启动系统时，屏幕上会打印一些消息，下面是一个截图：

我的系统是 Ubuntu 16.04，我知道上面的这些日志消息来自 systemd。

据我了解，一个普通的用户进程可以在屏幕上打印东西，因为系统给了它三个文件描述符：0、1 和 2。我们可以在/proc/<PID>/fd/. 这是一个例子：

root@X86-Xenial-6:~# ls /proc/3467/fd
0  1  2  255

这3467是一个 hello-world 程序，我不知道225它是什么，但我知道它是标准输入0、标准输出1和2标准错误。

所以，我有一个问题：当系统开始关机，重启或启动时，用户进程尚未创建或已被销毁，这意味着/proc/不再存在，在这种情况下，，0并且1不2存在.

那么为什么来自 systemd 的消息可以打印在屏幕上呢？内核可以打印东西，因为它立即控制屏幕，但我认为systemd不属于内核，那么它​​怎么能在屏幕上打印东西呢？使用什么样的函数或api？

我想知道 Unix/Linux 系统需要哪些用户。我找到了一份文档，它告诉我需要三个必要的用户：root、bin 和 daemon。

对于user bin和user daemon，我还是搞不懂它们是干什么用的。以下是文档对它们的描述：

注意：包含 bin 用户 ID/组 ID 是为了与旧版应用程序兼容。新应用程序不应再使用 bin 用户 ID/组 ID。
守护进程用户 ID/组 ID 被用作非特权用户 ID/组 ID，供守护进程在其下执行以限制它们对系统的访问。通常，守护进程现在应该在单独的用户 ID/组 ID 下运行，以便进一步将守护进程彼此分开。

我想用来systemd在启动时启动服务。但是我收到消息说该服务处于非活动状态（已死）：

root@mdchost:/lib/systemd/system# systemctl status mdc_freespace_vldy_fusion_node.service
● mdc_freespace_vldy_fusion_node.service - MDC Freespace Vldy Fusion Node
   Loaded: loaded (/lib/systemd/system/mdc_freespace_vldy_fusion_node.service; enabled; vendor preset:
   Active: inactive (dead) since Sat 2018-08-04 01:06:48 BST; 5min ago
  Process: 3841 ExecStartPost=/bin/bash /usr/bin/mdc/base/set_limit.sh FUSI mdc_freespace_vldy_fusion_
  Process: 3838 ExecStart=/usr/bin/mdc/fusion/mdc_freespace_vldy_fusion_node (code=exited, status=0/SU
  Process: 3090 ExecStartPre=/opt/x86/ros/kinetic/bin/rosparam load /etc/mdc/fusion/kinematics_dynamic
  Process: 2266 ExecStartPre=/opt/x86/ros/kinetic/bin/rosparam load /etc/mdc/fusion/freespace_vldy_fus
 Main PID: 3838 (code=exited, status=0/SUCCESS)

但是我可以通过执行命令让它手动启动：

systemctl restart mdc_freespace_vldy_fusion_node.service

现在服务的状态变为活动（运行）：

root@mdchost:/lib/systemd/system# systemctl status mdc_freespace_vldy_fusion_node.service
● mdc_freespace_vldy_fusion_node.service - MDC Freespace Vldy Fusion Node
   Loaded: loaded (/lib/systemd/system/mdc_freespace_vldy_fusion_node.service; enabled; vendor preset:
   Active: active (running) since Sat 2018-08-04 01:29:31 BST; 1s ago
  Process: 2065 ExecStartPost=/bin/bash /usr/bin/mdc/base/set_limit.sh FUSI mdc_freespace_vldy_fusion_
  Process: 2017 ExecStartPre=/opt/x86/ros/kinetic/bin/rosparam load /etc/mdc/fusion/kinematics_dynamic
  Process: 1991 ExecStartPre=/opt/x86/ros/kinetic/bin/rosparam load /etc/mdc/fusion/freespace_vldy_fus
 Main PID: 2063 (mdc_freespace_v)
    Tasks: 6
   Memory: 3.5M
      CPU: 469ms
   CGroup: /system.slice/mdc_freespace_vldy_fusion_node.service
           └─2063 /usr/bin/mdc/fusion/mdc_freespace_vldy_fusion_node

这是我的服务文件：

[Unit]
Description=My Node
Requires=start_roscore.service
After=start_roscore.service

[Service]
User=mdc
Group=mdc

Type=simple
KillMode=proces
Restart=on-failure
RestartSec=16
StartLimitInterval=0

EnvironmentFile=/usr/bin/mdc/base/env.cfg
EnvironmentFile=/usr/bin/mdc/ros/ros.cfg

ExecStartPre=/opt/x86/ros/kinetic/bin/rosparam load /etc/mdc/fusion/freespace_vldy_fusion_config.yaml
ExecStartPre=/opt/x86/ros/kinetic/bin/rosparam load /etc/mdc/fusion/kinematics_dynamics.yaml

ExecStart=/usr/bin/mdc/fusion/mdc_freespace_vldy_fusion_node
ExecReload=/usr/bin/mdc/fusion/mdc_freespace_vldy_fusion_node

ExecStartPost=/bin/bash /usr/bin/mdc/base/set_limit.sh FUSI mdc_freespace_vldy_fusion_node

我知道lsof可以列出正在运行的进程打开的所有文件。

如果有一个进程将打开一个文件然后将被终止，我认为我无法捕获该进程打开的文件，lsof因为该进程本身终止得太快了。

所以我正在寻找这样一个工具（名为XXX），允许我执行以下操作：

XXX ./my_process args

命令的输出应该是这样的：

file1
file2
file3

这意味着my_process打开三个文件：file1和file2在file3运行时。

众所周知，cgroups可以限制进程的cpu使用。这是一个例子：

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND          
30142 root      20   0  104m 2520 1024 R 99.7  0.1  14:38.97 sh

我有一个进程，其 pid 为 30142。我可以将其限制如下：

mkdir -p /sys/fs/cgroup/memory/foo
echo 1048576 >  /cgroup/memory/foo/memory.limit_in_bytes
echo 30142 > /cgroup/memory/foo/tasks

正如我们看到的，如果我想限制一个进程，我必须先执行它，然后我可以根据它的pid来限制它。是否可以根据名称来限制进程？是否可以在执行之前限制进程？

我正在使用的功能rosbag。可以记录来自其他 ROS 节点的大量数据。总之，它会生成一个巨大的文件，比如一个200MB的文件。ROSrosbag

生成这样的文件后，发现系统的buff/cache增加了很多。这是我的捕获：

之前rosbag：

之后rosbag：

可以看到，之后rosbag，buff/cache增加了很多，同时free从 19983 减少到了 10896。

我无法理解。据我了解，free这意味着 RAM 的可用大小，buff/cache即缓存的大小。为什么缓存可以使用 RAM 的大小？而且我还发现，如果我删除生成的文件rosbag，buff/cache会从17999恢复到8925。这是系统的动作吗？什么时候会buff/cache增加？什么时候会buff/cache减少？

我有一个名为 .iso 的 iso 文件ubuntu.iso。

我可以mount用命令：mount ubuntu.iso /mnt. 安装后，我可以从命令中看到它df -h: /dev/loop0 825M 825M 0 100% /mnt。

但是，如果我执行 command mount -o loop ubuntu.iso /mnt，我会得到相同的结果。

据我所知，loop device允许我们作为设备访问iso文件，我想这就是我们添加选项的原因-o loop。但是我可以访问我的 iso 文件，即使我只执行mount ubuntu.iso /mnt.

mount所以我看不出和之间的区别mount -o loop。

我的系统是 Ubuntu，上面有三个用户。另外，我有一些分区/dev/sda1：/dev/sda2和/dev/sdc1.

现在整个/home目录都挂载在 上/dev/sda2，整个根目录/都挂载在/dev/sda1.

我的问题是：是否可以挂载三个用户之一的主目录，例如挂载/home/user1在/dev/sdc1? 怎么做？

pushd在编写 bash 脚本时，我已经使用popd了很长时间。但是今天当我执行时which pushd，我没有得到任何输出。我完全无法理解这一点。我一直认为这pushd只是一个命令，就像cd，ls等等。

那为什么which pushd什么都不给我？

我是我的 Ubuntu 16.04.3 的管理员。

在这个系统上，有很多用户，他们都在 sudoers 列表中。我在想是否可以进行如下配置：

我想为每个用户创建一个 Bash 脚本，每个用户只能执行这个脚本。

总之，每个用户都可以告诉我他们想做什么，我将其放入 Bash 脚本中。当他们登录时，他们只能执行这个脚本。