问题[logging](server)

我们系统上的本地用户使用 procmail 通过 spamd 传递邮件。我们在 Ubuntu 22.04 上使用 Postfix。

Postfix 邮件条目首先显示邮件 ID，例如：

Jul 30 07:54:18 alice postfix/qmgr[235769]: 2C704BA328: from=<[email protected]>, size=61699, nrcpt=1 (queue active)

日志中的 spamd 行如下所示，但未提及 ID：

Jul 30 07:54:18 alice spamd[1860392]: spamd: connection from ::1 [::1]:44212 to port 783, fd 5
Jul 30 07:54:18 alice spamd[1860392]: spamd: setuid to slucy succeeded
Jul 30 07:54:18 alice spamd[1860392]: spamd: processing message <NM63EC74D6C01FA8E1Fbootsuk_mid_prod1-Ym91bmNlQG1haWwuYm9vdHMuY29t@mail.boots.com> for sslucy:1832
Jul 30 07:54:20 alice spamd[2047327]: util: setuid: ruid=1832 euid=1832 rgid=1835 1951 egid=1835 1951 
Jul 30 07:54:23 alice spamd[1860392]: spamd: clean message (-3.1/7.8) for slucy:1832 in 5.0 seconds, 61039 bytes.
Jul 30 07:54:23 alice spamd[1860392]: spamd: result: . -3 - DKIMWL_WL_HIGH,DKIM_SIGNED,DKIM_VALID,DKIM_VALID_AU,HEADER_FROM_DIFFERENT_DOMAINS,HTML_FONT_LOW_CONTRAST,HTML_MESSAGE,MAILING_LIST_MULTI,MIME_HTML_ONLY,RCVD_IN_DNSWL_NONE,RCVD_IN_VALIDITY_SAFE,SPF_HELO_NONE,SPF_PASS,T_KAM_HTML_FONT_INVALID scantime=5.0,size=61039,user=sslucy,uid=1832,required_score=7.8,rhost=::1,raddr=::1,rport=44212,mid=<NM63EC74D6C01FA8E1Fbootsuk_mid_prod1-Ym91bmNlQG1haWwuYm9vdHMuY29t@mail.boots.com>,autolearn=ham autolearn_force=no
Jul 30 07:54:23 alice spamd[1734900]: prefork: child states: II

如果我们仅搜索邮件 ID，我们会看到：

Jul 30 07:54:18 alice postfix/smtpd[2047298]: 2C704BA328: client=r105.mail.boots.com[130.248.198.105]
Jul 30 07:54:18 alice postfix/cleanup[2046192]: 2C704BA328: message-id=<NM63EC74D6C01FA8E1Fbootsuk_mid_prod1-Ym91bmNlQG1haWwuYm9vdHMuY29t@mail.boots.com>
Jul 30 07:54:18 alice opendmarc[411763]: 2C704BA328: SPF(mailfrom): mail.boots.com pass
Jul 30 07:54:18 alice opendmarc[411763]: 2C704BA328: mail.boots.com pass
Jul 30 07:54:18 alice postfix/qmgr[235769]: 2C704BA328: from=<[email protected]>, size=61699, nrcpt=1 (queue active)
Jul 30 07:54:23 alice postfix/local[2046202]: 2C704BA328: to=<[email protected]>, orig_to=<[email protected]>, relay=local, delay=5.8, delays=0.74/0/0/5, dsn=2.0.0, status=sent (delivered to command: procmail -a "$EXTENSION")
Jul 30 07:54:23 alice postfix/qmgr[235769]: 2C704BA328: removed

根据Spamassassin 文档，midspamd 日志中的字段表示邮件 ID，但它似乎仅在某些情况下对应于 Postfix 邮件 ID，但并非所有情况（据我所知）都如此。

有没有一种方法可以可靠地将 spamd 进程与给定的 Postfix 邮件 ID 关联起来，以便我们可以分析整个流程？

我的服务器每天生成大约 2.5GB 的日志，但我无法存储它，经过一番调查，我发现我的 854,608 条日志中有 394,880 条如下所示：

    The Windows Filtering Platform has permitted a connection.

Application Information:
    Process ID:     2160
    Application Name:   \device\harddiskvolume2\windows\system32\svchost.exe

Network Information:
    Direction:      Inbound
    Source Address:     192.168.15.25
    Source Port:        5353
    Destination Address:    224.0.0.251
    Destination Port:       5353
    Protocol:       17

Filter Information:
    Filter Run-Time ID: 81091
    Layer Name:     Receive/Accept
    Layer Run-Time ID:  44

另一个 185,103 是同样的东西，但用System代替\device\harddiskvolume2\windows\system32\svchost.exe。

我用它做什么？最重要的是我如何让它停止？

我试图让我们的 Tomcat 9 服务器记录其内部日志/var/log而不是${catalina.base}/logs.

我尝试更改logging.properties中的目的地，但logs目录${catalina.base}实际上是一个符号链接，因此将目的地更改为/var/log应该可以解决问题。这两种想法都不起作用。

另外，我想知道它是否可能是由 引起的catalina.policy，但这意味着 Tomcat 会使用该-secure选项启动。我的 Tomcat 使用 systemd 作为服务启动。我不知道如何检查是否使用了 -secure 。

实际上使用的是Tomcat logging.properties。当我使用 检查进程时ps，我得到-Djava.util.logging.config.file=/opt/rh/jws5/root/usr/share/tomcat/conf/logging.properties，这是正确的文件，我尝试修改的文件。

我在 RHEL 8 上使用 Tomcat 9 和 Java 8。

编辑：我还尝试在服务文件中添加ReadWritePaths=/var/log/tomcat或。ReadWritePaths=/var/log还是没有变化。

Edit2：有关当前配置的一些详细信息。我的CATALINA_BASE是/opt/rh/jws5/root/usr/share/tomcat。它包含以下内容：

drwxr-xr-x 2 root root 134 Dec  7 16:18 bin
lrwxrwxrwx 1 root root  28 Nov 15 17:45 conf -> /etc/opt/rh/scls/jws5/tomcat
lrwxrwxrwx 1 root root  39 Nov 15 17:45 lib -> /opt/rh/jws5/root/usr/share/java/tomcat
lrwxrwxrwx 1 root root  15 Jan 31 17:42 logs -> /var/log/tomcat
lrwxrwxrwx 1 root root  39 Nov 15 17:45 temp -> /var/opt/rh/scls/jws5/cache/tomcat/temp
lrwxrwxrwx 1 root root  40 Nov 15 17:45 webapps -> /var/opt/rh/scls/jws5/lib/tomcat/webapps
lrwxrwxrwx 1 root root  39 Nov 15 17:45 work -> /var/opt/rh/scls/jws5/cache/tomcat/work

日志先前指向 /var/opt/rh/scls/jws5/log/tomcat。使用当前配置，Tomcat 不再登录 /var/opt/rh/scls/jws5/log/tomcat 。但它也不登录/var/log。

这是我的logging.properties 文件的片段，其中包含各种路径：

1catalina.org.apache.juli.AsyncFileHandler.level = FINE
1catalina.org.apache.juli.AsyncFileHandler.directory = ${catalina.base}/logs
1catalina.org.apache.juli.AsyncFileHandler.prefix = catalina.
1catalina.org.apache.juli.AsyncFileHandler.maxDays = 90
1catalina.org.apache.juli.AsyncFileHandler.encoding = UTF-8

2localhost.org.apache.juli.AsyncFileHandler.level = FINE
2localhost.org.apache.juli.AsyncFileHandler.directory = ${catalina.base}/logs
2localhost.org.apache.juli.AsyncFileHandler.prefix = localhost.
2localhost.org.apache.juli.AsyncFileHandler.maxDays = 90
2localhost.org.apache.juli.AsyncFileHandler.encoding = UTF-8

3manager.org.apache.juli.AsyncFileHandler.level = FINE
3manager.org.apache.juli.AsyncFileHandler.directory = ${catalina.base}/logs
3manager.org.apache.juli.AsyncFileHandler.prefix = manager.
3manager.org.apache.juli.AsyncFileHandler.maxDays = 90
3manager.org.apache.juli.AsyncFileHandler.encoding = UTF-8

4host-manager.org.apache.juli.AsyncFileHandler.level = FINE
4host-manager.org.apache.juli.AsyncFileHandler.directory = ${catalina.base}/logs
4host-manager.org.apache.juli.AsyncFileHandler.prefix = host-manager.
4host-manager.org.apache.juli.AsyncFileHandler.maxDays = 90
4host-manager.org.apache.juli.AsyncFileHandler.encoding = UTF-8

Edit3：我尝试替换by${catalina.base}/logs中的那些，仍然无济于事。logging.properties/var/log/tomcat

我对 syslog-ng 相当陌生，并且遇到以下问题。
我有一个 Checkpoint 防火墙，它将日志发送到 Splunk 服务器。由于防火墙发送的数据量很大，我尝试过滤掉不需要的日志。由于这在防火墙或 Splunk 上都是不可能的，因此我现在将防火墙日志发送到 syslog-ng 服务器，该服务器会过滤掉不需要的消息，并通过 Splunk 转发器将其余日志转发到 Splunk。Syslog-ng 服务器上的日志定义如下所示：
log { source { network(transport(tcp) port(12001) flags(no-parse)); };
解析器 { 检查点解析器(); };
过滤器 { 不匹配（“Application_Allow_all”，值（“MESSAGE”））; };
目的地{ 文件(“/var/log/syslog-ng/checkpoint.txt”); };
};
80% 的防火墙日志包含“Application_Allow_all”，我们在 Splunk 服务器上不需要它。到目前为止一切顺利，过滤器工作正常。
现在来说说问题。我需要在 Splunk 服务器上保留包含“Web 服务器访问”的防火墙日志。但包含“Webserver access”的防火墙日志条目也包含“Application_Allow_all”。
我不知道如何组合两个过滤器，而且到目前为止我在互联网上找到的方法都不起作用。我已尝试以下操作：
filter { match("Webserver access", value("MESSAGE")); };
过滤器 { 不匹配（“Application_Allow_all”，值（“MESSAGE”））; };
通过这些过滤器，我现在只获取包含“Webserver 访问”的日志，而没有其他内容。第二个过滤器似乎被忽略了。这是日志条目在 Splunk 服务器上的外观：
“rule_action=Accept |rule_name=Webserver access |rule_name=Application_Allow_all” 我想要实现的是将包含“Webserver Access”的日志由 syslog-ng 转发到 Splunk 服务器，而包含“Application_Allow_all”的所有其他日志都将被丢弃。
欢迎任何想法。

在我的公司，我使用 Terraform 构建了一个 K8s 集群，并使用 EFK（Elasticsearch、Fluent-bit、Kibana）配置了日志系统。

k8s 和 Elasticsearch 使用 AWS 的 EKS 和 Opensearch Servcie (ES 7.10)，Fluent-bit 通过 Helm 作为 Daemonset 单独安装。

https://artifacthub.io/packages/helm/ Fluent/fluence-bit

在 Fluent-bit Config 的情况下，其结构如下。

config:
   inputs: |
     [INPUT]
         Name tail
         Exclude_Path /var/log/containers/cloudwatch-agent*, /var/log/containers/fluent-bit*, /var/log/containers/aws-node*, /var/log/containers/kube-proxy*, / var/log/containers/aws-load-balancer*, /var/log/containers/cert-manager*, /var/log/containers/coredns*, /var/log/containers/ebs-csi*, /var/ log/containers/grafana*, /var/log/containers/karpenter*, /var/log/containers/metrics-server*, /var/log/containers/prometheus*
         Path /var/log/containers/*.log
         Tag kube.*
         Mem_Buf_Limit 50MB
         multiline.parser python-custom

   outputs: |
     [OUTPUT]
         Name es
         Match kube.*
         Host ${es_domain_name}
         Port 443
         TLS On
         AWS_Auth On
         AWS_Region ${region}
         Retry_Limit 6
         Replace_Dots On
         Trace_Error On

   filters: |
     [FILTER]
         Name kubernetes
         Match kube.*
         Merge_Log On
         Merge_Log_Key log_processed
         Keep_LogOff
         K8S-Logging.Parser On
         K8S-Logging.Exclude On

   customParsers: |
     [MULTILINE_PARSER]
         name python-custom
         type regex
         flush_timeout 1000
         rule "start_state" "/stderr F(.*)/" "cont"
         rule "cont" "/stderr F(.*)/" "cont"

总的来说，它工作得很好，但是有一天，在某种情况之后，我注意到 Fluent-bit 收集的所有日志都指向相同的时间戳。

之前Pod输出的日志是用准确的时间戳记录的，但是Pod重新加载后，日志继续用固定的@timestamp记录，并且由于日志是在过去的时区累积的，所以出现以下现象：在 kibana 中查看。

日志都是实时传输到ES的，但是由于它们都是在过去固定的时间收集的，因此无法执行正确的查询。

在此输入图像描述

// Unlike the timestamp output in the actual application, the timestamp recorded in Fluent-bit remains the same.
Oct 16, 2023 @ 16:13:36.142 2023-10-16T09:48:55...[2023-10-16 09:48:55]... 
Oct 16, 2023 @ 16:13:36.142 2023-10-16T09:48:55...[2023-10-16 09:48:55]... 
Oct 16, 2023 @ 16:13:36.142 2023-10-16T09:53:55...[2023-10-16 09:53:55]... 
Oct 16, 2023 @ 16:13:36.142 2023-10-16T09:58:03...[2023-10-16 09:58:03]... 
Oct 16, 2023 @ 16:13:36.142 2023-10-16T09:58:03...[2023-10-16 09:58:03]... 
Oct 16, 2023 @ 16:13:36.142 2023-10-16T09:58:03...[2023-10-16 09:58:03]... 
Oct 16, 2023 @ 16:13:36.142 2023-10-16T09:58:55...[2023-10-16 09:58:55]... 
Oct 16, 2023 @ 16:13:36.142 2023-10-16T09:58:55...[2023-10-16 09:58:55]... 
Oct 16, 2023 @ 16:13:36.142 2023-10-16T10:03:03...[2023-10-16 10:03:03]...
Oct 16, 2023 @ 16:13:36.142 2023-10-16T10:03:55...[2023-10-16 10:03:55]... 

更新和重新加载为每个服务运行的 Pod 时会出现此问题。我确认新创建的Pod的inotify_fs_add日志输出到Fluent-bit，无法确认其他错误日志。

吊舱重新装载

│ backend-api-deployment-5d9fc55496-8mppx                            ●  1/1          0 Running
│ backend-api-deployment-57d68dd4f5-djn8x                            ●  1/1          0 Terminating

流利位日志

│ Fluent Bit v2.1.8
│ * Copyright (C) 2015-2022 The Fluent Bit Authors
│ * Fluent Bit is a CNCF sub-project under the umbrella of Fluentd
│ * https://fluentbit.io
│
│ [2023/10/16 16:05:00] [ info] [fluent bit] version=2.1.8, commit=1d83649441, pid=1
│ [2023/10/16 16:05:00] [ info] [storage] ver=1.4.0, type=memory, sync=normal, checksum=off, max_chunks_up=128
│ [2023/10/16 16:05:00] [ info] [cmetrics] version=0.6.3
│ [2023/10/16 16:05:00] [ info] [ctraces ] version=0.3.1
│ [2023/10/16 16:05:00] [ info] [input:tail:tail.0] initializing
│ [2023/10/16 16:05:00] [ info] [input:tail:tail.0] storage_strategy='memory' (memory only)
│ [2023/10/16 16:05:00] [ info] [input:tail:tail.0] multiline core started
│ [2023/10/16 16:05:00] [ info] [filter:kubernetes:kubernetes.0] https=1 host=kubernetes.default.svc port=443
│ [2023/10/16 16:05:00] [ info] [filter:kubernetes:kubernetes.0]  token updated
│ [2023/10/16 16:05:00] [ info] [filter:kubernetes:kubernetes.0] local POD info OK
│ [2023/10/16 16:05:00] [ info] [filter:kubernetes:kubernetes.0] testing connectivity with API server...
│ [2023/10/16 16:05:00] [ info] [filter:kubernetes:kubernetes.0] connectivity OK
│ [2023/10/16 16:05:00] [ info] [output:es:es.0] worker #0 started
│ [2023/10/16 16:05:00] [ info] [output:es:es.0] worker #1 started
│ [2023/10/16 16:05:00] [ info] [http_server] listen iface=0.0.0.0 tcp_port=2020
│ [2023/10/16 16:05:00] [ info] [sp] stream processor started
│ [2023/10/16 16:05:00] [ info] [input:tail:tail.0] inotify_fs_add(): inode=41916664 watch_fd=1 name=/var/log/containers/backend-api-deployment-57d68dd4f5-djn8x_backend-dev_backend-api-f950104ab9f300586803316ad7beef5c9506db9fceeb4af0dc0575b3b9bacfd7.log
│ [2023/10/16 16:05:00] [ info] [input:tail:tail.0] inotify_fs_add(): inode=17488499 watch_fd=2 name=/var/log/containers/backend-api-deployment-6dc5b97645-tqwxh_backend-staging_backend-api-23f14f74af6cc163f233499ba92a2746cb2f263c9379ba53fc47cd3d76e00bbb.log
...
│ [2023/10/17 04:49:01] [error] [output:es:es.0] HTTP status=429 URI=/_bulk, response:
│ 429 Too Many Requests /_bulk
│
│ [2023/10/17 04:49:01] [ warn] [engine] failed to flush chunk '1-1697518140.870529031.flb', retry in 6 seconds: task_id=1, input=tail.0 > output=es.0 (out_id=0)
│ [2023/10/17 04:49:01] [error] [output:es:es.0] HTTP status=429 URI=/_bulk, response:
│ 429 Too Many Requests /_bulk
│
│ [2023/10/17 04:49:01] [ warn] [engine] failed to flush chunk '1-1697518140.276173730.flb', retry in 7 seconds: task_id=0, input=tail.0 > output=es.0 (out_id=0)
│ [2023/10/17 04:49:07] [ info] [engine] flush chunk '1-1697518140.870529031.flb' succeeded at retry 1: task_id=1, input=tail.0 > output=es.0 (out_id=0)
│ [2023/10/17 04:49:08] [ info] [engine] flush chunk '1-1697518140.276173730.flb' succeeded at retry 1: task_id=0, input=tail.0 > output=es.0 (out_id=0)
│ [2023/10/17 05:08:50] [ info] [input:tail:tail.0] inotify_fs_add(): inode=37547666 watch_fd=8 name=/var/log/containers/backend-api-deployment-5d9fc55496-8mppx_backend-dev_backend-api-839c128d6227f797722496a992ca9149b95c366997c2b1ec28ceb65490582e3b.log
│ [2023/10/17 05:08:52] [ info] [filter:kubernetes:kubernetes.0]  token updated
│ [2023/10/17 05:09:25] [ info] [input:tail:tail.0] inotify_fs_remove(): inode=41916664 watch_fd=1
│ [2023/10/17 05:09:37] [ info] [input:tail:tail.0] inotify_fs_remove(): inode=17488499 watch_fd=2

有趣的是，如果所有的流利位守护进程被手动杀死并通过自我修复复活，它们都会暂时再次正常收集。

之后，如果再次更新并重新加载Service Pod，则会再次出现相同的问题。

是什么原因导致这个问题呢？我该如何修复它？如果有任何推荐的 Fluent-bit 设置，欢迎提供额外的建议。

谢谢你！

假设我想在文件大小为 1kb 时进行 logrotate 。在运行之前，如果日志的文件大小为 4kb，我希望 logrotate 创建 4 个不同的日志文件。

前：

something.log (4kb) 

我期望发生什么。

something.log (0kb) 
something.log.1 (1kb)
something.log.2 (1kb)
something.log.3 (1kb)
something.log.4 (1kb)

但目前正在发生的事情是

something.log (0kb) 
something.log.1 (4kb)

尽管我给定的大小是1k。

读取日志的程序无法处理大于特定大小的文件，因此我想使用 logrotate 来控制大小。

我正在使用的示例 logrotate confing 文件

/pathme/something/data/*/logs/*.log {
su username1 username1
missingok
rotate 10
notifempty
size 1k
copytruncate}

我想跟踪 k8s 集群中的用户活动。例如，我想获取在 pod 中执行命令的用户的 k8s 用户名。有一个工具叫Tetragon。它可以使用k8s api。以下日志是 k8s 集群上 Tetragon 的示例输出：

    {
  "process_exec": {
    "process": {
      "exec_id": "bWluaWt1YmU6NzAyMDQ2ODIyNTEwNDg6MTE5MDk1MQ==",
      "pid": 1190951,
      "uid": 0,
      "cwd": "/",
      "binary": "/bin/sh",
      "arguments": "-c \"sleep 60m\"",
      "flags": "execve rootcwd clone",
      "start_time": "2023-07-22T13:37:01.382355175Z",
      "auid": 4294967295,
      "pod": {
        "namespace": "default",
        "name": "alpine-59dcb54bd-l7dtv",
        "container": {
          "id": "docker://767327faa6bc703188e434b74e80ed29f14973556b4411060674056cf9b305d6",
          "name": "alpine",
          "image": {
            "id": "docker-pullable://alpine@sha256:82d1e9d7ed48a7523bdebc18cf6290bdb97b82302a8a9c27d4fe885949ea94d1",
            "name": "alpine:latest"
          },
          "start_time": "2023-07-22T13:37:01Z",
          "pid": 1
        },
        "pod_labels": {
          "pod-template-hash": "59dcb54bd",
          "run": "alpine"
        }
      },
      "docker": "767327faa6bc703188e434b74e80ed2",
      "parent_exec_id": "bWluaWt1YmU6NzAyMDQ1NTgzNDYxOTA6MTE5MDkzMQ==",
      "refcnt": 1,
      "tid": 1190951
    },
    "parent": {
      "exec_id": "bWluaWt1YmU6NzAyMDQ1NTgzNDYxOTA6MTE5MDkzMQ==",
      "pid": 1190931,
      "uid": 0,
      "cwd": "/run/containerd/io.containerd.runtime.v2.task/moby/767327faa6bc703188e434b74e80ed29f14973556b4411060674056cf9b305d6",
      "binary": "/usr/bin/containerd-shim-runc-v2",
      "arguments": "-namespace moby -id 767327faa6bc703188e434b74e80ed29f14973556b4411060674056cf9b305d6 -address /run/containerd/containerd.sock",
      "flags": "execve clone",
      "start_time": "2023-07-22T13:37:01.258449828Z",
      "auid": 4294967295,
      "parent_exec_id": "bWluaWt1YmU6NzAyMDQ1NTAyNzk4MDM6MTE5MDkyNA==",
      "tid": 1190931
    }
  },
  "node_name": "minikube",
  "time": "2023-07-22T13:37:01.382358135Z"
}

现在我想让用户的 k8s 用户名执行此命令。例如我想在上面的 json 中有一个字段，例如：

username: minikube-user

有人有想法吗？

如何将k8s审计日志发送到多个服务器/端点？
我尝试过了

• 将多个--audit-webhook-config-file参数传递给 kube-apiserver
• 将另一个集群添加到 webhook 配置文件中

但这些修改无效，kube-apiserver 不会启动。

我正在尝试通过正则表达式捕获文本并用自定义字符串替换文本。

我当前的代码成功捕获了 IP 地址，但我不知道如何将 IP 地址替换为自定义文本以及消息的其余部分：

$Template privateIP,"%TIMESTAMP% %HOSTNAME% %syslogtag% %msg:R,ERE,0,DFLT:([0-9]{1,3}\.){3}[0-9]{1,3}--end%\n"

我的第一个想法是以某种方式将正则表达式移出模板（即使用一些 RainerScript）并创建一个modded_msg设置为已修改msg属性的新字段/变量。然后%modded_msg%在 $Template 中使用。

我已经尝试了多次（感谢 ChatGPT），但无法正常工作。

我想知道是否有办法知道被禁止的 IP 是否仍在尝试联系我的服务器以及他想做什么？

fail2ban.log 似乎显示了谁已被禁止，但如果被禁止的 IP 仍在尝试联系我，则不会，我错了吗？

提前感谢您提供任何线索，以便在可能的情况下找到这些详细信息:)

亲切的，克里斯