主页 / server / 问题 / 839661
Accepted
Garreth McDaid
Asked: 2017-03-22 06:44:31 +0800 CST

如何将应用程序日志从 Docker 容器转发到 ELK

  • 772

我正在尝试将日志集中在使用多种应用程序技术（Java、Rails 和各种 DB）的环境中。

我们希望开发人员使用 Docker Compose 构建堆栈，但我们希望他们参考中央日志源 (ELK) 来调试问题，而不是尝试打开 shell 来运行 Docker 容器。

应用程序都写入文件系统而不是 STDOUT/STDERR，这删除了与 Docker 日志记录驱动程序和 logspout 相关的所有选项。

我们所做的是将容器配置为让 rsyslog 包含应用程序日志文件，并将这些文件转发到具有 syslog 输入的 logstash。这适用于将日志从 A 移动到 B，但是基于 syslog 输入在 ELK 中管理多技术日志是可怕的（例如，尝试捕获多个 Java 堆栈跟踪或 MySQL 慢查询）。

有一个更好的方法吗？我是否应该在每个容器中运行 logstash，以便我可以将过滤器和编解码器直接应用于日志文件，这样我就不必依赖 syslog 输入？

是否有某种方法可以将 Docker 日志记录驱动程序与写入文件系统的应用程序日志文件一起使用？

docker

2 个回答

  1. Best Answer

    最新版本的 Docker 支持将“GELF”格式的日志传输到网络端口。Logstash 有一个 GELF 输入。您可以在每个节点上运行 Logstash，并将节点上的所有 Docker 实例转发给它。

    作为 Logstash 输入：https ://www.elastic.co/guide/en/logstash/current/plugins-inputs-gelf.html

    gelf {
}

    对于 Docker 输出： https ://docs.docker.com/engine/admin/logging/overview/#gelf

    $ docker run -dit \
             --log-driver=gelf \
             --log-opt gelf-address=udp://127.0.0.1:12201 \
             alpine sh

    （gelf-address 来自容器外部，而不是内部）

    • 2

  2. 您还可以配置 logstash 以解析 docker 默认生成的各种json 日志文件。

    另一种方法是在 Kubernetes 中使用所谓的 sidecar。

    他们在集群日志记录概念页面中提供了几个不同的示例。

    您如何选择应用该概念完全取决于您的需求。

    但是，一个简单的概念证明可以通过以下方式起作用：

    • 创建一个接受传入 syslog 流的 logstash sidecar（例如使用 syslog 输入）
    • 将所有容器配置为使用 docker 的syslog 驱动程序将日志记录发送到 sidecar。

    当然，您也可以设置一个中央 syslog 侦听器（例如使用 logstash 或 rsyslog），并在没有 sidecar 的情况下执行此操作。

    这种方法也与@Jason Martin使用 GELF 的建议非常相似。

    本地 sidecar 的另一个用途可能是创建一个运行带有文件输入的 logstash 的容器，并公开一个日志卷（例如 /var/log/ 或 /logs）。然后，您可以与其他容器共享该卷，以允许它们写入日志（例如 /logs/$INSTANCE_ID/file.log），并让 logstash 解析它们。

    最后一个设置允许监视文件而不是 STDOUT/STDERR，但您可能必须拥有您的日志目录chmod 1777（或有几个这样的 sidecar）。

    当然，“反向”设置也可以工作（但似乎更难管理/维护）：让您的应用程序容器公开一个日志卷，并让一个 logstash 边车交易读取日志卷的内容。

    • 0

相关问题