正文

将日志输出到docker容器外(代码片段)

lonelyxmas  lonelyxmas  2023-03-21  384

关键词：

1.1 使用 Docker 容器日志

我们可以利用 docker logs 命令查看 Docker 容器内部应用程序运行时所产生的日志，可以免除首先进入 Docker 容器，再打开应用程序的日志文件的过程。docker logs 会监控容器中操作系统的标准输出设备（STDOUT），一旦 STDOUT 有数据产生，就会将这些数据传输到另一个“设备”中，该 Docker 的被称为“日志驱动（Logging Driver）”

1.2 Docker 日志驱动

例如，我们有一个容器实例 ID 为 “da6743d61e1a” ，随后我们使用 docker logs 命令，查看 da6743d61e1a 容器的日志

docker logs -f da6743d61e1a

此时，Docker 日志也在同步输出，输出的日志类似下面这样。

  .   ____          _            __ _ _
 /\ / ___‘_ __ _ _(_)_ __  __ _    ( ( )\___ | ‘_ | ‘_| | ‘_ / _` |     \/  ___)| |_)| | | | | || (_| |  ) ) ) )
  ‘  |____| .__|_| |_|_| |_\__, | / / / /
 =========|_|==============|___/=/_/_/_/
 :: Spring Boot ::        (v1.5.3.RELEASE)

2018-08-31 14:39:34.608  INFO 8 --- [           main] com.ctego.inventory.server.Server        : Starting Server on ctego-inventory-srv-55798d4965-lfdxn with PID 8 (/var/ctego/server.jar started by root in /)
2018-08-31 14:39:34.696 DEBUG 8 --- [           main] com.ctego.inventory.server.Server        : Running with Spring Boot v1.5.3.RELEASE, Spring v4.3.8.RELEASE
2018-08-31 14:39:34.697  INFO 8 --- [           main] com.ctego.inventory.server.Server        : No active profile set, falling back to default profiles: default
2018-08-31 14:39:46.125  INFO 8 --- [           main] c.l.s.valid.DefaultValidConfig           : 开启参数校验
2018-08-31 14:39:48.102  INFO 8 --- [           main] org.xnio                                 : XNIO version 3.3.6.Final
2018-08-31 14:39:48.208  INFO 8 --- [           main] org.xnio.nio                             : XNIO NIO Implementation Version 3.3.6.Final
2018-08-31 14:39:48.602  WARN 8 --- [           main] io.undertow.websockets.jsr               : UT026009: XNIO worker was not set on WebSocketDeploymentInfo, the default worker will be used
2018-08-31 14:39:48.602  WARN 8 --- [           main] io.undertow.websockets.jsr               : UT026010: Buffer pool was not set on WebSocketDeploymentInfo, the default pool will be used
2018-08-31 14:39:48.701  INFO 8 --- [           main] io.undertow.servlet                      : Initializing Spring embedded WebApplicationContext

Docker 是怎样做到的呢？或者说，所谓的 Docker 日志驱动，到底做了些什么事情？
我们使用 docker info 命令，可以看到 Docker 容器的相关信息，其中有一项 Logging Driver 的字段。

docker info | grep ‘Logging Driver‘

通过输入以上命令，将得到Docker 当前所设置的日志驱动类型：journald

Logging Driver: journald

其实，Docker 已为我们提供了大量的日志驱动类型。

none：容器不输出任何日志；
json-file：容器输出的日志以 JSON 格式写入文件中（默认）；
syslog：容器输出的日志写入宿主机的 Syslog 中；
journald：容器输出的日志写入宿主机的 Journald 中；
gelf：容器输出到日志以 GELF（Graylog Extended Log Format）格式写入 Graylog中；
fluentd：容器输出的日志写入宿主机的 Fluented 中；
awslogs：容器输出的日志写入 Amazon CloudWatch Logs 中；
splunk：容器输出的日志写入 splunk 中；
etwlogs：容器输出的日志写入 ETW （Event Tracing for Windows）；
mats：容器输出的日志写入 NATS 服务中；
我们可以在 docker run 命令中通过 --log-driver 参数来设置具体的 Docker 日志驱动，也可以通过 --log-opt 参数来指定对应日志驱动的相关选项。就拿 json-file 来说，其实可以这样启动 Docker 容器：

docker run -d -p 80:80 --log-driver json-file --log-opt max-size=10m --log-opt max-file=3 --name nginx nginx

通过 --log-opt 参数为 json-file 日志驱动添加了两个选项，max-size=10m 表示 JSON 文件最大为 10MB（超过 10MB 就会自动生成新文件），max-file=3 表示 JSON 文件最多为3个（超过3个就会自动删除多余的旧文件）
除了在启动 Docker 容器时，可指定日志驱动以外，还可以通过修改 Docker 配置文件来指定日志驱动。
打开配置文件 /etc/sysconfig/docker，找到以下配置片段：

OPTIONS=‘--selinux-enabled --log-driver=journald --signature-verification=false‘
if [ -z "$DOCKER_CERT_PATH" ]; then
    DOCKER_CERT_PATH=/etc/docker
fi

可以看出，默认的日志驱动为 journald，把它修改为 syslog

--log-driver=syslog

然后重启 docker

systemctl restart docker

本文中所使用的 docker 版本为 1.13.1
新版本的docker中，已废弃/etc/sysconfig/docker这种配置方式，转而采用/etc/docker/daemon.json来配置
详情请阅读官方文档

以上众多日志驱动类型中，较为常用的是 Syslog，因为 Syslog 是 Linux 的日志系统，很多日志分析工具都可以从 Syslog 中获取日志，比如流行的 ELK(Elasticsearch、Logstash、Kibana)日志中心。Logstash 用于收集日志，Syslog 中写入的日志可转发到 Logstash 中，随后将日志存入 Elasticsearch 中，最后可通过 Kibana 来查询日志。
接下来咱们的目标是将 Docker 容器中输出的日志写入 Syslog，那么后面需要做的就是将 Syslog 接入 ELK 了。

1.3 Linux 日志系统：Syslog

默认，Linux 操作系统已经安装了 Syslog 软件包，但它叫 Rsyslog。实际上，Rsyslog 是 Syslog 标准的一种实现，还有一种叫 Syslog-ng 的第三方实现。虽然 Syslog-ng 的功能较为强大，但我们还是选择使用 Rsyslog，因为操作系统已经预装了，我们无须单独安装，可以通过以下命令查看 Rsyslog 是否已安装。

[root@uat-k8s-master1 ~]# rsyslogd -v
rsyslogd 8.24.0, compiled with:
    PLATFORM:               x86_64-redhat-linux-gnu
    PLATFORM (lsb_release -d):      
    FEATURE_REGEXP:             Yes
    GSSAPI Kerberos 5 support:      Yes
    FEATURE_DEBUG (debug build, slow code): No
    32bit Atomic operations supported:  Yes
    64bit Atomic operations supported:  Yes
    memory allocator:           system default
    Runtime Instrumentation (slow code):    No
    uuid support:               Yes
    Number of Bits in RainerScript integers: 64

如果要开启 Rsyslog 服务，我们必须对 Rsyslog 进行配置，打开文件 vi /etc/rsyslog.conf
在 rsyslog.conf 文件中有一段配置，我们需要手工去开启

$ModLoad imtcp
$InputTcpServerRun 514

重启 Rsyslog 服务，否则配置无法生效

systemctl restart rsyslog

此时，我们可以查看本地是否对外开启了 514 端口

[root@uat-k8s-master1 ~]# netstat -anpt | grep 514
tcp        0      0 0.0.0.0:514             0.0.0.0:*               LISTEN      20681/rsyslogd      
tcp6       0      0 :::514

docker日志引擎说明(代码片段)

docker原生支持众多的日志引擎，适用于各种不同的应用场景，本篇文档对其作一个简单的说明。Docker日志引擎说明docker支持的日志引擎如下：none：关闭docker的回显日志,dockerlogs看不到任何输出。使用这种方式也就意味着无法查看... 查看详情

通过docker部署java项目的日志输出到宿主机指定目录(代码片段)

用上篇博客部署Java程序是ok的，不过Java日志打印在容器里，不能满足原来ELK的日志搜集。方法有2种：1、在Docker容器内部加入日志收集工具，Filebeat或Logstash。2、将打Docker内的日志打印到宿主机的目录。本文用的... 查看详情

如何将多个 docker 容器的日志发送和聚合到日志中？

】如何将多个docker容器的日志发送和聚合到日志中？【英文标题】：HowcanIsendandaggregatemultipledockercontainer\'slogstojournald?【发布时间】：2019-09-2412:17:44【问题描述】：我正在运行多个包含Apache的容器。我希望所有这些特定的容器集... 查看详情

docker-日志以及磁盘占满解决(代码片段)

...h=1/var/lib/dockerdocker默认存放镜像地址为/var/lib/docker容器的日志文件在/var/lib/docker/containers/ 03.dockersystemdf 容器日志查看容器日志命令：#查看所有容器下日志的大小find/var/lib/docker/containers/-name*-json.log|xargsdu-dockerlogs-fcontainer_name（容... 查看详情

基于graylog的容器日志监控(代码片段)

Docker日志当一个容器启动的时候，它其实是dockerdeamon的一个子进程，dockerdaemon可以拿到容器里面进程的标准输出，然后通过自身的LogDriver模块来处理，LogDriver支持的方式很多，默认写到本地文件，也可以发送到syslog等。 Docker... 查看详情

docker入门基础(代码片段)

目录八、docker日志1、Docker的日志功能。对于一个运行的容器，Docker会将日志发送到容器的标准输出设备（STDOUT）和标准错误设备（STDERR），STDOUT和STDERR实际上就是容器的控制台终端。举个例子，用下面的命令运行httpd容器：[email... 查看详情

简述kubernetes容器日志收集原理！(代码片段)

概述关于容器日志Docker的日志分为两类，一类是Docker引擎日志；另一类是容器日志。引擎日志一般都交给了系统日志，不同的操作系统会放在不同的位置。本文主要介绍容器日志，容器日志可以理解是运行在容器内部的应用输出... 查看详情

docker-compose命令及yaml文件(代码片段)

...-no-cachenginx不带缓存的构建。docker-composelogsnginx查看nginx的日志docker-composelogs-fnginx查看nginx的实时日志docker-composeconfig-q验证（docker-compose.yml）文件配置，当配置正确时，不输出任何内容，当文件配置错误，输出错误信息。docker-comp... 查看详情

docker命令(代码片段)

...个新的容器,不启动 attach 　　将本地终端的输入,输出以及错误流连接到容器上,(就是登录到容器中去操作)//使用centos:7镜像,运行容器dockerrun--nameC7-itdcentos:7/bin/sh29a79 查看详情

docker容器日志管理fluentd(代码片段)

随着Docker容器广泛应用，，大规模运行的容器集群来说，日志不能集中管理是一件很痛苦的事情。不能合理的收集，管理检索应用日志，在应用发生了故障的时候将无法很好的追溯问题发生的原因。本文主要介绍Docker配置Fluentd... 查看详情

日志系统之基于flume收集docker容器日志(代码片段)

最近我在日志收集的功能中加入了对docker容器日志的支持。这篇文章简单谈谈策略选择和处理方式。关于docker的容器日志docker我就不多说了，这两年火得发烫。最近我也正在把日志系统的一些组件往docker里部署。很显然，... 查看详情

docker容器的网络管理和网络隔离(代码片段)

一、Docker网络的管理1、Docker容器的方式1）Docker访问外网Docker容器连接到宿主机的Docker0网桥访问外网；默认自动将docker0网桥添加到docker容器中。2）容器和容器之间通信需要管理员创建网桥；将不同的容器连接到网桥上实现容器... 查看详情

如何在docker中运行odoo来配置pycharm(代码片段)

...文件夹中。您只需运行以下命令即可获取'odoo_container'的日志dockerlogs-fodoo_container用容器的名称替换'odoo_container'。要么如果你已经配置了日志目录并映射到容器的日志目录，如下面的docker-compose文件/在dockerrun命令中给出的那样，./... 查看详情

docker容器日志清理(代码片段)

...近发现公司Gitlab服务器磁盘满了，经排查发现是docker容器日志占用了几十个G容量，那么这些日志怎么去查看和清理呢？本节主要讲到的知识点如下：（1）Docker容器日志路径（2）如何清理Docker容器日志（3）如何从根本上解决Docke... 查看详情

搞定排错k8s集群日志管理(代码片段)

目标：提示：本节只讲第一种k8s集群日志主要有两种方式管理，指定主机上的指定目录、输出到某个外部系统。内容：容器应用输出到三个目标位置：输出到标准输出设备，就是通过命令让它显示在屏幕；输出到日志文件；输出... 查看详情

graylog处理docker容器的多行日志之过程记录(代码片段)

docker容器虽然支持gelf日志驱动，却不支持合并多行日志为1个message，详情见 logdrivershouldsupportmultiline·Issue#22920·moby/moby·GitHub，这导致在graylog查看java应用的报错日志时非常不方便。解决思路：用logstash处理后再发给graylog... 查看详情

markdown[exportcontainer]如何将docker容器导出到其他机器。#docker(代码片段)

查看详情

如何将应用程序日志从 docker 容器转发到 Splunk？

】如何将应用程序日志从docker容器转发到Splunk？【英文标题】：HowtoforwardapplicationlogstoSplunkfromdockercontainer?【发布时间】：2018-11-1319:07:20【问题描述】：我们有兴趣将日志从运行在Docker容器中的node.js服务器转发到Splunk。我们考虑... 查看详情