Docker 日志分为两类:
一 、Docker 引擎日志
Docker 引擎日志一般是交给了 Upstart(Ubuntu 14.04) 或者 systemd (CentOS 7, Ubuntu 16.04)。前者一般位于 /var/log/upstart/docker.log 下,后者我们一般 通过 journalctl -u docker
来进行查看。


二、容器日志
2.1、常用查看日志命令——docker logs
docker logs CONTAINER
显示当前运行的容器的日志信息, UNIX 和 Linux 的命令有三种 输入输出,分别是 STDIN(标准输入)、STDOUT(标准输出)、STDERR(标准错误输出),docker logs 显示的内容包含 STOUT 和 STDERR。在生产环境,如果我们的应用输出到我们的日志文件里,所以我们在使用 docker logs 一般收集不到太多重要的日志信息。
nginx 官方镜像,使用了一种方式,让日志输出到 STDOUT,也就是 创建一个符号链接/var/log/nginx/access.log
到 /dev/stdout
。
httpd 使用的是 让其输出到指定文件 ,正常日志输出到 /proc/self/fd/1
(STDOUT) ,错误日志输出到 /proc/self/fd/2
(STDERR)。
当日志量比较大的时候,我们使用 docker logs 来查看日志,会对 docker daemon 造成比较大的压力,容器导致容器创建慢等一系列问题。
只有使用了 `local 、json-file、journald` 的日志驱动的容器才可以使用 docker logs 捕获日志,使用其他日志驱动无法使用 `docker logs`
2.2 、Docker 日志 驱动
Docker 提供了两种模式用于将消息从容器到日志驱动。
(默认)拒绝,阻塞从容器到容器驱动
非阻塞传递,日志将储存在容器的缓冲区。
当缓冲区满,旧的日志将被丢弃。
在 mode 日志选项控制使用 blocking(默认)
或者 non-blocking
, 当设置为 non-blocking
需要设置 max-buffer-size
参数(默认为 1MB)。
支持的驱动


使用 Docker-CE 版本,docker logs
命令 仅仅适用于以下驱动程序(前面 docker logs 详解也提及到了)

1558055133186
Docker 日志驱动常用命令
查看系统当前设置的日志驱动
docker info |grep "Logging Driver" / docker info --format '{{.LoggingDriver}}'
查看单个容器的设置的日志驱动
Docker 日志驱动全局配置更改
修改日志驱动,在配置文件 /etc/docker/daemon.json
(注意该文件内容是 JSON 格式的)进行配置即可。
示例:
以上更改是针对所有的容器的日志驱动的。我们也可以单独为单一容器设置日志驱动。
Docker 单一容器日志驱动配置
在 运行容器的时候指定 日志驱动 --log-driver
。
日志驱动 一 、local
local
日志驱动 记录从容器的 STOUT/STDERR
的输出,并写到宿主机的磁盘。
默认情况下,local 日志驱动为每个容器保留 100MB 的日志信息,并启用自动压缩来保存。(经过测试,保留100MB 的日志是指没有经过压缩的日志)
local 日志驱动的储存位置 /var/lib/docker/containers/容器id/local-logs/
以container.log
命名。
local 驱动支持的选项

全局日志驱动设置为—local
在配置文件 /etc/docker/daemon.json
(注意该文件内容是 JSON 格式的)进行配置即可。
重启 docker 即可生效。
单个容器日志驱动设置为—local
运行容器并设定为 local
驱动。
注意事项:经过测试,当我们产生了100 MB 大小的日志时 会有 四个压缩文件和一个container.log
:
那么当超过了 100MB 的日志文件,日志文件会继续写入到 container.log
,但是会将 container.log
日志中老的日志删除,追加新的,也就是 当写满 100MB 日志后 ,再产生一条新日志,会删除 container.log
中的一条老日志,保存 100MB 的大小。这个 对我们是会有一些影响的,
日志驱动 二、 默认的日志驱动—JSON
所有容器默认的日志驱动 json-file
。
json-file
日志驱动 记录从容器的 STOUT/STDERR
的输出 ,用 JSON 的格式写到文件中,日志中不仅包含着 输出日志,还有时间戳和 输出格式。下面是一个 ping www.baidu.com
对应的 JSON 日志
json-file 日志的路径位于 /var/lib/docker/containers/container_id/container_id-json.log
。
json-file
的 日志驱动支持以下选项:


json-file
的日志驱动示例
日志驱动 三、syslog
syslog 日志驱动将日志路由到 syslog 服务器,syslog 以原始的字符串作为 日志消息元数据,接收方可以提取以下的消息:
syslog
日志驱动全局配置
编辑 /etc/docker/daemon.json
文件
重启 docker 即可生效。




单个容器日志驱动设置为—syslog
Linux
系统中 我们用的系统日志模块时 rsyslog
,它是基于syslog
的标准实现。我们要使用 syslog 驱动需要使用 系统自带的 rsyslog
服务。
配置 syslog , 在配置文件 /etc/rsyslog.conf
大约14-20行,我们可以看到两个配置,一个udp,一个tcp ,都是监听 514 端口,提供 syslog 的接收。选择 tcp 就将 tcp 的两个配置的前面 # 号注释即可。
然后重启 rsyslog,我们可以看到514端口在监听。
启动一个以 syslog
为驱动的容器。
访问并查看日志
日志驱动 四、Journald
journald
日志驱动程序将容器的日志发送到 systemd journal
, 可以使用 journal API
或者使用 docker logs
来查日志。
除了日志本身以外, journald
日志驱动还会在日志加上下面的数据与消息一起储存。
Field

选项

journald
日志驱动全局配置
编辑 /etc/docker/daemon.json
文件
单个容器日志驱动设置为—journald
查看日志 journalctl
如果我们的容器在启动的时候加了 -t 参数,启用了 TTY 的话,那么我查看日志是会像下面一样
显示[104B blob data]
而不是完整日志原因是因为有 \r
的存在,如果我们要完整显示,需要加上参数 --all
。
三、 生产环境中该如何储存容器中的日志
我们在上面看到了 Docker 官方提供了 很多日志驱动,但是上面的这些驱动都是针对的 标准输出的日志驱动。
容器日志分类
容器的日志实际是有两大类的:
标准输出的 ,也就是 STDOUT 、STDERR ,这类日志我们可以通过 Docker 官方的日志驱动进行收集。
示例:Nginx 日志,Nginx 日志有 access.log
和 error.log
,我们在 Docker Hub 上可以看到 Nginx 的 dockerfile 对于这两个日志的处理是:
都软连接到 /dev/stdout
和 /dev/stderr
,也就是标准输出,所以这类 容器是可以使用 Docker 官方的日志驱动。
文本日志,存在在于容器内部,并没有重定向到 容器的标准输出的日志。
示例:Tomcat 日志,Tomcat 有 catalina、localhost、manager、admin、host-manager,我们可以在 Docker Hub 看到 Tomcat 的 dockerfile 只有对于 catalina 进行处理,其它日志将储存在容器里。
我们运行了一个 Tomcat 容器 ,然后进行访问后,并登陆到容器内部,我们可以看到产生了文本日志:
这类容器我们下面有专门的方案来应对。
一、当是完全是标准输出的类型的容器
我们可以选择 json-file 、syslog、local 等 Docker 支持的日志驱动。
二、当有文件文本日志的类型容器
方案一 挂载目录 bind
创建一个目录,将目录挂载到 容器中产生日志的目录。
示例:
方案二 使用数据卷 volume
创建数据卷,创建容器时绑定数据卷,
示例:
方案三 计算容器 rootfs 挂载点
此方案的文字内容摘抄于 https://yq.aliyun.com/article...
使用挂载宿主机目录的方式采集日志对应用会有一定的侵入性,因为它要求容器启动的时候包含挂载命令。如果采集过程能对用户透明那就太棒了。事实上,可以通过计算容器 rootfs 挂载点来达到这种目的。
和容器 rootfs 挂载点密不可分的一个概念是 storage driver。实际使用过程中,用户往往会根据 linux 版本、文件系统类型、容器读写情况等因素选择合适的 storage driver。不同 storage driver 下,容器的 rootfs 挂载点遵循一定规律,因此我们可以根据 storage driver 的类型推断出容器的 rootfs 挂载点,进而采集容器内部日志。下表展示了部分 storage dirver 的 rootfs 挂载点及其计算方法。

示例:
方案四 在代码层中实现直接将日志写入redis
docker ——》redis ——》Logstash——》Elasticsearch,通过代码层面,直接将日志写入redis
,最后写入 Elasticsearch
。
以上就是对 Docker 日志的所有的概念解释和方提供,具体采用什么方案,根据公司的具体的业务来选择。合适的才是最好的。