08月08, 2021

Elasticsearch避坑系列

在这里记录一下使用Elasticsearch全家桶时遇到的各种各样的问题

日志乱序

最近在开发的时候,同事反馈出现了日志乱序的问题。原先我们按照offset进行排序和锚点,但是打印出来的日志发现,offset与timestamp的大小关系不一致了:
image.png

经过排查发现,因为打印的日志太多了,导致超过containerd单日志文件offset限制了。
image.png

此时Containerd会把软连接指向的日志文件从默认的0.log更新到1.log,导致offset重新计算。现在先换成使用@timestamp做排序和锚点了。

磁盘打满

默认安装的eck集群没有配置close_timeout选项,导致大量的文件句柄没有被释放。占满磁盘。
image.png
具体原因:https://blog.csdn.net/weixin_33775582/article/details/89651291

查询过慢

曾经出现过elasticsearch查日志特别慢,后来发现是因为没有定期清理日志索引,导致日志索引过大。

filebeat pod反复重启

配置的resource limit过小导致的

本文链接:https://blog.magichc7.com/post/debug-record-about-eck.html

-- EOF --

相关评论