-
同一个json日志文件,用filebeat采集时,es可以自动识别timestamp字段,ilogtai采集时不识别timestamp字段。这个应该怎么修改下配置? |
Beta Was this translation helpful? Give feedback.
Answered by
shalousun
Sep 20, 2023
Replies: 1 comment
-
日志采集组件在采集日志时有一个采集时间(和业务日志时间没关系,采集延迟时采集时间晚于业务日志里的时间),filebeat在推送采集日志时采集时间字段是@timestamp。es也正好需要@timestamp。其实也没有什么特殊意义,只是因为两者属于一个生态的,也就是一种约定。 对于ilogtail也有一个采集时间的字段,叫做time,time和业务日志时间也没有关系,ilogtail如果输入到es希望添加@timestamp字段,则有两个思路:
日志延迟的时间第二种不推荐,异步写入的日志也不推荐第二种方式。在es中查询会混乱。 |
Beta Was this translation helpful? Give feedback.
0 replies
Answer selected by
linrunqi08
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
日志采集组件在采集日志时有一个采集时间(和业务日志时间没关系,采集延迟时采集时间晚于业务日志里的时间),filebeat在推送采集日志时采集时间字段是@timestamp。es也正好需要@timestamp。其实也没有什么特殊意义,只是因为两者属于一个生态的,也就是一种约定。
对于ilogtail也有一个采集时间的字段,叫做time,time和业务日志时间也没有关系,ilogtail如果输入到es希望添加@timestamp字段,则有两个思路:
从自己的日志里提取时间然后重命名为@timestamp,这个主要根据自己的日志情况选择合适的ilogtail processor插件去处理。可以看https://ilogtail.gitbook.io/ilogtail-docs/data-pipeline/processor
直接重命名ilogtail的采集字段为@timestamp。
日志延迟的时间第二种不推荐,异步写入的日志也不推荐第二种方式。在es中查询会混乱。