提问者:小点点

使用一些指标导出器Prometheus Grafana监控日志文件


我需要监控非常不同的日志文件的错误,成功状态等。我需要使用普罗米修斯抓取相应的指标,并在Grafana中显示设置一些警报。普罗米修斯Grafana是确定的我已经使用它们很多不同的出口商,如node_exporter或mysql_exporter等。在新的Grafana 4. x中也可以很好地进行警报。

但是我很难找到合适的导出器/程序来“动态”分析日志文件并从中提取指标。

到目前为止,我尝试了:

  • mail(https://github.com/google/mtail)-工作,但现有版本无法轻松监控更多文件-一般来说,它无法将特定的mail程序(分析收据)绑定到某些特定的日志文件中,我无法轻松地将日志文件名添加到标记中
  • grok_exporter(https://github.com/fstab/grok_exporter)-工作,但我只能提取有限的信息-一个实例只能监控一个日志文件,这意味着我必须在更多端口上启动更多实例导出,并在prometheus中配置所有实例-这使得太多新的故障点
  • fluentd prometheus导出器(https://github.com/kazegusuri/fluent-plugin-prometheus)-工作,但看起来我只能提取非常简单的指标,我不能从日志文件中对一行进行任何高级正则表达式分析

这里有没有人有一个真正运行的解决方案,可以使用“一些导出器”Prometheus Grafana从日志文件中监控高级指标?或者代替导出一些程序,我可以使用Prometheus推送网关从中获取结果。谢谢。


共3个答案

匿名用户

看看Telegraf。它确实支持使用输入插件logparser和尾巴跟踪日志。要将指标导出为prometheusendpoint,请使用prometheus_client输出插件。您也可以应用于飞聚合。我发现为多个日志文件配置比grok_exporter或mails更简单

匿名用户

这些是目前将日志数据输入Prometheus的3个答案。

您还可以查看生成日志的任何内容,以直接公开Prometheus指标。

匿名用户

尝试prometheus-python-exter并用python grepping编写您自定义的导出器,在日志文件中显示您想要的任何内容,然后公开想要的指标。有几个tutos可以帮助yoy