Heka

3.1最简单的Heka配置

一个最简单的Heka配置是从本地文件系统加载单个文件,并且输出该文件内容。下面是配置示例。

第3章:配置

一个Heka全新安装是一张白纸,充满各种想象,就看你如何描绘。其中的挑战是新手如何很轻松的利用非常灵活的工具,理解各种特性和选项。本文尝试通过运行一个hekad守护进程的配置和一些Heka普通应用案例,希望提供尽可能多的文档在实际开发过程中参考。
当我们完成配置的时候Heka执行下面的任务:

  • statsd客户端通过UDP接收数据。.
  • 转发聚合统计数据在原数据服务器和InfluxDB服务器之间。
  • 生成一组特定statsd统计的实时图表。
  • 加载和解析nginx访问日志文件。
  • 加载Nginx日志文件生成JSON数据结构且发送到ElasticSearch数据库集群。
  • 生成Nginx访问日志HTTP请求状态码实时统计图表。
  • 执行HTTP状态码数据基本算法异常检测,有问题通过电子邮件发送消息通知。
    在深入研究之前,让我们通过一个非常简单的配置来确保一切正常工作。

第2章:安装

2.1二进制文件

1.3 hekad

Heka系统的核心是hekad守护进程。单个hekad进程可以配置任何数量的插件,同时执行各种数据采集、处理、和传输任务。关于如何配置一个hekad守护进程的细节请参考配置hekad部分。
hekad命令行选项
-version
输出版本号。
-config config_path
指定应用的配置文件或目录名,默认是/etc/hekad.toml。如果config_path解析到一个目录,这个目录所有文件必须是可用的TOML文件。(参考hekad.config(5))

1.2术语表

hekad
后台程序,将消息通过路由输入和输出,并应用配置中的过滤器。
Message(消息)
消息是Hekad处理数据的原子单位。它是与在外部世界中发生的单个事件相关的数据结构,诸如日志文件条目,计数器递增,应用异常,通知消息等。它在heka/message包中被指定为消息结构message.go文件。
Messagematcher(消息匹配器)
过滤器和输出插件的配置选项,用于指定插件接受处理的消息。Heka路由器将针对每个消息来评估消息匹配器,并且当确定匹配时将传送消息。
Pipeline(管道)
Hekad处理的消息通过一组特定的插件传送。要应用于消息的一组插件通常称为(有些非正式地)Heka管道。

PipelinePack
除了核心消息数据,Hekad需要跟踪每个消息的一些相关状态和配置信息。为此,在heka/pipeline包的pipeline_runner.go文件中定义了一个PipelinePack结构。PipelinePack对象是当消息流过管道时传送到各种Hekad插件的对象。

Plugin(插件)
Hekad插件是对消息执行特定操作的功能单元。有六种类型的插件:输入、分割器、解码器、过滤器、编码器和输出。

页面

Subscribe to RSS - Heka