flume是什么

• 可靠的，可扩展的大数据搬运系统，从数据生产者到数据最终目的地之间充当缓冲的角色，平衡数据生产者和消费者，提供稳定的流状态。

• 主要的目的地以hdsf以及hbase为主。

• 类似的有apache kafka以及facebook的scribe。

为什么要使用flume

• 把数据存储到hdfs或者hbase并不是简单地调用api那样简单，这里得考虑各种复杂的场景，比如并发写入的量以及hdfs及hbase的系统压力，网络延迟等等问题。

• flume设计为灵活的分布式系统，提供可定制化的管道，保证不会丢失数据，提供持久的channel

flume的构成

agent为其基本单元(每个agent包括source、channel、sink三大部分)

source，负责捕获数据到agent

• source拦截器，修改或删除事件

Avro Source

Exec Source

Spooling Directory Source

NetCat Source

Sequence Generator Source

Syslog Sources

Syslog TCP Source

Multiport Syslog TCP Source

Syslog UDP Source

HTTP Source

channel，一个缓冲区，负责在成功写入数据到sink之前，保存source已经接收的数据

• channel过滤器/选择器(对事件应用过滤条件，决定事件应该写入到哪个source附带的channel中)

• 内置channel

Memory Channel

File Channel

JDBC Channel

• channel处理器(处理事件写入channel)

  

sink，负责从channel移走数据到目的地或下一个agent

• sink运行器(事件处理分发)

• sink组(包含多个sink)

• sink处理器(从channel取数据写入到目的地)

  

• 内置sink

HDFS Sink

Logger Sink

Avro Sink

IRC Sink

File Roll Sink

Null Sink

HBaseSinks

ElasticSearchSink

事件

flume把数据表示为事件，事件包括byte数组的主体以及map形式的报头(路由信息)

拦截器

• 内置拦截器

Timestamp Interceptor

Host Interceptor

Static Interceptor

UUID Interceptor

Morpline Interceptor

Regex Filtering Interceptor

Regex Extractor Interceptor

适用场景

• 数据可以表示为多个独立记录

• 实时推送持续而且量级很大的数据流(如果每几个小时有几G的数据，不损害hdfs，没必要部署flume)