flume

flume

日志收集系統
Flume是Cloudera提供的一個高可用的,高可靠的,分布式的海量日志采集、聚合和傳輸的系統,Flume支持在日志系統中定制各類數據發送方,用于收集數據;同時,Flume提供對數據進行簡單處理,并寫到各種數據接受方(可定制)的能力。當前Flume有兩個版本Flume 0.9X版本的統稱Flume-og,Flume1.X版本的統稱Flume-ng。由于Flume-ng經過重大重構,與Flume-og有很大不同,使用時請注意區分。
    中文名:水槽 外文名:flume 别名: 特點:聚合和傳輸的系統 實質:孵化項目

簡介

Flume是Cloudera提供的一個高可用的,高可靠的,分布式的海量日志采集、聚合和傳輸的系統,Flume支持在日志系統中定制各類數據發送方,用于收集數據;同時,Flume提供對數據進行簡單處理,并寫到各種數據接受方(可定制)的能力。

數據處理

Flume提供對數據進行簡單處理,并寫到各種數據接受方(可定制)的能力。

Flume提供了從console(控制台)、RPC(Thrift-RPC)、text(文件)、tail(UNIX tail)、syslog(syslog日志系統),支持TCP和UDP等2種模式,exec(命令執行)等數據源上收集數據的能力。n

優勢

1.Flume可以将應用産生的數據存儲到任何集中存儲器中,比如HDFS,HBase.

2.當收集數據的速度超過将寫入數據的時候,也就是當收集信息遇到峰值時,這時候收集的信息非常大,甚至超過了系統的寫入數據能力,這時候,Flume會在數據生産者和數據收容器間做出調整,保證其能夠在兩者之間提供平穩的數據。

3.提供上下文路由特征。

4.Flume的管道是基于事務,保證了數據在傳送和接收時的一緻性。

5.Flume是可靠的,容錯性高的,可升級的,易管理的,并且可定制的。

相關詞條

相關搜索

其它詞條