簡介
Flume是Cloudera提供的一個高可用的,高可靠的,分布式的海量日志采集、聚合和傳輸的系統,Flume支持在日志系統中定制各類數據發送方,用于收集數據;同時,Flume提供對數據進行簡單處理,并寫到各種數據接受方(可定制)的能力。
數據處理
Flume提供對數據進行簡單處理,并寫到各種數據接受方(可定制)的能力。
Flume提供了從console(控制台)、RPC(Thrift-RPC)、text(文件)、tail(UNIX tail)、syslog(syslog日志系統),支持TCP和UDP等2種模式,exec(命令執行)等數據源上收集數據的能力。n
優勢
1.Flume可以将應用産生的數據存儲到任何集中存儲器中,比如HDFS,HBase.
2.當收集數據的速度超過将寫入數據的時候,也就是當收集信息遇到峰值時,這時候收集的信息非常大,甚至超過了系統的寫入數據能力,這時候,Flume會在數據生産者和數據收容器間做出調整,保證其能夠在兩者之間提供平穩的數據。
3.提供上下文路由特征。
4.Flume的管道是基于事務,保證了數據在傳送和接收時的一緻性。
5.Flume是可靠的,容錯性高的,可升級的,易管理的,并且可定制的。


















