java flume

很多朋友都想知道java flume是什么？下面就一起来了解一下吧~

Flume是什么

（1）Flume提供一种分布式的，可靠的对大数据的日志进行高效处理，以及聚集，移动的服务，flume只能在Unix的环境下运行。

（2）Flume基于流式框架，容错性强，也灵活简单。

（3）Flume/Kafka用来进行数据收集的，Spark,Storm用来实时处理数据，impala用来实时查询

（4）Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。

Flume的两个版本

（一）Flume OG

OG：“Original Generation"

0.9x或cdh3以及更早的版本。

有agent、collector、master等组件构成。

（二）Flume NG

NG：“Next/New Generation"

1.x或cdh4以及之后的版本。

有Agent/client等组件构成。

FlumeOG存在的问题

（1）Flume OG代码工程臃肿

（2）核心组件设计不合理

（3）核心配置不标准

（4 ）尤其是在Flume OG的最后一个发行版本0.94.0中，日志传输不稳定的现象尤为严重。

以上就是小编今天的分享，希望能够帮到大家。