Flume用于收集、聚合和传输大量数据,如日志文件、事件等。

下载Flume安装包到master节点

wget --no-check-certificate https://od.fifcom.cn/misc/hadoop/apache-flume-1.8.0-bin.tar.gz

安装Flume

解压Flume

tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /opt/
mv /opt/apache-flume-1.8.0-bin/ /opt/flume/

进入Flume的配置文件目录,并从模板复制配置文件

cd /opt/flume/conf
cp flume-env.sh.template flume-env.sh

编辑环境配置文件中的JAVA_HOME

vi flume-env.sh
=>
export JAVA_HOME=/opt/jdk8u282-b08
<=

在当前目录创建netcat-logger.conf文件,用于配置一个简单的数据采集方案

vi netcat-logger.conf
=>
a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = netcat
a1.sources.r1.bind = master
a1.sources.r1.port = 444

a1.sinks.k1.type = logger

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
<=

测试Flume

首先回到Flume根目录,并使用命令启用Flume

cd /opt/flume
bin/flume-ng agent --conf conf --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console

run

在slave上使用telnet命令测试是否能连接上

如果没有安装telnet,可以安装:

yum -y install telnet

连接到master

telnet master 444

在telnet中输入任意内容,可以看到telnet输出OK,flume终端也同步输出日志 telnet

flume