FLUME安装&环境（二）:拉取MySQL数据库数据到Kafka

在flume启动脚本flume-ng中，修改JAVA_OPTS="-Xmx20m"为JAVA_OPTS="-Xmx10240m"

此处将堆内存的阈值跳转到了10G，实际生产环境中可以根据具体的硬件情况作出调整

2.3添加主机对应的kafka主机

（flume.conf配置文件需要添加主机对应的Kafka主机，否则无法找到对应的sink）

# vim /etc/hosts

#添加主机对应的kafka主机

192.168.241.229    D-QP-Safe-4

192.168.241.230    D-QP-Safe-5

192.168.241.231    D-QP-Safe-6

2.4向flume安装目标的/lib目录下添加启动mysql，Kafka等的jar包

3.启动flume

要在flume的安装目录的bin目录下启动

#启动命令

flume-ng agent -c /opt/apps/flume-1.6.0-cdh5.14.4-bin/conf -f /opt/apps/flume-1.6.0-cdh5.14.4-bin/conf/flume.conf -n a1 -Dflume.root.logger=INFO,console

a1为配置的agent名，-c和-f后是flume的安装路径（必须一致才能启动成功）

4.查看flume进程

ps -aux | grep flume

如果存在多个进程必须将多余进程kill

为了避免一个个的kill，我们需要提取flume的进程号：

ps -aux | grep flume | awk ‘{print $2}‘

然后全部删除

ps -aux | grep flume | awk ‘{print $2}‘ | xargs kill

以上，拉取mysql数据库数据到Kafka就配置好了

FLUME安装&环境（二）:拉取MySQL数据库数据到Kafka

标签：生产   sink   pat   抽取   console   city   10g   存在   etc