分享web开发知识

注册/登录|最近发布|今日推荐

主页 IT知识网页技术软件开发前端开发代码编程运营维护技术分享教程案例
当前位置:首页 > 软件开发

flume配置文件

发布时间:2023-09-06 02:00责任编辑:顾先生关键词:配置

读文件log传入kafka中

agent.sources = s1
agent.channels = c1 ????????????????????????????????????????????????????????????????????????????????????????????????????????????????
agent.sinks = k1 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????
?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
agent.sources.s1.type=exec ?????????????????????????????????????????????????????????????????????????????????????????????????????????
agent.sources.s1.command=tail -F /tmp/logs/kafka.log ???????????????????????????????????????????????????????????????????????????????
agent.sources.s1.channels=c1 ???????????????????????????????????????????????????????????????????????????????????????????????????????
agent.channels.c1.type=memory ??????????????????????????????????????????????????????????????????????????????????????????????????????
agent.channels.c1.capacity=10000 ???????????????????????????????????????????????????????????????????????????????????????????????????
agent.channels.c1.transactionCapacity=100 ??????????????????????????????????????????????????????????????????????????????????????????
?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
#设置Kafka接收器 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????
agent.sinks.k1.type= org.apache.flume.sink.kafka.KafkaSink ?????????????????????????????????????????????????????????????????????????
#设置Kafka的broker地址和端口号 ?????????????????????????????????????????????????????????????????????????????????????????????????????
agent.sinks.k1.brokerList=master:9092 ??????????????????????????????????????????????????????????????????????????????????????????????
#设置Kafka的Topic ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????
agent.sinks.k1.topic=kafkatest ?????????????????????????????????????????????????????????????????????????????????????????????????????
#设置序列化方式 ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
agent.sinks.k1.serializer.class=kafka.serializer.StringEncoder
agent.sinks.k1.channel=c1

flume配置文件

原文地址:https://www.cnblogs.com/zxf330301/p/9209165.html

知识推荐

我的编程学习网——分享web前端后端开发技术知识。 垃圾信息处理邮箱 tousu563@163.com 网站地图
icp备案号 闽ICP备2023006418号-8 不良信息举报平台 互联网安全管理备案 Copyright 2023 www.wodecom.cn All Rights Reserved