分享web开发知识

注册/登录|最近发布|今日推荐

主页 IT知识网页技术软件开发前端开发代码编程运营维护技术分享教程案例
当前位置:首页 > 网页技术

flume data to hdfs

发布时间:2023-09-06 02:25责任编辑:熊小新关键词:暂无标签

flume 开发梳理

flume 数据到hadoop

conf/hdfsAgent.conf

 #配置sources、channels、sinksa1.sources=r1a1.channels=c1a1.sinks=k1#sources.r1 配置源数据类型a1.sources.r1.type=execa1.sources.r1.shell=bin/bash -ca1.sources.r1.command=ping 192.168.1.125#channels c1 配置传输通道a1.channels.c1.type=memorya1.channels.c1.capacity=1000a1.channels.c1.transactionCapacity=100#sinks k1 配置接收数据a1.sinks.k1.type=hdfsa1.sinks.k1.hdfs.path=hdfs://192.168.1.125:9000/flume/webData#关联sources、channels、sinksa1.sources.r1.channels=c1a1.sinks.k1.channel=c1

tips:

 flume 配置输入到hadoop,需要把 hadoop-2.7.1/share/ hadoop/ 下的common/* common/lib/* hdfs/* hdfs/lib/* mapreduce/* mapreduce/lib/* 拷贝到flume-1.6.0/lib/* 目录下。

开启命令:

bin/flume-ng agent -c conf -f conf/hdfsAgent.conf -n a1

flume data to hdfs

原文地址:https://www.cnblogs.com/fandong90/p/10067879.html

知识推荐

我的编程学习网——分享web前端后端开发技术知识。 垃圾信息处理邮箱 tousu563@163.com 网站地图
icp备案号 闽ICP备2023006418号-8 不良信息举报平台 互联网安全管理备案 Copyright 2023 www.wodecom.cn All Rights Reserved