分享web开发知识

注册/登录|最近发布|今日推荐

主页 IT知识网页技术软件开发前端开发代码编程运营维护技术分享教程案例
当前位置:首页 > 教程案例

flume的案列测试之收集socket端数据,并显示到logger端

发布时间:2023-09-06 02:28责任编辑:顾先生关键词:暂无标签

步骤:

1.在Linux下安装netcat工具,用户开启socket客户端:

  a.切换至root下

    $>su root

  b.执行安装命令

    $>yum install -y nc

  c.切换至Alex_lei用户下,模拟聊天室:

    $>nc

    开启服务端 $>nc -l 55555

    开启客户端 $>nc localhost 55555

2.创建Agent

  编写agent配置信息,在{FLUME_HOME/conf}目录下,新建example.conf,添加以下代码:

  a1.sources = s1

  a1.channels = c1
  a1.sinks = k1

  #定义agent的source属性
  a1.sources.s1.type = netcat
  a1.sources.s1.bind = master
  a1.sources.s1.port = 55555

  #配置agent的sink属性
  a1.sinks.k1.type = logger

  #配置agent的channel的属性
  a1.channels.c1.type = memory

  a1.sources.s1.channels = c1
  a1.sinks.k1.channel = c1 ??????//注意:a1.sinks.k1.channel后不用有s

3.开启flume进程

$>flume-ng agent --name a1 --conf /home/Alex_lei/soft/flume/conf/ --conf-file /home/hyxy/soft/flume/conf/example.conf -Dflume.root.logger=INFO,consol

4.开启nc客户端

  $>nc master 55555

  hello world

  zhang san

5.结果

  在flume的会话窗口中,显示以下信息:
????????  Event: { headers:{} body: 68 65 6C 6C 6F 20 77 6F 72 6C 64 ???????????????hello world }
????????  Event: { headers:{} body: 7A 68 61 6E 67 20 73 61 6E ?????????????????????zhang san }

总结:agent包含三个组件为Source,Channel,Sink,分别代表的意思是数据源,中间管道,起到桥梁的作用,写到什么地方。上述Source为Console,Channel默认为memory内存,Sink为logger。

  若我们要写到hdfs或者hive,我们可以去flume的官网查看相关配置文件的信息,根据自己的需要选择,选择hdfs,我们就去Flume sink下zhaodao hdfs选项查看相关的配置信息进行配置就可以。 

  当然还可以将多个flume串联进行配置,也可以多个flume并联最后输入到一个flume的agent进行写出,官网具有详细的配置方案。 

flume的案列测试之收集socket端数据,并显示到logger端

原文地址:https://www.cnblogs.com/lyr999736/p/10201924.html

知识推荐

我的编程学习网——分享web前端后端开发技术知识。 垃圾信息处理邮箱 tousu563@163.com 网站地图
icp备案号 闽ICP备2023006418号-8 不良信息举报平台 互联网安全管理备案 Copyright 2023 www.wodecom.cn All Rights Reserved