分享web开发知识

注册/登录|最近发布|今日推荐

主页 IT知识网页技术软件开发前端开发代码编程运营维护技术分享教程案例
当前位置:首页 > 软件开发

flume学习(三)---sink

发布时间:2023-09-06 01:41责任编辑:顾先生关键词:暂无标签

本文根据flume官网提供的Flume 1.8.0 User Guide整理得出的,主要内容是总结了flume1.8.0支持的各种sink,见下表。

sink名称type数据目的地工作方式备注
HDFS SinkhdfsHDFS  
Hive Sinkhivehive  
Logger Sinklogger自定义日志级别为INFO,主要用于调试 
Avro Sinkavro外部avro客户端

将接收到的events转换成avro events

并发送给指定地址的avro客户端

 
Thrift Sinkthrift外部thrift客户端

将接收到的events转换成thrift events

并发送给指定地址的avro客户端

 
IRC SinkircIRC目的地  
File Roll Sinkfile_roll本地文件系统  
Null Sinknull丢弃所有数据 
Hbase SinkhbaseHbase这两个sink同属一个大类:HbaseSinks 
AsyncHbaseSinkasynchbaseHbase(异步模式) 
MorphlineSolrSink

 org.apache.flume.

sink.solr.morphline.

MorphlineSolrSink

Apache Solr servers

This sink extracts data from Flume events,

transforms it, and loads it in near-real-time

into Apache Solr servers, which in turn serve

queries to end users or search applications.

 
ElasticSearchSink

 org.apache.flume.

sink.elasticsearch.

ElasticSearchSink

elasticsearch cluster  
Kite Dataset Sink

org.apache.flume.

sink.kite.DatasetSink

 Kite Dataset  
Kafka Sink

org.apache.flume.

sink.kafka.KafkaSink

 Kafka topic  
HTTP Sink

http

一个URI地址(POST)  
Custom Sink

自定义FQCN

自定义  

 

 

flume学习(三)---sink

原文地址:https://www.cnblogs.com/walkingzq/p/8423217.html

知识推荐

我的编程学习网——分享web前端后端开发技术知识。 垃圾信息处理邮箱 tousu563@163.com 网站地图
icp备案号 闽ICP备2023006418号-8 不良信息举报平台 互联网安全管理备案 Copyright 2023 www.wodecom.cn All Rights Reserved