分享web开发知识

注册/登录|最近发布|今日推荐

主页 IT知识网页技术软件开发前端开发代码编程运营维护技术分享教程案例
当前位置:首页 > 网页技术

flume学习(四)---channel

发布时间:2023-09-06 01:41责任编辑:苏小强关键词:暂无标签

  定义:Channels are the repositories where the events are staged on a agent. Source adds the events and Sink removes it.

  本文根据flume官网提供的Flume 1.8.0 User Guide整理得出的,主要内容是总结了flume1.8.0支持的各种schannel,见下表。

channel类型type存储介质说明  
Memory Channelmemory 内存events被存储在内存中  
JDBC Channeljdbc 数据库events被持久化至数据库  
Kafka Channelorg.apache.flume.channel.kafka.KafkaChannel Kafka cluster The events are stored in a Kafka cluster   
File Channelfile 本地磁盘某个文件 如果没有配置文件路径,则采用默认路径。但是如果有两个或两个以上File channel,则需要你至少指定一个文件路径,否则会发生冲突。  
Spillable Memory Channel(实验性)SPILLABLEMEMORYan in-memory queue and on disk优先存储数据至内存,当内存溢出后存储在磁盘  
Pseudo Transaction Channelorg.apache.flume.channel.PseudoTxnMemoryChannel 只能用于单元测试  
Custom Channel自定义FQCN    

flume学习(四)---channel

原文地址:https://www.cnblogs.com/walkingzq/p/8428331.html

知识推荐

我的编程学习网——分享web前端后端开发技术知识。 垃圾信息处理邮箱 tousu563@163.com 网站地图
icp备案号 闽ICP备2023006418号-8 不良信息举报平台 互联网安全管理备案 Copyright 2023 www.wodecom.cn All Rights Reserved