分享web开发知识

注册/登录|最近发布|今日推荐

主页 IT知识网页技术软件开发前端开发代码编程运营维护技术分享教程案例
当前位置:首页 > IT知识

flume遇到的问题

发布时间:2023-09-06 02:34责任编辑:顾先生关键词:暂无标签
Caused by: java.lang.IllegalStateException: Unable to add FlumeEventPointer [fileID=25, offset=1000217047]. Queue depth = 100000, Capacity = 100000

原因:checkpoint文件夹,不为空。

解决:设置空的checkpoint文件夹。或删除checkpoint文件夹下的内容。

java.lang.OutOfMemoryError: Java heap space

原因:java堆内存默认20m,数据量大时oom。

解决:

export JAVA_OPTS="-Xms2048m -Xmx2048m -Xss256k -Xmn1g -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:-UseGCOverheadLimit"

并且在flume启动脚本flume-ng中,修改JAVA_OPTS="-Xmx20m"为JAVA_OPTS="-Xmx2048m"
cdh可以直接在cdh manager中设置flume的java堆内存。

flume遇到的问题

原文地址:https://www.cnblogs.com/drjava/p/10471708.html

知识推荐

我的编程学习网——分享web前端后端开发技术知识。 垃圾信息处理邮箱 tousu563@163.com 网站地图
icp备案号 闽ICP备2023006418号-8 不良信息举报平台 互联网安全管理备案 Copyright 2023 www.wodecom.cn All Rights Reserved