分享web开发知识

注册/登录|最近发布|今日推荐

主页 IT知识网页技术软件开发前端开发代码编程运营维护技术分享教程案例
当前位置:首页 > 网页技术

Spark HA 配置中spark.deploy.zookeeper.url 的意思

发布时间:2023-09-06 01:24责任编辑:白小东关键词:url配置

Spark HA的配置网上很多,最近我在看王林的Spark的视频,要付费的。那个人牛B吹得很大,本事应该是有的,但是有本事,不一定就是好老师。一开始吹中国第一,吹着吹着就变成世界第一。就算你真的是世界第一,视频(2.Spark内核解密(11-43讲全)中的第12课)里关于spark.deploy.zookeeper.url的说法是错误的。他说应该配置的是spark的master的地址,后来他在配置的几台机器上都启动了Spark master和zookeeper。实际上这里的URL指的是zookeeper的URL。比如下面的配置:

SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=ubuntu3:2181,ubuntu4:2181,ubuntu5:2181"

我们需要在ubuntu3~ubuntu5中都启动zookeeper,我们可以在ubuntu1和ubuntu2上分别启动master。同样可以实现高可用。这说明了他说的是错误的。

Spark HA 配置中spark.deploy.zookeeper.url 的意思

原文地址:http://www.cnblogs.com/langfanyun/p/7819184.html

知识推荐

我的编程学习网——分享web前端后端开发技术知识。 垃圾信息处理邮箱 tousu563@163.com 网站地图
icp备案号 闽ICP备2023006418号-8 不良信息举报平台 互联网安全管理备案 Copyright 2023 www.wodecom.cn All Rights Reserved