企业是如何解决HDFS单点问题的?
前言
在早期Hadoop刚出来的时候是没有解决HDFS单点问题的,这就意味着当NameNode的服务器宕机了就会导致整个集群瘫痪,这是非常危险的于是在Hadoop不断的更新下提出了Hadoop HA来解决Na企业meNode单点问题,接下来我们就来聊一聊。
解决HDFS单点问题解决方案 解决HDFS点单问题其实可以部署两个NameNode,但是真正对外服务只有一个,部署两个NameNode那他们之间的元数据信息是不是需是如要共享元数据信息呀,不然当其中一个NameNode挂掉了元数据信息没有同步不就会有问题。
根据appche提出的解决方案目前有三种解决方案如下
方案一、目录共享
目录共享是在appche社区中提出但是现在没有引用何解,目录共享也是一个单点问题,如果当目录共享挂掉了是不是也会导致HDFS挂掉。所以就被一些企业抛弃了。
方案二、使用JournalNode方案
我们使用JN来保存元数据信息就不会造成单点问题,JN也是一个集群,我们一般部决H署JN一般会选择基数例如3,5,7,9等。JN有一个政策只要存活的节点大于二分之一就是一个正常的服务。
注意:我们不要为了解决NameNode的单点问题选择的的组件也是单点问题,这个根本还是没有解决。
JN中的信息都是DF一样的,那为什么也是其中的一个NameNode就是写数据其中一个就是读取数据那?
其实NameNode也是有角色之分的写的为action读为standby,在高可用的架构中只有一个NameNode真正对外服务, 用户也S单只会对action的NameNode进行打交道,举个理解:假设我们在工作中有2个领导(平级的)我们去请假其中一个领导同意其中一个领导不同意那这个假到底修还是不修那?这不就乱套了吗?也就是在高可用架构中同一时间只有点问一个说的算。
方案三、使用zookeeper方案
其实企业中也有好多使用zookeeper来带代替了。我们来想一想JN解决了什么问题,不是就数据的一致性和单点故障我们在想想zookeepr是不是也有,于是企业中就把z题的ookeeper的源码改了改就使用了这个方案。
总体架构
以上的解决方案是不是可以解决了NameNode单点问题,假设在凌晨的时候action的NameNode挂掉了是不是要进行切换我们是不是需要人工去切换。是不是切换企业不及时就到导致整个集群不可用。接下来我实现自动切换。
两个NameNode启动成功后都会去zookeeper注册自己zookeeper中会有一把锁那个NameNode注册成功了就是action当其是如他的NameNode在去注册是发现已经被注册了就变成了standby。
每个NameNode都部署了ZKFC 来监控NameNode的情况当action的NameNode发生故障时ActionZKF通过zooke何解eper删除临时的zNode (释放锁)StandBy状态下的ZKF订阅了这个临时的zNode的变换,若zNode消失,StandBy状态的ZKFC立刻通过standby NameNode。StandByNameNod决He远程登录actionNameNode执行kill-9 actionNameNode。StandByNameNode通知StandByZkfc去zookeeper上注册zNode,注册成功转换为action状态。DF这样就实现了自己转换
小结
上述给大家讲解了几种解决HDFS单点故障的问题,不知道大家吸收有多少,如果有不会的可以在下方留言或着私信我 我来给你解答。下期会分享NameNode内存受限该怎么解决。 我在这里为大家提S单供大数据的资料(企业面试题,简历模板等)需要的朋友可以去下面GitHub去下载,信自己,努力和汗水总会能得到回报的。
相关文章:
- 标签: 网易有道 有道领世 LobsterAI 学术猹
- 云安全日报210615:IBM 消息系统事件流平台发现拒绝服务漏洞,需要尽快升级
- 硅基流动上线线蚂蚁集团Ling-mini-2.0,速度与性能双丰收
- 在线学习的“后浪”:现代学习系统中的人工智能
- 标签: Mac mini OpenClaw AI PC 无影AC
- 标签: 云知声 山海大模型 MedBench4.0 智慧医疗
- 标签: OPPO 母亲节 饭圈文化 公共伦理
- 标签: 法拉第未来 贾跃亭 FFAI PhysicalAI
- 美国科技公司“裁员潮”仍在继续:Salesforce本周已解雇数百人
- 国际能源署最新报告:到2030年AI数据中心电力需求将翻倍
相关推荐:
- 机器学习在网络中的现实应用
- Groq 融资 7.5 亿美元,估值达到 69 亿美元
- 我们可能已见证第一场人工智能战争
- 法国 AI 巨头 Mistral 即将获得 140 亿美元估值
- 标签: 谷歌 Nano Banana 2 Gemini 3.1 Flash Image 图像生成模型
- 腾讯混元3D Studio 震撼登场:3D 创作从"天"级提速至"分钟"级
- 芯片短缺仍将持续6个月!思科CEO认为芯片制造能力应更加分散
- PyTorch、TensorFlow最新版本对比,2021年了你选谁?
- 标签: 英伟达 黄仁勋 中国电信 Token套餐
- 微软正式推出首款自家 AI 图像生成器 MAI-Image-1
- https://www.posten-portal.de/search?query=谷歌自动批量发帖软件【tg:seogoogle987】,klA
- https://www.localfootdoc.com/?s=谷歌自动批量发帖软件【tg:seogoogle987】,VCs
- https://www.jusoen.com/addreng.asp?p1=谷歌自动批量发帖软件【tg:seogoogle987】nU2
- https://www.kelsa.co.uk/catalogsearch/result/index/?T=1686132119291&q=谷歌自动批量发帖软件【tg:seogoogle987】,PLe
- https://www.kawainter.com/catalogsearch/result/?q=谷歌自动批量发帖软件【tg:seogoogle987】,kUC
- https://www.sbaad.no/search/谷歌自动批量发帖软件【tg:seogoogle987】,7Ag
- https://www.impactpool.org/search/?type=79&q=谷歌自动批量发帖软件【tg:seogoogle987】3ET
- https://www.mintos.org/?s=谷歌自动批量发帖软件【tg:seogoogle987】,jld
- https://www.target.com/s?searchTerm=谷歌自动批量发帖软件【tg:seogoogle987】,Ao0
- https://www.whatsonstage.com/search?cat=64&term=谷歌自动批量发帖软件【tg:seogoogle987】,RYu
