无聊的博客
首页
历史归档
文章分类
文章标签
公益服务CSR
Linux 命令搜索引擎
订阅转换
订阅转换(EdgeOne 线路)
DoH
Socks5/HTTP验证
ProxyIP验证
其他站点
副站点 CDN 加速
主站点
副站点(Github.io)
Linux 命令搜索引擎
开发人员快速参考备忘录
主站点 CDN 加速
小游戏
俄罗斯方块
吃豆人
简单的贪吃蛇(@gamedolphin)
滑块(@gamedolphin)
顶砖块
宇宙飞船射击
神秘人 | 一个普通的干饭人🍚
0
职业技能大赛
大数据
Hadoop
实用教程
Linux
笔记
文档
教程
Hadoop HA 高可用集群部署完整文档
字数
3472
阅读时长≈
9
分钟
2025-9-22
2025-9-22
你好!我是
神秘人
-- 感谢您的支持 ---
👏欢迎光临寒舍👏
本博客作为学习用途,用于记录学习过程中的笔记,内容
可能有误
,
欢迎在评论区指正
!!
日志:
2025/7/29 添加了一些免费的工具和服务😎
2025/2/23 us.kg域名故障,已紧急修复!!
2025/1/29 无聊的博客,祝您新年快乐!!
2024/11/18 网站异常,已紧急修复!!
了解更多
目录
📄【Hadoop HA 高可用集群部署完整文档】(最终校正版)
🖥️ 环境说明
✅ 任务1:复制安装包并解压
1.1 创建目录
1.2 解压安装包
1.3 关闭防火墙 (可选,根据环境决定)
✅ 任务2:配置 hosts、免密登录、JDK 环境变量、分发 JDK
2.1 配置 hosts(三节点均执行)
2.2 配置 SSH 免密登录(仅在 Master 操作)
2.3 配置全局环境变量(三节点均执行)
2.4 分发 JDK 和环境变量到 slave1、slave2
2.5 在 Master 执行并截图
✅ 任务3:配置 Zookeeper 集群,查看 Leader
3.1 配置 zoo.cfg(在 Master 节点操作)
3.2 创建 myid 文件
3.3 分发 Zookeeper(在 Master 节点操作)
3.4 启动 Zookeeper 集群(三节点分别执行)
3.5 查看 Zookeeper 状态(在任意节点执行)
✅ 任务4:配置 Hadoop HA,启动集群,查看 nn2 与 rm2
4.1 核心配置文件
➤ core-site.xml
➤ hdfs-site.xml
➤ yarn-site.xml
➤ mapred-site.xml
➤ hadoop-env.sh
➤ workers 文件
4.2 分发 Hadoop 配置(在 Master 节点操作)
4.3 启动 Hadoop HA 集群(严格按顺序执行!)
① 启动 JournalNode(在 master, slave1, slave2 三节点执行)
② 格式化 NameNode(在 Master 节点执行)
③ 初始化 HA 在 Zookeeper 中的状态(在 Master 节点执行)
④ 启动 nn1(在 Master 节点执行)
⑤ 同步元数据并启动 nn2(在 Slave1 节点执行)
⑥ 启动所有 DataNode(在 master, slave1, slave2 三节点执行)
⑦ 启动 ZKFC(在 Master 和 Slave1 节点执行)
⑧ 启动 YARN(在 Master 节点执行)
4.4 在 Master 查看 nn2 与 rm2 状态
✅ 任务5:在 slave1 节点使用 jps 查看服务进程
✅ 任务6(新增):集群功能测试验证
6.1 运行 MapReduce 计算任务(核心验证!)
6.2 (可选)HDFS 读写测试
6.3 (可选)查看 HA 状态
6.4 新增:单词统计 (WordCount) 测试
📸 最终截图提交清单(【Release\模块A提交结果.docx】)
🚨 故障排查与附加建议
常见问题
附加建议
🏁 总结
最新发布
什么年代了!我不允许你还不会安装 Docker
2025-10-31
JDK + Hello World,搞定!
2025-10-7
掌握 Python 列表推导式
2025-9-30
使用GitHub Pages发布静态网页
2025-9-30
HTML 框架集与框架速查
2025-9-30
Tomcat 服务
2025-9-30
文档
56
笔记
54
Python
30
思考
28
教程
22
实用教程
12
Linux
9
小游戏
7
大数据
7
Hadoop
7
C
6
HTML
6
建站
5
速查表
5
热门文章
5
推荐
4
必看精选
4
职业技能大赛
3
CSS
3
题目
3
答案
3
开发
2
其他
2
文字
1
GitHub
1
Java
1
文章数:
68
建站天数:
1785 天
访问量:
访客数: