Flink 1.14.0 on Yarn 安装配置文档 (修订版)

Flink 1.14.0 on Yarn 安装配置文档 (修订版)

• 大数据省赛容器环境 (Master, Slave1, Slave2)

• 已完成 Hadoop 3.1.3 完全分布式集群的部署与启动。

• 使用 root 用户进行操作。

• 所有命令均使用绝对路径。

• 注意：根据省赛样题要求，Flink 任务需在 Yarn 上以 Per Job 模式运行。因此，本安装文档不启动 Flink 自带的 Standalone 集群（即不执行 start-cluster.sh），仅配置好环境以便通过 Yarn 提交任务。

第一步：在 Master 节点解压 Flink 安装包

1. 登录到 Master 节点。

2. 将 Flink 安装包解压到 /opt/module/ 目录，并重命名为 flink 以便管理。

第二步：配置 Flink 环境变量

1. 编辑 /etc/profile 文件，为所有用户设置 Flink 环境变量。

2. 在文件末尾添加以下内容：

3. 使环境变量立即生效。

4. 验证配置是否成功。 如果正确输出 Flink 版本信息，则说明 Master 节点环境变量配置成功。

第三步：修改 Flink 核心配置文件

1. 配置 flink-conf.yaml
修改：
添加：

2. 配置 masters
修改为：

3. 配置 workers
修改为：

第四步：分发 Flink 安装包到 Slave 节点 ✅ (新增关键步骤)

第五步：在 Slave 节点配置环境变量 ✅ (新增关键步骤)

1. 登录到 Slave1 节点。

2. 编辑 /etc/profile 文件。

3. 添加与 Master 节点相同的环境变量：

4. 使环境变量生效。

5. （可选）验证环境变量：

6. 重复步骤 1-5，在 Slave2 节点上完成相同配置。

第六步：在 Yarn 上运行测试任务

1. 确保 Hadoop Yarn 服务已启动。

2. 在 Master 节点上，直接运行以下命令提交 WordCount 作业到 Yarn 集群：

3. 观察命令行输出，等待任务执行完成，并按要求截取最后10行结果。