Apache Flume 1.9.0 安装与配置文档
欢迎您在底部评论区留言，一起交流~
Apache Flume 1.9.0 安装与配置文档
适用环境:
- 大数据省赛容器环境 (Master 节点)
- 已完成 Hadoop 3.1.3 完全分布式集群的部署与启动。
- 使用
root用户进行操作。
- 所有命令均使用绝对路径。
- 注意：根据样题要求，Flume 用于采集 Hadoop 集群日志并写入 HDFS，因此只需在 Master 节点部署即可。
第一步：在 Master 节点解压 Flume 安装包
- 登录到 Master 节点。
- 将 Flume 安装包解压到
/opt/module/目录，并重命名为flume以便管理。
第二步：配置 Flume 环境变量
- 编辑
/etc/profile文件，为所有用户设置 Flume 环境变量。
- 在文件末尾添加以下内容：
- 使环境变量立即生效。
- 验证配置是否成功。 如果正确输出 Flume 版本信息，则说明环境变量配置成功。
第三步：创建并配置 Flume Agent
- 进入 Flume 配置文件目录。
- 创建一个新的配置文件
1.conf。
- 将以下配置内容完整粘贴到文件中：
第四步：解决 Flume 与 Hadoop 的 JAR 包冲突
Flume 自带的
guava 库版本与 Hadoop 3.x 不兼容，需要进行替换。- 复制 Hadoop 的核心配置文件到 Flume 的
conf目录，确保 Flume 能正确连接 HDFS。
- （可选）配置 Flume 的 Java 环境。复制模板文件并编辑。
取消注释并修改
JAVA_HOME行：
- 关键步骤：替换冲突的 Guava JAR 包
第五步：启动 Flume Agent
在 Master 节点上，启动名为
a1 的 Flume Agent，并在控制台实时查看日志。查看是否有内容
n a1: 指定要启动的 Agent 名称为a1。
c conf/: 指定配置文件目录。
f conf/1.conf: 指定具体的配置文件。
Dflume.root.logger=INFO,console: 设置日志级别为 INFO 并输出到控制台，方便调试。
启动成功后，Flume 会开始监控
/opt/module/hadoop-3.1.3/logs/ 目录下所有包含 namenode 或 datanode 的日志文件，并将新增内容实时采集并写入 HDFS 的 tmp/flume/ 路径下。至此，Apache Flume 1.9.0 已安装、配置并成功启动。 您可以通过访问 HDFS Web UI 或使用
hdfs dfs -ls tmp/flume/ 命令来验证数据是否已成功写入。- 作者:神秘人
- 链接:https://blog.tianjiaji.top//url/279183c0-6139-80a8-8b87-ea8955d1a117
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
