正文 

当前位置： 首页 > 技术 > java教程

flume(代码片段)

chenshaowei chenshaowei     2023-04-07     474

关键词：

Flume概述

Flume是一个高可用、高可靠、分布式的海量日志数据采集、聚合、传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接收方的能力。

Flume（Agent，Java进程）主要由三个重要组件构成：

  • source，负责接收数据到flume agent的组件，数据输入常见类型avro,netcat
  • channel，缓冲区，自带两种channel，memory channel速度快，会丢失数据，file channel速度慢，不会丢失数据
  • sink，将channel数据取出到数据库，常见数据库hdfs,kafka,mysql

Flume的架构

除了上面三个组件还有以下几个核心概念：

  • Event：一个数据单元，分为Header和Body，消息头结构为kv，Body为字节数组
  • Agent：是一个JVM进程，将数据从源头传入目的，是Flume数据传输的基本单元，包含组件Source、Channel、Sink

Flume本地安装

  • 解压安装包
  • 更改配置文件flume-env.sh，添加JAVA_HOME变量

监控端口数据案例

使用Flume监控本机44444端口，通过telnet工具向端口44444发送数据，Flume将监听的数据实时显示在控制台。

1. 通过telnet工具向端口44444发送数据
telnet localhost 44444

2. 启动flume监听端口44444
bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-telnet-logger.conf -Dflume.root.logger==INFO,console

3. 即可在控制台查看端口44444的数据
配置文件如下:
# Name the components on this agent
a1.sources = r1        //r1表示输入源
a1.sinks = k1          //k1表示输出源
a1.channels = c1       //c1表示缓冲区

# Describe/configure the source
a1.sources.r1.type = netcat         //输入类型
a1.sources.r1.bind = localhost      //输入源，本机
a1.sources.r1.port = 44444          //端口44444

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

flume(代码片段)

一、概述1.Flume是Apache提供的开源的、分布式的、可靠的日志收集系统2.能够有效的收集、聚合、传输大量的日志数据3.flume有2个版本：flume-og(flume09x)和flume-ng(flume1.x)，flume-og和flume-ng不兼容二、基本概念1.Event：将收集到的每一条... 查看详情

flume(代码片段)

这里写目录标题第1章Flume概述第2章Flume快速入门2.1Flume安装部署2.2Flume入门案例2.2.1监控端口数据官方案例2.2.2实时监控单个追加文件2.2.3实时监控目录下多个新文件2.2.4实时监控目录下的多个追加文件第3章Flume进阶3.1Flume事务3.2Flum... 查看详情

flume(代码片段)

flume1Flume概述1.1Flume定义1.2Flume基础架构1.2.1Agent1.2.2Source1.2.3Sink1.2.4Channel1.2.5Event2Flume快速入门2.1Flume安装部署2.1.1安装地址2.1.2安装部署2.2Flume入门案例2.2.1监控端口数据官方案例2.2.2实时监控单个追加文件-exec2.2.3实时监控目录下多... 查看详情

flume(代码片段)

flume1Flume概述1.1Flume定义1.2Flume基础架构1.2.1Agent1.2.2Source1.2.3Sink1.2.4Channel1.2.5Event2Flume快速入门2.1Flume安装部署2.1.1安装地址2.1.2安装部署2.2Flume入门案例2.2.1监控端口数据官方案例2.2.2实时监控单个追加文件-exec2.2.3实时监控目录下多... 查看详情

12.flume的安装(代码片段)

先把flume包上传并解压 给flume创建一个软链接  给flume配置环境变量  #flumeexportFLUME_HOME=/opt/modules/flumeexportPATH=$PATH:$FLUME_HOME/bin 使环境变量生效  验证flume版本信息flume-ngversion &n 查看详情

flume基础：快速入门(代码片段)

1Flume安装地址1）Flume官网地址http://flume.apache.org/2）文档查看地址http://flume.apache.org/FlumeUserGuide.html3）下载地址http://archive.apache.org/dist/flume/2安装部署1）将apache-flume-1.7.0-bin.tar.gz上传到linux的/opt/software目录 查看详情

flume安装配置(代码片段)

flume安装配置一：下载下载地址：http://www.apache.org/dyn/closer.lua/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz二：解压[[email protected]~]#tar-zxvfapache-flume-1.8.0-bin.tar.gz-C/usr/local/改名为flume方便以后操作[[email 查看详情

flume使用手册(代码片段)

以下jie皆来自官网：1：首先版本是flume1.8    查看版本： bin/flume-ngversion 2：配置与启动https://flume.apache.org/FlumeUserGuide.html#configurationDefiningtheflow#listthesources,sinksandchannelsfo 查看详情

flume日志收集(代码片段)

1、flume日志收集架构如下   2、解压安装包，修改文件夹名称，配置环境变量tar-zxvfapache-flume-1.6.0-bin.tar.gz exportFLUME_HOME=/soft/flume exportPATH=$PATH:$FLUME_HOME/bin修改conf下的flume-env.sh，在里面配置JAVA_HOME3 查看详情

flume整合kafka(代码片段)

一、需求利用flume采集Linux下的文件信息，并且传入到kafka集群当中。环境准备zookeeper集群和kafka集群安装好。二、配置flume官网下载flume。博主自己这里使用的是flume1.6.0。官网地址http://flume.apache.org/download.html解压缩。tar-zxvfapache-f... 查看详情

flume初识(代码片段)

一、flume特点flume是目前大数据领域数据采集的一个利器，当然除了flume还有Fluentd和logstash，其他的目前来说并没有深入的了解，但是我觉得flume能够在大数据繁荣的今天屹立不倒，应该有以下几点：　　1.Flume可以将应用产生的数... 查看详情

flume环境安装(代码片段)

 源码包下载：http://archive.apache.org/dist/flume/1.8.0/ 集群环境：master192.168.1.99slave1192.168.1.100slave2192.168.1.101 下载安装包：#Masterwgethttp://archive.apache.org/dist/flume/1.8.0/apache-flume 查看详情

flume的安装(代码片段)

一、下载flume并解压1、手动下载flume安装包下载地址下载flume2.将安装包上传到虚拟机上，并解压tar-zxvfapache-flume-1.8.0-bin.tar.gz-C/export/software/3.重命名mvapache-flume-1.8.0-binflume4.修改环境变量5.修改配置文件cdflume/conf/mvflume-env.sh.templ 查看详情

flume的安装(代码片段)

一、下载flume并解压1、手动下载flume安装包下载地址下载flume2.将安装包上传到虚拟机上，并解压tar-zxvfapache-flume-1.8.0-bin.tar.gz-C/export/software/3.重命名mvapache-flume-1.8.0-binflume4.修改环境变量5.修改配置文件cdflume/conf/mvflume-env.sh.templ 查看详情

flume从入门到实战(代码片段)

第1章Flume概述1.1Flume定义  Flume(水槽)是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。  在2009年Flume被捐赠了apache软件基金会，为hadoop相关组件... 查看详情

sparkstreaming整合flume(代码片段)

SparkStreaming整合flume在实际开发中push会丢数据，因为push是由flume将数据发给程序，程序出错，丢失数据。所以不会使用不做讲解，这里讲解poll，拉去flume的数据，保证数据不丢失。1.首先你得有flume比如你有：【如果没有请走这篇... 查看详情

flume的安装及使用(代码片段)

Flume的安装及使用文章目录Flume的安装及使用Flume的安装1、上传至虚拟机，并解压2、重命名目录，并配置环境变量3、查看flume版本4、测试flume5、flume的使用Flume的安装1、上传至虚拟机，并解压tar-zxvfapache-flume-1.9.0-bin.tar... 查看详情

flume的安装及使用(代码片段)

Flume的安装及使用文章目录Flume的安装及使用Flume的安装1、上传至虚拟机，并解压2、重命名目录，并配置环境变量3、查看flume版本4、测试flume5、flume的使用Flume的安装1、上传至虚拟机，并解压tar-zxvfapache-flume-1.9.0-bin.tar... 查看详情