flume安装和使用-白红宇

flume安装和使用

阅读量：4979 次

发布时间：2019-06-12

本文共 2175 字，大约阅读时间需要 7 分钟。

概览

1- flume简介

2- 系统要求

3- 安装和配置

4- 启动和测试

一、flume的简介

官网地址：

1- 概述

Flume是一种分布式，可靠且可用的服务，用于高效地收集，汇总和移动大量日志数据。它具有基于流式数据流的简单而灵活的架构。它具有可靠的可靠性机制以及许多故障转移和恢复机制，具有强大的容错性和容错能力。它使用一个简单的可扩展数据模型，允许在线分析应用程序。

Apache Flume的使用不仅限于日志数据聚合。由于数据源是可定制的，因此Flume可用于传输大量事件数据，包括但不限于网络流量数据，社交媒体生成的数据，电子邮件消息以及几乎任何可能的数据源。

2- 数据模型

A Flume event is defined as a unit of data flow having a byte payload and an optional set of string attributes. A Flume agent is a (JVM) process that hosts the components through which events flow from an external source to the next destination (hop).- 官网原句。

上图可以看出，1个agent需要有三个部分： source、channel、sink

二、系统要求

Java运行时环境 - Java 1.8或更高版本

内存 - 源，通道或接收器使用的配置具有足够的内存

磁盘空间 - 通道或接收器使用的配置有足够的磁盘空间

三、安装和配置

下载地址：

选择最新版本1.8

上传到/lcoal目录下，并查看文件大小（56M）

[root@master local]# cd /local[root@master local]# du -sm apache-flume-1.8.0-bin.tar.gz56 apache-flume-1.8.0-bin.tar.gz

解压并移动至/opt下

[root@master local]# mv apache-flume-1.8.0-bin flume[root@master local]# mv flume/ /opt/

用官网的一个配置：

[root@master flume]# cd conf/[root@master conf]# cp flume-conf.properties.template flume-conf.properties[root@master conf]# vim flume-conf.properties

配置内容如下：

# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port = 44444# Describe the sinka1.sinks.k1.type = logger# Use a channel which buffers events in memorya1.channels.c1.type = memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channela1.sources.r1.channels = c1a1.sinks.k1.channel = c1

这里设置的是memory，读的内存，通过telnet localhost 44444 端口连接下会话信息都会被flume监控到。

测试

四启动和测试

启动flume：

[root@master flume]# bin/flume-ng agent --conf conf --conf-file conf/flume-conf.properties --name a1 -Dflume.root.logger=INFO,console