本篇內(nèi)容介紹了“Flume基礎(chǔ)用法和Kafka集成是什么”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

目前創(chuàng)新互聯(lián)已為成百上千的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)頁(yè)空間、網(wǎng)站運(yùn)營(yíng)、企業(yè)網(wǎng)站設(shè)計(jì)、甕安網(wǎng)站維護(hù)等服務(wù)，公司將堅(jiān)持客戶(hù)導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶(hù)和合作伙伴齊心協(xié)力一起成長(zhǎng)，共同發(fā)展。

一、Flume簡(jiǎn)介

1、基礎(chǔ)描述

Flume是Cloudera提供的一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類(lèi)數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；

特點(diǎn)：分布式、高可用、基于流式架構(gòu)，通常用來(lái)收集、聚合、搬運(yùn)不同數(shù)據(jù)源的大量日志到數(shù)據(jù)倉(cāng)庫(kù)。

2、架構(gòu)模型

Agent包括三個(gè)核心組成，Source、Channel、Sink。Source負(fù)責(zé)接收數(shù)據(jù)源，并兼容多種類(lèi)型，Channel是數(shù)據(jù)的緩沖區(qū)，Sink處理數(shù)據(jù)輸出的方式和目的地。

Event是Flume定義的一個(gè)數(shù)據(jù)流傳輸?shù)幕締卧瑢?shù)據(jù)從源頭送至目的地。

Flume可以設(shè)置多級(jí)Agent連接的方式傳輸Event數(shù)據(jù)，從最初的source開(kāi)始到最終sink傳送的目的存儲(chǔ)系統(tǒng)，如果數(shù)量過(guò)多會(huì)影響傳輸速率，并且傳輸過(guò)程中單節(jié)點(diǎn)故障也會(huì)影響整個(gè)傳輸通道。

Flume支持多路復(fù)用數(shù)據(jù)流到一個(gè)或多個(gè)目的地，這種模式可以將相同數(shù)據(jù)復(fù)制到多個(gè)channel中，或者將不同數(shù)據(jù)分發(fā)到不同的channel中，并且sink可以選擇傳送到不同的目的地。

Agent1理解為路由節(jié)點(diǎn)負(fù)責(zé)Channel的Event均衡到多個(gè)Sink組件，每個(gè)Sink組件分別連接到獨(dú)立的Agent上，實(shí)現(xiàn)負(fù)載均衡和錯(cuò)誤恢復(fù)的功能。

Flume的使用組合方式做數(shù)據(jù)聚合，每臺(tái)服務(wù)器部署一個(gè)flume節(jié)點(diǎn)采集日志數(shù)據(jù)，再匯聚傳輸?shù)酱鎯?chǔ)系統(tǒng)，例如HDFS、Hbase等組件，高效且穩(wěn)定的解決集群數(shù)據(jù)的采集。

二、安裝過(guò)程

1、安裝包

apache-flume-1.7.0-bin.tar.gz

2、解壓命名

[root@hop01 opt]# pwd
/opt
[root@hop01 opt]# tar -zxf apache-flume-1.7.0-bin.tar.gz
[root@hop01 opt]# mv apache-flume-1.7.0-bin flume1.7

3、配置文

配置路徑：/opt/flume1.7/conf

mv flume-env.sh.template flume-env.sh

4、修改配置

添加JDK依賴(lài)

vim flume-env.sh
export JAVA_HOME=/opt/jdk1.8

5、環(huán)境測(cè)試

安裝netcat工具

sudo yum install -y nc

創(chuàng)建任務(wù)配置

[root@hop01 flume1.7]# cd job/
[root@hop01 job]# vim flume-netcat-test01.conf

添加基礎(chǔ)任務(wù)配置

注意：a1表示agent名稱(chēng)。

# this agent
a1.sources = sr1
a1.sinks = sk1
a1.channels = sc1

# the source
a1.sources.sr1.type = netcat
a1.sources.sr1.bind = localhost
a1.sources.sr1.port = 55555

# the sink
a1.sinks.sk1.type = logger

# events in memory
a1.channels.sc1.type = memory
a1.channels.sc1.capacity = 1000
a1.channels.sc1.transactionCapacity = 100

# Bind the source and sink
a1.sources.sr1.channels = sc1
a1.sinks.sk1.channel = sc1

開(kāi)啟flume監(jiān)聽(tīng)端口

/opt/flume1.7/bin/flume-ng agent --conf /opt/flume1.7/conf/ --name a1 --conf-file /opt/flume1.7/job/flume-netcat-test01.conf -Dflume.root.logger=INFO,console

使用netcat工具向55555端口發(fā)送數(shù)據(jù)

[root@hop01 ~]# nc localhost 55555
hello,flume

查看flume控制面

三、應(yīng)用案例

1、案例描述

基于flume在各個(gè)集群服務(wù)進(jìn)行數(shù)據(jù)采集，然后數(shù)據(jù)傳到kafka服務(wù)，再考慮數(shù)據(jù)的消費(fèi)策略。

采集：基于flume組件的便捷采集能力，如果直接使用kafka會(huì)產(chǎn)生大量的埋點(diǎn)動(dòng)作不好維護(hù)。

消費(fèi)：基于kafka容器的數(shù)據(jù)臨時(shí)存儲(chǔ)能力，避免系統(tǒng)高度活躍期間采集數(shù)據(jù)過(guò)大沖垮數(shù)據(jù)采集通道，并且可以基于kafka做數(shù)據(jù)隔離并針對(duì)化處理。

2、創(chuàng)建kafka配置

[root@hop01 job]# pwd
/opt/flume1.7/job
[root@hop01 job]# vim kafka-flume-test01.conf

3、修改sink配置

# the sink
a1.sinks.sk1.type = org.apache.flume.sink.kafka.KafkaSink
# topic
a1.sinks.sk1.topic = kafkatest
# broker地址、端口號(hào)
a1.sinks.sk1.kafka.bootstrap.servers = hop01:9092
# 序列化方式
a1.sinks.sk1.serializer.class = kafka.serializer.StringEncoder

4、創(chuàng)建kafka的Topic

上述配置文件中名稱(chēng)：kafkatest，下面執(zhí)行創(chuàng)建命令之后查看topic信息。

[root@hop01 bin]# pwd
/opt/kafka2.11
[root@hop01 kafka2.11]# bin/kafka-topics.sh --create --zookeeper hop01:2181 --replication-factor 1 --partitions 1 --topic kafkatest
[root@hop01 kafka2.11]# bin/kafka-topics.sh --describe --zookeeper hop01:2181 --topic kafkatest

5、啟動(dòng)Kakfa消費(fèi)

[root@hop01 kafka2.11]# bin/kafka-console-consumer.sh --bootstrap-server hop01:2181 --topic kafkatest --from-beginning

這里指定topic是kafkatest。

6、啟動(dòng)flume配置

/opt/flume1.7/bin/flume-ng agent --conf /opt/flume1.7/conf/ --name a1 --conf-file /opt/flume1.7/job/kafka-flume-test01.conf -Dflume.root.logger=INFO,console

“Flume基礎(chǔ)用法和Kafka集成是什么”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

名稱(chēng)欄目：Flume基礎(chǔ)用法和Kafka集成是什么
當(dāng)前URL：http://www.chinadenli.net/article38/gciipp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、關(guān)鍵詞優(yōu)化、靜態(tài)網(wǎng)站、、網(wǎng)站設(shè)計(jì)、移動(dòng)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)