這篇文章主要介紹“kafka原理及架構(gòu)是什么”，在日常操作中，相信很多人在kafka原理及架構(gòu)是什么問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對(duì)大家解答”kafka原理及架構(gòu)是什么”的疑惑有所幫助！接下來，請(qǐng)跟著小編一起來學(xué)習(xí)吧！

成都創(chuàng)新互聯(lián)公司是創(chuàng)新、創(chuàng)意、研發(fā)型一體的綜合型網(wǎng)站建設(shè)公司，自成立以來公司不斷探索創(chuàng)新，始終堅(jiān)持為客戶提供滿意周到的服務(wù)，在本地打下了良好的口碑，在過去的10余年時(shí)間我們累計(jì)服務(wù)了上千家以及全國政企客戶，如PE包裝袋等企業(yè)單位，完善的項(xiàng)目管理流程，嚴(yán)格把控項(xiàng)目進(jìn)度與質(zhì)量監(jiān)控加上過硬的技術(shù)實(shí)力獲得客戶的一致稱揚(yáng)。

kafka背景及應(yīng)用場景

     由LinkedIn 公司開發(fā)的一個(gè)分布式的消息系統(tǒng)；
     高吞吐率；
     支持Kafka Server間的消息分區(qū)，及分布式消費(fèi)；
     同時(shí)支持離線數(shù)據(jù)處理和實(shí)時(shí)數(shù)據(jù)處理；
     支持在線水平擴(kuò)展。

kafka基本架構(gòu)

kafka基本名詞解釋

kafka順序?qū)懘疟P

Kafka的文件存儲(chǔ)機(jī)制

Kafka的文件復(fù)制原理

Kafka的數(shù)據(jù)可靠性的保證

request.required.acks=-1參數(shù)來設(shè)置數(shù)據(jù)可靠性的級(jí)別
min.insync.replicas配合使用

Kafka的發(fā)送模式，默認(rèn)同步producer.type=sync，以下是異步的參數(shù)

Kafka的消息傳輸保障

At most once: 消息可能會(huì)丟，但絕不會(huì)重復(fù)傳輸
At least once：消息絕不會(huì)丟，但可能會(huì)重復(fù)傳輸
Exactly once：每條消息肯定會(huì)被傳輸一次且僅傳輸一次

Kafka的單節(jié)點(diǎn)搭建

Kafka版本下載
配置server.properties和consumer.properties
Kafka依賴zookeeper

搭建步驟

1：下載kafka
    地址：http://kafka.apache.org/downloads

2：上傳安裝包到服務(wù)器上面，并且進(jìn)行解壓

3：進(jìn)入kafka的安裝目錄下的config目錄
    1）編輯server.properties文件，修改zk的服務(wù)地址，比如：
    zookeeper.connect=hm02:2181,hs0201:2181,hs0202:2181

    2）編輯consumer.properties文件，修改zk的服務(wù)地址，比如：
    zookeeper.connect=hm02:2181,hs0201:2181,hs0202:2181

4：啟動(dòng)zk集群
     ./zookeeper-3.4.8/bin/zkServer.sh start

5：啟動(dòng)kafka的server
    ./bin/kafka-server-start.sh config/server.properties 啟動(dòng)kafka服務(wù)

6：克隆一個(gè)會(huì)話來進(jìn)行創(chuàng)建一個(gè)主題，topic
     ./bin/kafka-topics.sh --create --zookeeper hm02:2181,hs0201:2181,hs0202:2181 --replication-factor 1 --partitions 1 --topic mykaka

    查看有那些topic：
    ./bin/kafka-topics.sh  --list --zookeeper hm02:2181,hs0201:2181,hs0202:2181

7：創(chuàng)建一個(gè)生產(chǎn)者，這里是使用命令行的producer
    ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic mykaka

8：創(chuàng)建一個(gè)消費(fèi)者，這里也是用命令行的consumer
     ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic mykaka --from-beginning

到此，關(guān)于“kafka原理及架構(gòu)是什么”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！

名稱欄目：kafka原理及架構(gòu)是什么
路徑分享：http://www.chinadenli.net/article32/gcscpc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供靜態(tài)網(wǎng)站、面包屑導(dǎo)航、、網(wǎng)站設(shè)計(jì)、服務(wù)器托管、定制開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)