Kafka中怎么保證消息不丟失重復(fù)，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來學(xué)習(xí)下，希望你能有所收獲。

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)！專注于網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、小程序開發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了磴口免費建站歡迎大家使用！

• 消費端重復(fù)消費：

• 建立去重表

• 消費端丟失數(shù)據(jù)：

• 關(guān)閉自動提交offset，處理完之后受到移位

• 生產(chǎn)端重復(fù)發(fā)送：

• 這個不重要，消費端消費之前從去重表中判重就可以

• 生產(chǎn)端丟失數(shù)據(jù)：

• 1、異步方式緩沖區(qū)滿了，就阻塞在那，等著緩沖區(qū)可用，不能清空緩沖區(qū)

• 2、發(fā)送消息之后回調(diào)函數(shù)，發(fā)送成功就發(fā)送下一條，

• 發(fā)送失敗就記在日志里，等著定時腳本（定時器）來掃描

• （發(fā)送失敗可能并不真的發(fā)送失敗，只是沒收到反饋，定時腳本可能會重發(fā)）

• 解決策略:

如何保證有序（同步發(fā)送能保證順序）：

• 同步發(fā)送模式：發(fā)出消息后，必須阻塞等待收到通知后，才發(fā)送下一條消息

• 異步發(fā)送模式：一直往緩沖區(qū)寫，然后一把寫到隊列中去

• 兩者都是各有利弊：

• 同步發(fā)送模式雖然吞吐量小，但是發(fā)一條收到確認(rèn)后再發(fā)下一條，既能保證不丟失消息，又能保證順序

kafka數(shù)據(jù)丟失原因：

1. 有3種狀態(tài)（0（不需要等待確認(rèn)）、1（leader確認(rèn)）、-1（all確認(rèn)））保證消息被安全生產(chǎn)，

• 在配置狀態(tài)為1（只保證寫入leader成功的話），如果剛好leader partition掛了，數(shù)據(jù)就會丟失

2. 使用異步模式的時候，當(dāng)緩存區(qū)滿了，

• 如果配置狀態(tài)為0（還沒收到確認(rèn)的情況下，緩沖池一滿，就清空緩沖池里的消息），數(shù)據(jù)就會被立馬丟棄掉

3. 如果配置狀態(tài)為-1

• 由于ISR可能會縮小到僅包含一個Replica，所以設(shè)置參數(shù)為all并不能一定避免數(shù)據(jù)丟失

在數(shù)據(jù)生產(chǎn)時避免數(shù)據(jù)丟失的方法：

• 只要能避免上述兩種情況，那么就可以保證消息不會被丟失。

看完上述內(nèi)容是否對您有幫助呢？如果還想對相關(guān)知識有進(jìn)一步的了解或閱讀更多相關(guān)文章，請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝您對創(chuàng)新互聯(lián)的支持。

分享標(biāo)題：Kafka中怎么保證消息不丟失重復(fù)
網(wǎng)站路徑：http://www.chinadenli.net/article40/pejieo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站建設(shè)、定制網(wǎng)站、微信公眾號、網(wǎng)站設(shè)計、建站公司、微信小程序

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)