這篇文章將為大家詳細(xì)講解有關(guān)MyBatis如何實(shí)現(xiàn)分庫(kù)分表，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

創(chuàng)新互聯(lián)建站服務(wù)項(xiàng)目包括樂至網(wǎng)站建設(shè)、樂至網(wǎng)站制作、樂至網(wǎng)頁(yè)制作以及樂至網(wǎng)絡(luò)營(yíng)銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢(shì)、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，樂至網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到樂至省份的部分城市，未來相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

前言

數(shù)據(jù)庫(kù)分庫(kù)分表除了使用中間件來代理請(qǐng)求分發(fā)之外，另外一種常見的方法就是在客戶端層面來分庫(kù)分表 —— 通過適當(dāng)?shù)匕b客戶端代碼使得分庫(kù)分表的數(shù)據(jù)庫(kù)訪問操作代碼編寫起來也很方便。本文的分庫(kù)分表方案基于 MyBatis 框架，但是又不同于市面上常用的方案，它們一般都是通過編寫復(fù)雜的 MyBatis 插件來重寫 SQL 語(yǔ)句，這樣的插件代碼會(huì)巨復(fù)雜無比，可能最終只有插件的原作者自己可以完全吃透相關(guān)代碼，給項(xiàng)目的維護(hù)性帶來一定問題。本文的方案非常簡(jiǎn)單易懂，而且也不失使用上的便捷性。它的設(shè)計(jì)哲學(xué)來源于 Python —— Explicit is better than Implicit，也就是顯式優(yōu)于隱式，它不會(huì)將分庫(kù)分表的過程隱藏起來。

很多分庫(kù)分表的設(shè)計(jì)在實(shí)現(xiàn)上會(huì)盡量將分庫(kù)分表的邏輯隱藏起來，其實(shí)這是毫無必要的。使用者必須知道背后確實(shí)進(jìn)行了分庫(kù)分表，否則他怎么會(huì)無法進(jìn)行全局的索引查找？他怎么會(huì)無法隨意進(jìn)行多表的 join 操作。如果你真的將它當(dāng)成單表來用，到上線時(shí)必然會(huì)出大問題。

項(xiàng)目名稱叫：shardino，項(xiàng)目地址：https://github.com/pyloque/shardino

接下來我們來看看在本文的方案之下，數(shù)據(jù)庫(kù)操作代碼的形式是怎樣的帖子表一共分出來 64 個(gè)表，不同的記錄會(huì)各自分發(fā)到其中一個(gè)表，可以是按 hash 分發(fā)，也可以按照日期分發(fā)，分發(fā)邏輯由用戶代碼自己來決定。在不同的環(huán)境中可以將分表數(shù)量設(shè)置為不同的值，比如在單元測(cè)試下分表設(shè)為 4 個(gè)，而線上可能需要設(shè)置為 64 個(gè)。

帖子表又會(huì)被分配到多個(gè)庫(kù)，這里就直接取模分配。假設(shè)有 4 個(gè)帖子庫(kù)，帖子表總共分出來 64 個(gè)表，分別是 post_0、post_1、post_2 一直到 post_63。那么 post_0、post_4、post_8 等分配到 0 號(hào)庫(kù)，post_1、post_5、post_9 等分配到 1 號(hào)庫(kù)，post_2、post_6、post_10 等分配到 2 號(hào)庫(kù)，post_3、post_5、post_11 等分配到 4 號(hào)庫(kù)。

從配置文件中構(gòu)建 MySQLGroupStore 數(shù)據(jù)庫(kù)組對(duì)象，這個(gè)對(duì)象是我們執(zhí)行 MySQL 操作的入口，通過它可以找到具體的物理的 MySQL 主從數(shù)據(jù)源。

配置文件 application.properties 如下

這里的數(shù)據(jù)庫(kù)組是由多個(gè)對(duì)等的 Master-Slaves 對(duì)構(gòu)成，每個(gè) Master-Slaves 是由一個(gè)主庫(kù)和多個(gè)不同權(quán)重的從庫(kù)構(gòu)成，Master-Slaves 對(duì)的數(shù)量就是分庫(kù)的數(shù)量。

mysqlgroup 還有一個(gè)特殊的配置選項(xiàng) slaveEnabled 來控制是否需要從庫(kù)，從而關(guān)閉讀寫分離，默認(rèn)是關(guān)閉的，這樣就不會(huì)去構(gòu)建從庫(kù)實(shí)例相關(guān)對(duì)象。

post_k 這張表后綴 k 我們稱之為 partition number，也就是后續(xù)代碼中到處在用的 partition 變量，表明當(dāng)前的記錄被分配到對(duì)應(yīng)物理數(shù)據(jù)表的序號(hào)。我們需要根據(jù)記錄的內(nèi)容計(jì)算出 partition number，再根據(jù) partition number 決定出這條記錄所在的物理表屬于那個(gè)物理數(shù)據(jù)庫(kù)，然后對(duì)這個(gè)物理數(shù)據(jù)庫(kù)進(jìn)行相應(yīng)的讀寫操作。

在本例中，帖子表按照 userId 字段 hash 出 64 張表，平均分配到 2 對(duì)物理庫(kù)中，每個(gè)物理庫(kù)包含一個(gè)主庫(kù)和2個(gè)從庫(kù)。

有了 MySQLGroupStore 實(shí)例，我們就可以盡情操縱所有數(shù)據(jù)庫(kù)了。

從上面的代碼中可以看出所有的讀寫、創(chuàng)建、刪除表操作的第一步都是計(jì)算出 partition number，然后根據(jù)它來選出目標(biāo)主從庫(kù)再進(jìn)一步對(duì)目標(biāo)的數(shù)據(jù)表進(jìn)行操作。這里我默認(rèn)開啟了autocommit，所以不需要顯式來 session.commit() 了。

在對(duì)數(shù)據(jù)表的操作過程中，又需要將具體的 partition number 傳遞過去，如此 MyBatis 才能知道具體操作的是哪個(gè)分表。

在每一條數(shù)據(jù)庫(kù)操作中都必須帶上 partition 參數(shù)，你可能會(huì)覺得這有點(diǎn)繁瑣。但是這也很直觀，它明確地告訴我們目前正在操作的是哪一個(gè)具體的分表。在 MyBatis 的注解 Mapper 類中，如果方法含有多個(gè)參數(shù)，需要使用 @Param 注解進(jìn)行名稱標(biāo)注，這樣才可以在 SQL 語(yǔ)句中直接使用相應(yīng)的注解名稱。否則你得使用默認(rèn)的變量占位符名稱 param0、param1 來表示，這就很不直觀。我們將分表的 hash 算法寫在實(shí)體類 Post 中，這里使用 CRC32 算法進(jìn)行 hash。

代碼中的 partitionFor 方法的參數(shù) num 就是一共要分多少表。如果是按日期來分表，這個(gè)參數(shù)可能就不需要，直接返回日期的整數(shù)就行比如 20190304。

還有最后一個(gè)問題是多個(gè)帶權(quán)重的從庫(kù)是如何做到概率分配的。這里就要使用到 spring-jdbc 自帶的 AbstractRoutingDataSource —— 帶路由功能的數(shù)據(jù)源。它可以包含多個(gè)子數(shù)據(jù)源，然后根據(jù)一定的策略算法動(dòng)態(tài)挑選出一個(gè)數(shù)據(jù)源來，這里就是使用權(quán)重隨機(jī)。

但是有個(gè)問題，我這里只需要這一個(gè)類，但是需要引入整個(gè) spring-boot-jdbc-starter 包，有點(diǎn)拖泥帶水的感覺。我研究了一下 AbstractRoutingDataSource 類的代碼，發(fā)現(xiàn)它的實(shí)現(xiàn)非常簡(jiǎn)單，如果就仿照它自己實(shí)現(xiàn)了一個(gè)簡(jiǎn)單版的，這樣就不需要引入整個(gè)包代碼了。

還需進(jìn)一步深入理解其實(shí)現(xiàn)代碼的可以將 shardino 代碼倉(cāng)庫(kù)拉到本地跑一跑

里面有單元測(cè)試可以運(yùn)行起來，運(yùn)行之前需要確保本機(jī)安裝了 docker 環(huán)境

這條指令會(huì)啟動(dòng)2對(duì)主從庫(kù)，各1主兩從。在本例中雖然用到了 springboot ，其實(shí)也只是用了它方便的依賴注入和單元測(cè)試功能，shardino 完全可以脫離 springboot 而獨(dú)立存在。shardino 并不是一個(gè)完美的開源庫(kù)，它只是一份實(shí)現(xiàn)代碼的樣板，如果讀者使用的是其它數(shù)據(jù)庫(kù)或者 MySQL 的其它版本，那就需要自己微調(diào)一下代碼來適配了。

關(guān)于“MyBatis如何實(shí)現(xiàn)分庫(kù)分表”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。

當(dāng)前名稱：MyBatis如何實(shí)現(xiàn)分庫(kù)分表
分享路徑：http://www.chinadenli.net/article36/isjipg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制開發(fā)、關(guān)鍵詞優(yōu)化、商城網(wǎng)站、品牌網(wǎng)站制作、網(wǎng)站導(dǎo)航、ChatGPT

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)