給小白演示 分庫(kù)分表案例

受群里小伙伴之邀，搞一個(gè)分庫(kù)分表案例，這樣讓很多沒(méi)用過(guò)分庫(kù)分表的心里也有個(gè)底，不然永遠(yuǎn)看到的都是網(wǎng)上的各種概念和解決方案性的文章。

青龍網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)！從網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開(kāi)發(fā)、APP開(kāi)發(fā)、成都響應(yīng)式網(wǎng)站建設(shè)公司等網(wǎng)站項(xiàng)目制作，到程序開(kāi)發(fā)，運(yùn)營(yíng)維護(hù)。創(chuàng)新互聯(lián)成立于2013年到現(xiàn)在10年的時(shí)間，我們擁有了豐富的建站經(jīng)驗(yàn)和運(yùn)維經(jīng)驗(yàn)，來(lái)保證我們的工作的順利進(jìn)行。專注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)。

由于用戶表過(guò)于龐大，采取相關(guān)SQL優(yōu)化，還是不能滿足，所以現(xiàn)對(duì)其進(jìn)行做分庫(kù)分表。

數(shù)據(jù)庫(kù)： my-sharding

數(shù)據(jù)庫(kù)表： t_user

建表語(yǔ)句如下：

關(guān)于數(shù)據(jù)庫(kù)分庫(kù)分表通常有兩種方案：

下面我們來(lái)演示水平拆分，大致思路：

加入有2000萬(wàn)條數(shù)據(jù)，那么為了方便演示，我們就暫定分為五個(gè)庫(kù)，每個(gè)數(shù)據(jù)庫(kù)對(duì)應(yīng)五個(gè)表。

五個(gè)數(shù)據(jù)庫(kù)：

每個(gè)數(shù)據(jù)庫(kù)有五張表：

建表語(yǔ)句如下：

使用技術(shù)棧： JDK8 + MySQL + Spring Boot + Mybatis + Shardingsphere + Druid

maven 相關(guān)依賴：

配置文件相關(guān)配置如下：

分庫(kù)分表的兩個(gè)分片類(lèi)：

下面是業(yè)務(wù)部分代碼，先看 UserMapper.xml 內(nèi)容：

UserMapper 接口：

為了更好地演示，我這里加入了 controller 層和 service 層，這也是大家平常開(kāi)發(fā)套路。

service 層代碼如下：

controller層代碼如下：

最后是項(xiàng)目的啟動(dòng)類(lèi)：

啟動(dòng)項(xiàng)目，啟動(dòng)成功：

下面我們來(lái)演示一下新增數(shù)據(jù)和查詢。

先來(lái)添加數(shù)據(jù)到數(shù)據(jù)庫(kù)中，這里使用的是IDEA中restful工具：

后臺(tái)日志：

再查看數(shù)據(jù)庫(kù)表中：

到此，我們的數(shù)據(jù)依舊落庫(kù)，下面我們來(lái)演示一下數(shù)據(jù)查詢。

瀏覽器里輸入：

返回?cái)?shù)據(jù)：

后臺(tái)日志：

從日志和返回結(jié)果可以看出，已經(jīng)為我們正確的選擇到對(duì)應(yīng)的數(shù)據(jù)庫(kù)和表了，這樣，一個(gè)分庫(kù)分表的查詢就成功了。

本文沒(méi)有太多的概念，直接使用案例演示。相關(guān)概念性的文章，還有分庫(kù)分表解決方案的文章，網(wǎng)上一堆堆的，感興趣可以自行查閱。

淺談mysql數(shù)據(jù)庫(kù)分庫(kù)分表那些事-億級(jí)數(shù)據(jù)存儲(chǔ)方案

mysql分庫(kù)分表一般有如下場(chǎng)景

其中1，2相對(duì)較容易實(shí)現(xiàn),本文重點(diǎn)講講水平拆表和水平拆庫(kù),以及基于mybatis插件方式實(shí)現(xiàn)水平拆分方案落地。

在 《聊一聊擴(kuò)展字段設(shè)計(jì)》 一文中有講解到基于KV水平存儲(chǔ)擴(kuò)展字段方案,這就是非常典型的可以水平分表的場(chǎng)景。主表和kv表是一對(duì)N關(guān)系,隨著主表數(shù)據(jù)量增長(zhǎng),KV表最大N倍線性增長(zhǎng)。

這里我們以分KV表水平拆分為場(chǎng)景

對(duì)于kv擴(kuò)展字段查詢,只會(huì)根據(jù)id + key 或者 id 為條件的方式查詢,所以這里我們可以按照id 分片即可

分512張表(實(shí)際場(chǎng)景具體分多少表還得根據(jù)字段增加的頻次而定)

分表后表名為kv_000 ~ kv_511

id % 512 = 1 .... 分到 kv_001,

id % 512 = 2 .... 分到 kv_002

依次類(lèi)推!

水平分表相對(duì)比較容易,后面會(huì)講到基于mybatis插件實(shí)現(xiàn)方案

場(chǎng)景:以下我們基于博客文章表分庫(kù)場(chǎng)景來(lái)分析

目標(biāo):

表結(jié)構(gòu)如下(節(jié)選部分字段):

按照user_id sharding

假如分1024個(gè)庫(kù),按照user_id % 1024 hash

user_id % 1024 = 1 分到db_001庫(kù)

user_id % 1024 = 2 分到db_002庫(kù)

依次類(lèi)推

目前是2個(gè)節(jié)點(diǎn),假如后期達(dá)到瓶頸,我們可以增加至4個(gè)節(jié)點(diǎn)

最多可以增加只1024個(gè)節(jié)點(diǎn),性能線性增長(zhǎng)

對(duì)于水平分表/分庫(kù)后,非shardingKey查詢首先得考慮到

基于mybatis分庫(kù)分表,一般常用的一種是基于spring AOP方式, 另外一種基于mybatis插件。其實(shí)兩種方式思路差不多。

為了比較直觀解決這個(gè)問(wèn)題,我分別在Executor 和StatementHandler階段2個(gè)攔截器

實(shí)現(xiàn)動(dòng)態(tài)數(shù)據(jù)源獲取接口

測(cè)試結(jié)果如下

由此可知,我們需要在Executor階段 切換數(shù)據(jù)源

對(duì)于分庫(kù):

原始sql:

目標(biāo)sql:

其中定義了三個(gè)注解

@useMaster 是否強(qiáng)制讀主

@shardingBy 分片標(biāo)識(shí)

@DB 定義邏輯表名 庫(kù)名以及分片策略

1)編寫(xiě)entity

Insert

select

以上順利實(shí)現(xiàn)mysql分庫(kù),同樣的道理實(shí)現(xiàn)同時(shí)分庫(kù)分表也很容易實(shí)現(xiàn)。

此插件具體實(shí)現(xiàn)方案已開(kāi)源:

目錄如下:

mysql分庫(kù)分表,首先得找到瓶頸在哪里(IO or CPU),是分庫(kù)還是分表,分多少？不能為了分庫(kù)分表而拆分。

原則上是盡量先垂直拆分 后 水平拆分。

以上基于mybatis插件分庫(kù)分表是一種實(shí)現(xiàn)思路,還有很多不完善的地方,

例如:

如何實(shí)現(xiàn)mysql的分庫(kù)分表

1,接收到sql;2,把sql放到排隊(duì)隊(duì)列中 ;3,執(zhí)行sql;4,返回執(zhí)行結(jié)果。在這個(gè)執(zhí)行過(guò)程中最花時(shí)間在什么地方呢？第一，是排隊(duì)等待的時(shí)間，第二，sql的執(zhí)行時(shí)間。其實(shí)這二個(gè)是一回事，等待的同時(shí)，肯定有sql在執(zhí)行。所以我們要縮短sql的執(zhí)行時(shí)間。

mysql中有一種機(jī)制是表鎖定和行鎖定，為什么要出現(xiàn)這種機(jī)制，是為了保證數(shù)據(jù)的完整 性，我舉個(gè)例子來(lái)說(shuō)吧，如果有二個(gè)sql都要修改同一張表的同一條數(shù)據(jù)，這個(gè)時(shí)候怎么辦呢，是不是二個(gè)sql都可以同時(shí)修改這條數(shù)據(jù)呢？很顯然mysql 對(duì)這種情況的處理是，一種是表鎖定（myisam存儲(chǔ)引擎），一個(gè)是行鎖定（innodb存儲(chǔ)引擎）。表鎖定表示你們都不能對(duì)這張表進(jìn)行操作，必須等我對(duì) 表操作完才行。行鎖定也一樣，別的sql必須等我對(duì)這條數(shù)據(jù)操作完了，才能對(duì)這條數(shù)據(jù)進(jìn)行操作。如果數(shù)據(jù)太多，一次執(zhí)行的時(shí)間太長(zhǎng)，等待的時(shí)間就越長(zhǎng)，這 也是我們?yōu)槭裁匆直淼脑颉?/p>

文章標(biāo)題：mysql分庫(kù)分表怎么做 數(shù)據(jù)庫(kù)的分庫(kù)分表怎么做的
分享鏈接：http://www.chinadenli.net/article4/dooiioe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站制作、外貿(mào)建站、動(dòng)態(tài)網(wǎng)站、微信公眾號(hào)、商城網(wǎng)站、網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)