分庫分表最佳實踐

MySQL單表（innoDB）可以存儲10億級數(shù)據(jù)，只是這時候性能比較差，業(yè)界公認(rèn)MySQL單表容量在1KW以下是最佳狀態(tài)，因為這時它的BTREE索引樹高在3~5之間。

成都創(chuàng)新互聯(lián)從2013年創(chuàng)立，先為姚安等服務(wù)建站，姚安等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為姚安企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。

參考阿里開發(fā)手冊建議：

1.單表行數(shù)超過 500 萬行或者單表容量超過 2GB，才推薦進(jìn)行分庫分表；如果預(yù)計三年后的數(shù)據(jù)量根本達(dá)不到這個級別，請不要在創(chuàng)建表時就分庫分表。

2.實際情況受mysql機(jī)器配置等多方面影響，可能數(shù)據(jù)量很大但性能依舊不錯，但考慮后續(xù)發(fā)展一定要進(jìn)行分庫分表考慮。

根據(jù)實際的業(yè)務(wù)場景選擇合適的分片數(shù)據(jù)，參考如下：

根據(jù)實際的業(yè)務(wù)場景選擇適當(dāng)?shù)姆制侄危_(dá)到如下要求：

分表數(shù)量和分表字段確定后，要設(shè)計一個合理的分表規(guī)則，良好的分表規(guī)則要達(dá)到如下條件：

如何保證分片數(shù)據(jù)均勻，參考：

如何保證方便后續(xù)分片擴(kuò)容，參考：

如何高效的使用分庫分表，核心是做到盡量的路由到最少的表，最好是只路由到一個表里面

核心規(guī)則如下：

階段一

階段二

階段三

本文鏈接：

1億條數(shù)據(jù)如何分表100張到Mysql數(shù)據(jù)庫中（PHP）

下面通過創(chuàng)建100張表來演示下1億條數(shù)據(jù)的分表過程，具體請看下文代碼。

當(dāng)數(shù)據(jù)量猛增的時候，大家都會選擇庫表散列等等方式去優(yōu)化數(shù)據(jù)讀寫速度。筆者做了一個簡單的嘗試，1億條數(shù)據(jù)，分100張表。具體實現(xiàn)過程如下：

首先創(chuàng)建100張表：

$i=0;

while($i=99){

echo

"$newNumber

\r\n";

$sql="CREATE

TABLE

`code_".$i."`

(

`full_code`

char(10)

NOT

NULL,

`create_time`

int(10)

unsigned

NOT

NULL,

PRIMARY

KEY

(`full_code`),

)

ENGINE=MyISAM

DEFAULT

CHARSET=utf8";

mysql_query($sql);

$i++;

下面說一下我的分表規(guī)則，full_code作為主鍵，我們對full_code做hash

函數(shù)如下：

$table_name=get_hash_table('code',$full_code);

function

get_hash_table($table,$code,$s=100){

$hash

=

sprintf("%u",

crc32($code));

echo

$hash;

$hash1

=

intval(fmod($hash,

$s));

return

$table."_".$hash1;

}

這樣插入數(shù)據(jù)前通過get_hash_table獲取數(shù)據(jù)存放的表名。

最后我們使用merge存儲引擎來實現(xiàn)一張完整的code表

CREATE

TABLE

IF

NOT

EXISTS

`code`

(

`full_code`

char(10)

NOT

NULL,

`create_time`

int(10)

unsigned

NOT

NULL,

INDEX(full_code)

)

TYPE=MERGE

UNION=(code_0,code_1,code_2.......)

INSERT_METHOD=LAST

;

這樣我們通過select

*

from

code就可以得到所有的full_code數(shù)據(jù)了。

以上介紹就是本文的全部內(nèi)容，希望對大家有所幫助。

mysql數(shù)據(jù)庫要放1億條信息怎樣分表?

mysql數(shù)據(jù)庫對1億條數(shù)據(jù)的分表方法設(shè)計：

目前針對海量數(shù)據(jù)的優(yōu)化有兩種方法：

（1）垂直分割

優(yōu)勢：降低高并發(fā)情況下，對于表的鎖定。

不足：對于單表來說，隨著數(shù)據(jù)庫的記錄增多，讀寫壓力將進(jìn)一步增大。

（2）水平分割

如果單表的IO壓力大，可以考慮用水平分割，其原理就是通過hash算法，將一張表分為N多頁，并通過一個新的表（總表），記錄著每個頁的的位置。

假如一個門戶網(wǎng)站，它的數(shù)據(jù)庫表已經(jīng)達(dá)到了1億條記錄，那么此時如果通過select去查詢，必定會效率低下（不做索引的前提下）。為了降低單表的讀寫IO壓力，通過水平分割，將這個表分成10個頁，同時生成一個總表，記錄各個頁的信息，那么假如我查詢一條id=100的記錄，它不再需要全表掃描，而是通過總表找到該記錄在哪個對應(yīng)的頁上，然后再去相應(yīng)的頁做檢索，這樣就降低了IO壓力。

mysql水平分表的幾種方法

1.按時間分表

這種分表方式有一定的局限性，當(dāng)數(shù)據(jù)有較強(qiáng)的實效性，如微博發(fā)送記錄、微信消息記錄等，這種數(shù)據(jù)很少有用戶會查詢幾個月前的數(shù)據(jù)，如就可以按月分表。

2.按區(qū)間范圍分表

一般在有嚴(yán)格的自增id需求上，如按照user_id水平分表：

table_1 ?user_id從1~100w?

table_2 ?user_id從101~200w?

table_3 ?user_id從201~300w?

...?

3.hash分表

通過一個原始目標(biāo)的ID或者名稱通過一定的hash算法計算出數(shù)據(jù)存儲表的表名，然后訪問相應(yīng)的表。

按如下分10張表：

function?get_hash_table($table,?$userid)

{

$str?=?crc32($userid);

if?($str??0)?{

$hash?=?"0"?.?substr(abs($str),?0,?1);

}?else?{

$hash?=?substr($str,?0,?2);

}

return?$table?.?"_"?.?$hash;

}

echo get_hash_table('message',?'user18991');?//結(jié)果為message_10

echo get_hash_table('message',?'user34523');?//結(jié)果為message_13

mysql數(shù)據(jù)庫分表

橫向分表：例如將創(chuàng)建時間在05年之前的數(shù)據(jù)放在一個分區(qū)上，將05年到08年之間的數(shù)據(jù)放到另一個分區(qū)上，以此類推。

到底要根據(jù)那個列進(jìn)行橫向的分區(qū)和查詢有關(guān)系，在建表的時候需要分析，會根據(jù)那個列進(jìn)行查詢。

思路這樣，具體事情具體分析。

當(dāng)前文章：mysql數(shù)據(jù)量怎么分表 數(shù)據(jù)庫怎么分表
網(wǎng)頁鏈接：http://www.chinadenli.net/article14/dooecge.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計公司、虛擬主機(jī)、軟件開發(fā)、網(wǎng)站收錄、App開發(fā)、響應(yīng)式網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)