本篇文章給大家分享的是有關(guān)如何分析Lustre性能優(yōu)化方案，小編覺(jué)得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說(shuō)，跟著小編一起來(lái)看看吧。

創(chuàng)新互聯(lián)公司是一家專(zhuān)業(yè)提供神木企業(yè)網(wǎng)站建設(shè),專(zhuān)注與成都網(wǎng)站制作、做網(wǎng)站、外貿(mào)營(yíng)銷(xiāo)網(wǎng)站建設(shè)、HTML5、小程序制作等業(yè)務(wù)。10年已為神木眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專(zhuān)業(yè)的建站公司優(yōu)惠進(jìn)行中。

談起HPC時(shí)，似乎繞不開(kāi)Lustre。Lustre是HPC的代名詞，它是開(kāi)源HPC并行文件系統(tǒng)市場(chǎng)占有率的文件系統(tǒng)，并得到了如Intel和DDN等廠商的大力支持。目前，Intel與Lustre相關(guān)的業(yè)務(wù)已經(jīng)被DDN所接手。

1 Lustre性能優(yōu)化參考

1.1 網(wǎng)絡(luò)帶寬

網(wǎng)絡(luò)帶寬往往決定著lustre文件系統(tǒng)的聚合帶寬。Lustre是通過(guò)多個(gè)OSS同時(shí)讀取數(shù)據(jù)來(lái)提高系統(tǒng)整體的讀寫(xiě)性能，然而，如果網(wǎng)絡(luò)傳輸?shù)男阅苓^(guò)低，則無(wú)法發(fā)揮lustre文件系統(tǒng)的性能優(yōu)勢(shì)。從以下幾點(diǎn)考慮網(wǎng)絡(luò)帶寬對(duì)性能的影響：

• 網(wǎng)絡(luò)類(lèi)型(TCP/IP網(wǎng)絡(luò)及Infiniband網(wǎng)絡(luò))

• 網(wǎng)卡類(lèi)型(千兆網(wǎng)/萬(wàn)兆網(wǎng))

• 網(wǎng)卡數(shù)量及綁定方式(網(wǎng)卡綁定一起)

• 網(wǎng)卡綁定模式

補(bǔ)充：

• 通常情況下Infiniband網(wǎng)絡(luò)性能遠(yuǎn)遠(yuǎn)高于TCP/IP網(wǎng)絡(luò)，但成本較高

• 萬(wàn)兆網(wǎng)比千兆網(wǎng)性能高

• 網(wǎng)卡綁定模式一般為6。

1.2 Lustre自身設(shè)置

Luster自身設(shè)置主要是條塊數(shù)(即OST的個(gè)數(shù))及如何條塊化，這兩方面也是lustre實(shí)現(xiàn)I/O并發(fā)的關(guān)鍵。條帶化能夠使系統(tǒng)達(dá)到并發(fā)的目的，從而影響了系統(tǒng)的性能。Luster自身設(shè)置對(duì)系統(tǒng)性能的影響主要從以下幾個(gè)方面：

• 條塊大小(stripesize，min=64KB)

• 條塊數(shù)(stripecount)

• 起始?jí)K數(shù)(start-ost，即條塊起始位置)

補(bǔ)充：

• 通常情況下start-ost默認(rèn)為-1，不需要進(jìn)行修改，該設(shè)置即不指定初始位置，能夠很好達(dá)到負(fù)載均衡的目的

• 通常情況下lustre條塊的大小的增加，聚合帶寬總體呈下降趨勢(shì)，當(dāng)條塊過(guò)大時(shí)，某一時(shí)間內(nèi)的多個(gè)I/O發(fā)生在同一個(gè)OST上，造成I/O等待，通常設(shè)置為64KB

• 通常情況下，隨著條塊數(shù)增加，聚合帶寬總體呈上升趨勢(shì)，在一定的環(huán)境下，合理的配置OST可以良好的發(fā)揮lustre的系統(tǒng)性能。

1.3 客戶端設(shè)置

Lustre文件系統(tǒng)中，客戶端生成一個(gè)全局存儲(chǔ)空間，用戶數(shù)據(jù)通過(guò)客戶端存入lustre文件系統(tǒng)中，所客戶端的設(shè)置也會(huì)影響系統(tǒng)的性能。

主要從以下幾點(diǎn)：

• 單個(gè)客戶端進(jìn)程數(shù)(連接數(shù))

• 讀寫(xiě)塊大小

• 客戶端數(shù)量

補(bǔ)充：

• 隨著連接數(shù)(進(jìn)程數(shù))的增加，聚合帶寬開(kāi)始呈上升趨勢(shì)，到一定程度后穩(wěn)定(此時(shí)系統(tǒng)性能尚未達(dá)到飽和)，隨著連接數(shù)的增加，帶寬開(kāi)始下降

• 隨著I/O讀寫(xiě)塊的大小增加，聚合帶寬開(kāi)始呈現(xiàn)上升趨勢(shì)，到一定程度后穩(wěn)定，隨后增加塊大小聚合帶寬反而下降，當(dāng)64KB~64MB大小時(shí)，保持穩(wěn)定

• 隨著客戶端數(shù)目的增加，讀模式下的聚合帶寬明顯提高，而寫(xiě)模式下的聚合帶寬則變化不明顯。

1.4 存儲(chǔ)RAID

Luster底層存儲(chǔ)設(shè)備采用通用存儲(chǔ)設(shè)備，可以是單磁盤(pán)，也可以是RAID，也可以是LVP，大部分采用RAID方式，既能保證聚合存儲(chǔ)容量，又能提供數(shù)據(jù)保護(hù)。主要從以下幾點(diǎn)說(shuō)明：

• RAID方式(硬RAID/軟RAID)

• RAID模式(RAID0/1/2/3/4/5/6/10/01)

• 硬RAID卡類(lèi)型

• 做RAID的磁盤(pán)類(lèi)型(SATA、SAS、SSD)

補(bǔ)充：

• 通常情況下，lustre文件系統(tǒng)底層采用硬RAID的方式進(jìn)行底層存儲(chǔ)，性能遠(yuǎn)遠(yuǎn)大于軟RAID，但成本高

• Luster通常做RAID6，提高數(shù)據(jù)保護(hù)

• OST磁盤(pán)一般采用低成本的SATA盤(pán)，而MDS則一般采用SSD盤(pán)

2 Lustre小文件優(yōu)化

2.1 整體設(shè)置

• 1、通過(guò)應(yīng)用聚合讀寫(xiě)提高性能，比如對(duì)小文件進(jìn)行Tar，或創(chuàng)建大文件或通過(guò)loopback  mount來(lái)存儲(chǔ)小文件。小文件系統(tǒng)調(diào)用開(kāi)銷(xiāo)和額外的I/O開(kāi)銷(xiāo)非常大，應(yīng)用聚合優(yōu)化可以顯著提高性能。另外，可以使用多節(jié)點(diǎn)、多進(jìn)程/多線程盡可能通過(guò)聚合來(lái)提高I/O帶寬。

• 2、應(yīng)用采用O_DIRECT方式進(jìn)行直接I/O，讀寫(xiě)記錄大小設(shè)置為4KB，與文件系統(tǒng)保持一致。對(duì)輸出文件禁用locking，避免客戶端之間的競(jìng)爭(zhēng)。

• 3、應(yīng)用程序盡量保證寫(xiě)連續(xù)數(shù)據(jù)，順序讀寫(xiě)小文件要明顯優(yōu)于隨機(jī)小文件I/O。

• 4、OST采用SSD或更多的磁盤(pán)，提高IOPS來(lái)改善小文件性能。創(chuàng)建大容量OST，而非多個(gè)小容量OST，減少日志、連接等負(fù)載。

• 5、OST采用RAID 1+0替代RAID 5/6，避免頻繁小文件I/O引起的數(shù)據(jù)校驗(yàn)開(kāi)銷(xiāo)。

2.2 系統(tǒng)設(shè)置

• 1、禁用所有客戶端LNET debug功能：缺省開(kāi)啟多種調(diào)試信息，sysctl -w  lnet.debug=0，減少系統(tǒng)開(kāi)銷(xiāo)，但發(fā)生錯(cuò)誤時(shí)將無(wú)LOG可詢。

• 2、增加客戶端Dirty Cache大小：缺省為32MB，增大緩存將提升I/O性能，但數(shù)據(jù)丟失的風(fēng)險(xiǎn)也隨之增大。

• 3、增加RPC并行數(shù)量：缺省為8，提升至32將提高數(shù)據(jù)和元數(shù)據(jù)性能。不利之處是如果服務(wù)器壓力很大，可能反而會(huì)影響性能。

• 4、控制Lustre striping：lfs setstripe -c 0/1/-1  /path/filename，如果OST對(duì)象數(shù)大于1，小文件性能會(huì)下降，因此將OST對(duì)象設(shè)置為1。

• 5、客戶端考慮使用本地鎖：mount -t lustre -o  localflock，如果確定多個(gè)進(jìn)程從同一個(gè)客戶端進(jìn)行寫(xiě)文件，則可用localflock代替flock，減少發(fā)送到MDS的RPC數(shù)量。

• 6、使用loopback  mount文件：創(chuàng)建大Lustre文件，與loop設(shè)備關(guān)聯(lián)并創(chuàng)建文件系統(tǒng)，然后將其作為文件系統(tǒng)進(jìn)行mount。小文件作用其上，則原先大量的MDS元數(shù)據(jù)操作將轉(zhuǎn)換為OSS讀寫(xiě)操作，消除了元數(shù)據(jù)瓶頸，可以顯著提高小文件性能。

這種方法應(yīng)用于scratch空間可行，但對(duì)于生產(chǎn)數(shù)據(jù)應(yīng)該謹(jǐn)慎使用，因?yàn)長(zhǎng)ustre目前工作在這種模式下還存在問(wèn)題，操作方法如下:

以上就是如何分析Lustre性能優(yōu)化方案，小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘９ぷ鲿?huì)見(jiàn)到或用到的。希望你能通過(guò)這篇文章學(xué)到更多知識(shí)。更多詳情敬請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

本文題目：如何分析Lustre性能優(yōu)化方案
轉(zhuǎn)載源于：http://www.chinadenli.net/article16/gciggg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供面包屑導(dǎo)航、企業(yè)網(wǎng)站制作、手機(jī)網(wǎng)站建設(shè)、網(wǎng)站制作、網(wǎng)站內(nèi)鏈、全網(wǎng)營(yíng)銷(xiāo)推廣

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)