互聯(lián)網(wǎng)創(chuàng)業(yè)的準(zhǔn)備數(shù)據(jù)庫(kù)：硬盤iops、mysql

《互聯(lián)網(wǎng)創(chuàng)業(yè)的準(zhǔn)備》系列文章 硬盤常識(shí)： 機(jī)械硬盤HDD固態(tài)硬盤SSD 最小單位1個(gè)扇區(qū)為512B，或4K（2012年民用普及）1個(gè)分頁(yè)為4K、8K或更高（） 性能因素轉(zhuǎn)速（rpm）：5400、7200、1w、1.5w層數(shù)：SLC（單層快）、MLC（雙層慢）、TLC（三層更慢，SSD暫未采用，

《互聯(lián)網(wǎng)創(chuàng)業(yè)的準(zhǔn)備》系列文章——

機(jī)械硬盤HDD 固態(tài)硬盤SSD

最小單位 1個(gè)扇區(qū)為512B，或4K（2012年民用普及） 1個(gè)分頁(yè)為4K、8K或更高（）

性能因素 轉(zhuǎn)速（rpm）：5400、7200、1w、1.5w 層數(shù)：SLC（單層快）、MLC（雙層慢）、TLC（三層更慢，SSD暫未采用，U盤大量采用）

接口 SATA 3G、SATA 6G（2012年民用普及）、SAS 6G SATA 3G、SATA 6G、SAS 6G、PCI-E

尺寸 2.5英寸、3.5英寸 2.5英寸、PCI-E版型

常見品牌 西部數(shù)據(jù)、希捷 Intel、鎂光（Crucial）、浦科特（PLEXTOR）

硬盤性能指標(biāo)：

連續(xù)讀寫（常用單位為MB/s）：文件在硬盤上存儲(chǔ)位置是連續(xù)的，適用場(chǎng)景：大文件拷貝（比如視頻音樂）。速度即使很高，對(duì)數(shù)據(jù)庫(kù)性能也沒有參考價(jià)值。

4K隨機(jī)讀寫（常用單位為iops）：在硬盤上隨機(jī)位置讀寫數(shù)據(jù)，每次4KB，適用場(chǎng)景：操作系統(tǒng)運(yùn)行、軟件運(yùn)行、數(shù)據(jù)庫(kù)。（圖片靜態(tài)服務(wù)器、視頻靜態(tài)服務(wù)器是大文件，測(cè)試64K隨機(jī)或更大）

常用硬盤性能測(cè)試軟件：

Windows：AS SSD Benchmark、CrystalDiskMark、HD Tune Pro、iometer

Linux：iometer

Align I/Os：硬盤IO大小。測(cè)試設(shè)備時(shí)根據(jù)硬盤最小單位進(jìn)行選擇，機(jī)械硬盤上選512B或4K，SSD上選4K、8K等。測(cè)試分區(qū)時(shí)受分區(qū)sector size影響。由于Linux ext3的sector size為4096，所以在扇區(qū)為512B的機(jī)械硬盤上也無(wú)法選擇Align I/Os on 512B進(jìn)行測(cè)試，測(cè)試效果不佳。vps無(wú)法進(jìn)行設(shè)備測(cè)試，如果是自購(gòu)服務(wù)器，應(yīng)使用設(shè)備測(cè)試。

Seq 即 Sequential 即連續(xù)讀寫。AS SSD會(huì)先以16MB的尺寸為單位，持續(xù)向受測(cè)分區(qū)寫入生成1個(gè)達(dá)到1GB大小的文件，然后再以同樣的單位尺寸讀取這個(gè)，最后計(jì)算平均成績(jī)而給出結(jié)果。

4K 即 Random 4k, Queue Depth=1 即 隨機(jī)4K并發(fā)1個(gè)隊(duì)列。AS SSD會(huì)以512KB的單位尺寸生成1GB大小的測(cè)試文件，然后在其地址范圍（LBA）內(nèi)進(jìn)行隨機(jī)4KB單位尺寸進(jìn)行寫入及讀取測(cè)試，直到跑遍這個(gè)范圍為止，最后同樣計(jì)算平均成績(jī)給出結(jié)果。

4K QD32 即 Random 4k, Queue Depth=32 即 隨機(jī)4K并發(fā)32個(gè)隊(duì)列。

4K-64Thrd 即 4K, 64 Thread 即 隨機(jī)4K并發(fā)64個(gè)線程，和 4K QD64是一個(gè)意思。AS SSD會(huì)生成64個(gè)16MB大小的測(cè)試文件（共計(jì)1GB），然后同時(shí)以4KB的單位尺寸，同時(shí)在這64個(gè)文件中進(jìn)行寫入和讀取測(cè)試，最后依然以平均成績(jī)?yōu)榻Y(jié)果。

通過(guò)AS SSD可以看出，iops與MB/s可以直接換算，比如4K讀取是6227iops，即每秒鐘可以讀取6227個(gè)4K的文件，即 6227 * 4K / 1024 = 24.3 MB/s。

Intel的SSD性能數(shù)據(jù)采用iometer 4K QD32的測(cè)試結(jié)果：

價(jià)格與速度：

型號(hào) 容量 2012價(jià)格 4K QD32隨機(jī)讀/寫（iops） 4K QD64 連續(xù)讀寫（MB/s）

民用 機(jī)械7200rpm 3.5英寸 SATA 6G 希捷Barracuda 7200.14 3TB ￥1.1k 409/365 386/291 200/180

企業(yè)級(jí) 機(jī)械10000rpm 2.5英寸 SAS 6G 希捷Savvio 10K.5 300GB ￥1k 750/700 170/170

企業(yè)級(jí) 機(jī)械15000rpm 2.5英寸 SAS 6G 希捷Savvio 15K.3 300GB ￥2.2k

企業(yè)級(jí) 固態(tài)SLC 2.5英寸 SATA 3G Intel X25-E 32G ￥2.5k 3.5w/3.3k 250/170

企業(yè)級(jí) 固態(tài)MLC PCI-E Intel 910 400G ￥14w 9w/3.8w 1000/750

企業(yè)級(jí) 固態(tài)MLC PCI-E Intel 710 100G ￥2.5k 3.8w/2.3k 270/170

民用 固態(tài)MLC 2.5英寸 SATA 6G Intel 520 120G ￥840 2.5w/8w 550/500

民用 固態(tài)MLC 2.5英寸 SATA 6G 鎂光 M4 128G ￥800 7.8w/4.2w 7w/4w 500/175

為什么民用SSD的iops很高價(jià)格卻很低，而企業(yè)級(jí)SSD的iops有的很低而價(jià)格卻很高？因?yàn)槠髽I(yè)級(jí)SSD的耐用性高，比如Intel 710 100G壽命為4K寫入500TB，即5000次全盤寫入。

Intel SSD壽命指標(biāo)：smart中的“E8：Avai lable Reserved Space”：可用的預(yù)留閃存數(shù)量、“E9：Media Wearout Indicator”：閃存磨耗指數(shù)。其他廠商的SSD類似，比如鎂光的wear leaving count。

SSD新盤的剩余磨損為100，當(dāng)?shù)陀?0時(shí)，應(yīng)更換，報(bào)廢。

todo：數(shù)據(jù)庫(kù)的選擇

關(guān)系型數(shù)據(jù)庫(kù)用Mysql還是PostgreSQL，或者全用NoSQL？mongo還是hbase？

Mysql 和 PostgreSQL都可以。mysql用的人多，但是oracle收購(gòu)sun以后，把mysql限制的更加封閉，正在衰落，和可能和OpenOffice一樣被oracle整死，免備案空間，衍生出LibreOffice。但不用很擔(dān)心，即使mysql被oracle整死，也會(huì)衍生出開源版本，使用方式一樣。

關(guān)系型數(shù)據(jù)庫(kù)和NoSQL搭配使用較好，關(guān)系型適合底層業(yè)務(wù)，NoSQL適合上層業(yè)務(wù)。關(guān)注淘寶hbase的使用。

mysql可以把讀取結(jié)果放在內(nèi)存中，即query cache，所以db server安裝大內(nèi)存即可實(shí)現(xiàn)只讀內(nèi)存、不讀硬盤。

當(dāng)預(yù)計(jì)數(shù)據(jù)量會(huì)增長(zhǎng)到超過(guò)內(nèi)存大小時(shí)，進(jìn)行分表（把一個(gè)表中的數(shù)據(jù)拆分），放到多個(gè)大內(nèi)存服務(wù)器上，保證每個(gè)服務(wù)器上的數(shù)據(jù)都小于內(nèi)存大小，香港服務(wù)器，即可實(shí)現(xiàn)全部緩存。

2012年內(nèi)存價(jià)格：UDIMM no ECC DDR3 1600民用內(nèi)存 ￥270/8GB，RDIMM ECC DDR3 1600服務(wù)器內(nèi)存 ￥440/8G。但一臺(tái)服務(wù)器能安裝的內(nèi)存有限，2012年典型的Dell服務(wù)器有24個(gè)插槽，主板芯片支持768G內(nèi)存，2012年DDR3內(nèi)存生產(chǎn)工藝最高是單條8G（DDR4已實(shí)現(xiàn)單條16G，但主板尚未支持DDR4），所以一臺(tái)服務(wù)器最大內(nèi)存192G（￥440 * 24條 = 1w）。

數(shù)據(jù)庫(kù)寫入時(shí)必須寫硬盤（否則就不叫持久化存儲(chǔ)了……），￥2.5k的Intel 710企業(yè)級(jí)SSD的寫入iops為2.3k，而萬(wàn)轉(zhuǎn)硬盤的iops為700，如果要達(dá)到SSD的性能，需要多塊萬(wàn)轉(zhuǎn)硬盤組RAID。如果使用iops為3w的SSD，性能比機(jī)械硬盤提升了30倍。

如果數(shù)據(jù)量不大，遠(yuǎn)低于192G，就不需要做分表了嗎？

仍然要分表，原因有2個(gè)：

1、大內(nèi)存會(huì)提升mysql讀取性能，但并發(fā)讀取能力也是有上限的，香港虛擬主機(jī)，這時(shí)受CPU性能限制，2012年典型的服務(wù)器是雙路，即2個(gè)8核CPU（mysql內(nèi)存并發(fā)待測(cè)試）。

2、內(nèi)存很大，對(duì)并發(fā)寫入能力沒有作用，寫入能力完全依賴于硬盤的iops。一臺(tái)服務(wù)器的寫入性能很有限，請(qǐng)看下面的測(cè)試。

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com