如何使用MySQL自帶的性能壓力測試工具mysqlslap

1

牟平網(wǎng)站建設(shè)公司成都創(chuàng)新互聯(lián)公司,牟平網(wǎng)站設(shè)計制作，有大型網(wǎng)站制作公司豐富經(jīng)驗。已為牟平成百上千家提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\外貿(mào)網(wǎng)站制作要多少錢，請找那個售后服務(wù)好的牟平做網(wǎng)站的公司定做！

使用--auto-generate-sql參數(shù)表示用mysqlslap工具自己生成的SQL腳本來測試并發(fā)壓力

mysqlslap --auto-generate-sql -uroot -p123456

2

并發(fā)測試，使用–concurrency來模擬并發(fā)連接，連接數(shù)可以多個，用逗號隔開

mysqlslap --auto-generate-sql --concurrency=100 -uroot -p123456

mysqlslap --auto-generate-sql --concurrency=50,100 -uroot -p123456

3

使用--iterations模擬迭代測試，用于需要多次執(zhí)行測試得到平均值。

mysqlslap --auto-generate-sql --iterations=5 -uroot -p123456

4

使用--engine測試不同的存儲引擎的性能進行對比

mysqlslap --auto-generate-sql --concurrency=50,100 --iterations=5 --engine=myisam,innodb -uroot -p123456

5

--query=name,-q 指定自定義腳本執(zhí)行測試，例如可以調(diào)用自定義的一個存儲過程或者sql語句來執(zhí)行測試。--create-schema 指定自定義的測試數(shù)據(jù)庫名稱，

mysqlslap --auto-generate-sql --concurrency=50,100 --create-schema="landclash" --query="call landclash.sp_player_getname(34);" --number-of-queries=5000 -uroot -p123456

Go語言使用gorm對MySQL進行性能測試

之前寫過了Go語言gorm框架MySQL實踐，其中對gorm框架在操作MySQL的各種基礎(chǔ)實踐，下面分享一下如何使用gorm框架對MySQL直接進行性能測試的簡單實踐。

這里我使用了一個原始的Go語言版本的 FunTester 測試框架，現(xiàn)在只有一個基本的方法，實在是因為Go語言特性太強了。框架設(shè)計的主要思路之一就是利用Go語言的閉包和方法參數(shù)特性，將一個 func() 當做性能測試的主題，通過不斷運行這個 func() 來實現(xiàn)性能測試。當然還有另外一個思路就是運行一個多線程任務(wù)類，類似 Java 版本的 com.funtester.base.constaint.ThreadBase 抽象類，這樣可以設(shè)置一些類的屬性，綁定一些測試資源，適配更多的測試場景。

下面演示select的性能測試，這里我用了隨機ID查詢的場景。

這里我使用從35開始遞增的ID進行刪除。

這里使用了select的用例部分，隨機ID，然后更新name字段，隨機10個長度的字符串。

這里用到了 FunTester 字段都是隨機生成。

到這里可以看出，性能測試框架用到的都是gorm框架的基礎(chǔ)API使用，這里MySQL連接池的管理工作完全交給了gorm框架完成，看資料說非常牛逼，我們只需要設(shè)置幾個參數(shù)。這個使用體現(xiàn)很像 HttpClient 設(shè)置 HTTP 連接池類似，這里我們也可以看出這些優(yōu)秀的框架使用起來都是非常簡單的。

PS：關(guān)于gorm的基礎(chǔ)使用的請參考上一期的文章Go語言gorm框架MySQL實踐。

(16)mysql瓶頸 & MGR和一致性讀 性能測試

容量： 看硬件

InnoDB?最大容量64TB ，存儲引擎將 InnoDB 表 保存在一個 表空間內(nèi)（ 原始磁盤分區(qū)，由數(shù)個文件創(chuàng)建）。這樣， 表大小 能超過 單獨文件最大容量 。

MySQL 3.22( MyISAM )限制表大小 4GB ，最大表尺寸增加到65536TB（2567 – 1字節(jié)）。最大有效表尺寸通常是由 操作系統(tǒng) 對 文件大小限制 決定的， 不是 由MySQL內(nèi)部限制決定。

最多 20億個表 ，一個表允許定義1024列，每行的最大長度為8092字節(jié)（不包括文本和圖像類型的長度）；

阿里《Java 開發(fā)手冊》提出 單表行 500w 容量2GB ，才分庫分表

與 MySQL 配置及硬件 有關(guān)，實際記錄的條數(shù)無關(guān)。因為表 索引 裝載 到內(nèi)存，InnoDB buffer size 足夠 ，才能全加載進內(nèi)存，查沒問題。達量級限時，導(dǎo)致 內(nèi)存無法存儲索引 ，產(chǎn)生磁盤 IO，性能下降。增加硬件配置解決。500w算折中

QPS在8400左右 ：400個線程并發(fā)，插入100萬條記錄（4核2.33G、3G內(nèi)存、SATA硬盤）

寫： 90-100M/S（機械硬盤，7200轉(zhuǎn)）預(yù)計kB_wrtn/s在90M左右

show variables like 'max_connections' ?mysql當前最大連接數(shù)

set global max_connections=1000; ?設(shè)置當前最大連接數(shù)為1000；mysql重啟時失效,需要長期生效在my.ini 添加 max_connections=1000

從業(yè)務(wù)使用場景出發(fā)，根據(jù)RDS套餐類型和線上實際訪問流量，來衡量性能指標，以便方便對標實際業(yè)務(wù)場景。

MySQL 5.7.21 Group Replication

MySQL 5.7.21 Group Replication with Consistent Read

同機房3節(jié)點、跨機房3節(jié)點

網(wǎng)絡(luò)異常：長時間延時0.5ms，長時間延時2ms，丟包0.01%

場景1、2的差異可以衡量 跨機房網(wǎng)絡(luò) 帶來的 性能損耗

場景3關(guān)注在 網(wǎng)絡(luò)質(zhì)量變化 時帶來的 性能變化

同機房3節(jié)點為 05 06 03????跨機房3節(jié)點為 05 06 01

機器部署：同IDC3臺（永順ys 03 05 06），跨IDC1臺（廣州gz 01）

同IDC RTT（06-05）：RTT min/avg/max/mdev =?0.051/0.059/0.070/0.010?ms

跨IDC RTT（01-05）：RTT min/avg/max/mdev =?0.739/0.749/0.810/0.027

跨IDC的網(wǎng)絡(luò)耗時是同 IDC的1.3倍 ，在設(shè)置 延遲0.5ms后 的網(wǎng)絡(luò)質(zhì)量：

同IDC RTT（06-05）：RTT min/avg/max/mdev =?0.507/0.564/0.617/0.037

跨IDC RTT（01-05）：RTT min/avg/max/mdev =?1.199/1.248/1.315/0.046

跨IDC的網(wǎng)絡(luò)耗時是 同IDC的2.2倍 ，在設(shè)置 延遲2ms后 的網(wǎng)絡(luò)質(zhì)量：

同IDC RTT（06-05）：RTT min/avg/max/mdev = 1.963/2.054/2.161/0.064 ms

跨IDC RTT（01-05）：RTT?min/avg/max/mdev = 2.642/2.732/2.835/0.076 ms

參考：;aliyun

如何測試mysql的性能和穩(wěn)定性

　有一些有用的工具可以測試MySQL 和基于MySQL 的系統(tǒng)的性能。這里將演示如何利用這些工具進行測試。

mysqlslap

mysqlslap可以模擬服務(wù)器的負載，并輸出計時信息。它包含在MySQL 5.1 的發(fā)行包中，應(yīng)該在MySQL 4.1或者更新的版本中都可以使用。測試時可以執(zhí)行并發(fā)連接數(shù)，并指定SQL 語句（可以在命令行上執(zhí)行，也可以把SQL 語句寫入到參數(shù)文件中）。如果沒有指定SQL 語句，mysqlslap 會自動生成查詢schema 的SELECT 語句。

MySQL Benchmark Suite （sql-bench）

在MySQL 的發(fā)行包中也提供了一款自己的基準測試套件，可以用于在不同數(shù)據(jù)庫服務(wù)器上進行比較測試。它是單線程的，主要用于測試服務(wù)器執(zhí)行查詢的速度。結(jié)果會顯示哪種類型的操作在服務(wù)器上執(zhí)行得更快。

這個測試套件的主要好處是包含了大量預(yù)定義的測試，容易使用，所以可以很輕松地用于比較不同存儲引擎或者不同配置的性能測試。其也可以用于高層次測試，比較兩個服務(wù)器的總體性能。當然也可以只執(zhí)行預(yù)定義測試的子集（例如只測試UPDATE 的性能）。這些測試大部分是CPU 密集型的，但也有些短時間的測試需要大量的磁盤I/O 操作。

這個套件的最大缺點主要有：它是單用戶模式的，測試的數(shù)據(jù)集很小且用戶無法使用指定的數(shù)據(jù)，并且同一個測試多次運行的結(jié)果可能會相差很大。因為是單線程且串行執(zhí)行的，所以無法測試多CPU 的能力，只能用于比較單CPU 服務(wù)器的性能差別。使用這個套件測試數(shù)據(jù)庫服務(wù)器還需要Perl 和BDB 的支持，相關(guān)文檔請參考.

Super Smack

Super Smack是一款用于MySQL 和PostgreSQL的基準測試工具，可以提供壓力測試和負載生成。這是一個復(fù)雜而強大的工具，可以模擬多用戶訪問，可以加載測試數(shù)據(jù)到數(shù)據(jù)庫，并支持使用隨機數(shù)據(jù)填充測試表。測試定義在"smack"文件中，smack 文件使用一種簡單的語法定義測試的客戶端、表、查詢等測試要素。

Database Test Suite

Database Test Suite 是由開源軟件開發(fā)實驗室（OSDL,Open Source DevelopmentLabs）設(shè)計的，發(fā)布在SourceForge 網(wǎng)站上，這是一款類似某些工業(yè)標準測試的測試工具集，例如由事務(wù)處理性能委員會（TPC,Transaction Processing Performance Council）制定的各種標準。特別值得一提的是，其中的dbt2 就是一款免費的TPC-C OLTP 測試工具（未認證）。之前本書作者經(jīng)常使用該工具，不過現(xiàn)在已經(jīng)使用自己研發(fā)的專用于MySQL 的測試工具替代了。

Percona's TPCC-MySQL Tool

我們開發(fā)了一個類似TPC-C 的基準測試工具集，其中有部分是專門為MySQL 測試開發(fā)的。在評估大壓力下MySQL 的一些行為時，我們經(jīng)常會利用這個工具進行測試（簡單的測試，一般會采用sysbench 替代），在源碼庫中有一個簡單的文檔說明。

sysbench

sysbench是一款多線程系統(tǒng)壓測工具。它可以根據(jù)影響數(shù)據(jù)庫服務(wù)器性能的各種因素來評估系統(tǒng)的性能。例如，可以用來測試文件I/O、操作系統(tǒng)調(diào)度器、內(nèi)存分配和傳輸速度、POSIX 線程，以及數(shù)據(jù)庫服務(wù)器等。sysbench 支持Lua 腳本語言，Lua 對于各種測試場景的設(shè)置可以非常靈活。sysbench 是我們非常喜歡的一種全能測試工具，支持MySQL、操作系統(tǒng)和硬件的硬件測試。（節(jié)選自《高性能MySQL》）

mysql數(shù)據(jù)庫性能測試

我理解的是你希望了解mysql性能測試的方法：

其實常用的一般：

選取最適用的字段屬性

MySQL可以很好的支持大數(shù)據(jù)量的存取，但是一般說來，數(shù)據(jù)庫中的表越小，在它上面執(zhí)行的查詢也就會越快。因此，在創(chuàng)建表的時候，為了獲得更好的性能，我們可以將表中字段的寬度設(shè)得盡可能小。例如，在定義郵政編碼這個字段時，如果將其設(shè)置為CHAR(255),顯然給數(shù)據(jù)庫增加了不必要的空間，甚至使用VARCHAR這種類型也是多余的，因為CHAR(6)就可以很好的完成任務(wù)了。同樣的，如果可以的話，我們應(yīng)該使用MEDIUMINT而不是BIGIN來定義整型字段。

另外一個提高效率的方法是在可能的情況下，應(yīng)該盡量把字段設(shè)置為NOT NULL，這樣在將來執(zhí)行查詢的時候，數(shù)據(jù)庫不用去比較NULL值。

對于某些文本字段，例如“省份”或者“性別”，我們可以將它們定義為ENUM類型。因為在MySQL中，ENUM類型被當作數(shù)值型數(shù)據(jù)來處理，而數(shù)值型數(shù)據(jù)被處理起來的速度要比文本類型快得多。這樣，我們又可以提高數(shù)據(jù)庫的性能。

2、使用連接（JOIN）來代替子查詢(Sub-Queries)

MySQL從4.1開始支持SQL的子查詢。這個技術(shù)可以使用SELECT語句來創(chuàng)建一個單列的查詢結(jié)果，然后把這個結(jié)果作為過濾條件用在另一個查詢中。例如，我們要將客戶基本信息表中沒有任何訂單的客戶刪除掉，就可以利用子查詢先從銷售信息表中將所有發(fā)出訂單的客戶ID取出來，然后將結(jié)果傳遞給主查詢，如下所示：

DELETE FROM customerinfo WHERE CustomerID NOT in (SELECT CustomerID FROM salesinfo )

使用子查詢可以一次性的完成很多邏輯上需要多個步驟才能完成的SQL操作，同時也可以避免事務(wù)或者表鎖死，并且寫起來也很容易。但是，有些情況下，子查詢可以被更有效率的連接（JOIN）.. 替代。例如，假設(shè)我們要將所有沒有訂單記錄的用戶取出來，可以用下面這個查詢完成：

SELECT * FROM customerinfo WHERE CustomerID NOT in (SELECT CustomerID FROM salesinfo )

如果使用連接（JOIN）.. 來完成這個查詢工作，速度將會快很多。尤其是當salesinfo表中對CustomerID建有索引的話，性能將會更好，查詢?nèi)缦拢?/p>

SELECT * FROM customerinfo LEFT JOIN salesinfoON customerinfo.CustomerID=salesinfo. CustomerID WHERE salesinfo.CustomerID IS NULL

連接（JOIN）.. 之所以更有效率一些，是因為 MySQL不需要在內(nèi)存中創(chuàng)建臨時表來完成這個邏輯上的需要兩個步驟的查詢工作。

3、使用聯(lián)合(UNION)來代替手動創(chuàng)建的臨時表

MySQL 從 4.0 的版本開始支持 UNION 查詢，它可以把需要使用臨時表的兩條或更多的 SELECT 查詢合并的一個查詢中。在客戶端的查詢會話結(jié)束的時候，臨時表會被自動刪除，從而保證數(shù)據(jù)庫整齊、高效。使用 UNION 來創(chuàng)建查詢的時候，我們只需要用 UNION作為關(guān)鍵字把多個 SELECT 語句連接起來就可以了，要注意的是所有 SELECT 語句中的字段數(shù)目要想同。下面的例子就演示了一個使用 UNION的查詢。

SELECT Name, Phone FROM client UNION SELECT Name, BirthDate FROM author

UNION

SELECT Name, Supplier FROM product

4、事務(wù)

盡管我們可以使用子查詢（Sub-Queries）、連接（JOIN）和聯(lián)合（UNION）來創(chuàng)建各種各樣的查詢，但不是所有的數(shù)據(jù)庫操作都可以只用一條或少數(shù)幾條SQL語句就可以完成的。更多的時候是需要用到一系列的語句來完成某種工作。但是在這種情況下，當這個語句塊中的某一條語句運行出錯的時候，整個語句塊的操作就會變得不確定起來。設(shè)想一下，要把某個數(shù)據(jù)同時插入兩個相關(guān)聯(lián)的表中，可能會出現(xiàn)這樣的情況：第一個表中成功更新后，數(shù)據(jù)庫突然出現(xiàn)意外狀況，造成第二個表中的操作沒有完成，這樣，就會造成數(shù)據(jù)的不完整，甚至會破壞數(shù)據(jù)庫中的數(shù)據(jù)。要避免這種情況，就應(yīng)該使用事務(wù)，它的作用是：要么語句塊中每條語句都操作成功，要么都失敗。換句話說，就是可以保持數(shù)據(jù)庫中數(shù)據(jù)的一致性和完整性。事物以BEGIN 關(guān)鍵字開始，COMMIT關(guān)鍵字結(jié)束。在這之間的一條SQL操作失敗，那么，ROLLBACK命令就可以把數(shù)據(jù)庫恢復(fù)到BEGIN開始之前的狀態(tài)。

BEGIN;

INSERT INTO salesinfo SET CustomerID=14;

UPDATE inventory SET Quantity=11

WHERE item='book';

COMMIT;

事務(wù)的另一個重要作用是當多個用戶同時使用相同的數(shù)據(jù)源時，它可以利用鎖定數(shù)據(jù)庫的方法來為用戶提供一種安全的訪問方式，這樣可以保證用戶的操作不被其它的用戶所干擾。

5、鎖定表

盡管事務(wù)是維護數(shù)據(jù)庫完整性的一個非常好的方法，但卻因為它的獨占性，有時會影響數(shù)據(jù)庫的性能，尤其是在很大的應(yīng)用系統(tǒng)中。由于在事務(wù)執(zhí)行的過程中，數(shù)據(jù)庫將會被鎖定，因此其它的用戶請求只能暫時等待直到該事務(wù)結(jié)束。如果一個數(shù)據(jù)庫系統(tǒng)只有少數(shù)幾個用戶

來使用，事務(wù)造成的影響不會成為一個太大的問題；但假設(shè)有成千上萬的用戶同時訪問一個數(shù)據(jù)庫系統(tǒng)，例如訪問一個電子商務(wù)網(wǎng)站，就會產(chǎn)生比較嚴重的響應(yīng)延遲。

其實，有些情況下我們可以通過鎖定表的方法來獲得更好的性能。下面的例子就用鎖定表的方法來完成前面一個例子中事務(wù)的功能。

LOCK TABLE inventory WRITE

SELECT Quantity FROM inventory

WHEREItem='book';

...

UPDATE inventory SET Quantity=11

WHEREItem='book';

UNLOCK TABLES

這里，我們用一個 SELECT 語句取出初始數(shù)據(jù)，通過一些計算，用 UPDATE 語句將新值更新到表中。包含有 WRITE 關(guān)鍵字的 LOCK TABLE 語句可以保證在 UNLOCK TABLES 命令被執(zhí)行之前，不會有其它的訪問來對 inventory 進行插入、更新或者刪除的操作。

6、使用外鍵

鎖定表的方法可以維護數(shù)據(jù)的完整性，但是它卻不能保證數(shù)據(jù)的關(guān)聯(lián)性。這個時候我們就可以使用外鍵。例如，外鍵可以保證每一條銷售記錄都指向某一個存在的客戶。在這里，外鍵可以把customerinfo 表中的CustomerID映射到salesinfo表中CustomerID，任何一條沒有合法CustomerID的記錄都不會被更新或插入到salesinfo中。

CREATE TABLE customerinfo

(

CustomerID INT NOT NULL ,

PRIMARY KEY ( CustomerID )

) TYPE = INNODB;

CREATE TABLE salesinfo

(

SalesID INT NOT NULL,

CustomerID INT NOT NULL,

PRIMARY KEY(CustomerID, SalesID),

FOREIGN KEY (CustomerID) REFERENCES customerinfo

(CustomerID) ON DELETECASCADE

) TYPE = INNODB;

注意例子中的參數(shù)“ON DELETE CASCADE”。該參數(shù)保證當 customerinfo 表中的一條客戶記錄被刪除的時候，salesinfo 表中所有與該客戶相關(guān)的記錄也會被自動刪除。如果要在 MySQL 中使用外鍵，一定要記住在創(chuàng)建表的時候?qū)⒈淼念愋投x為事務(wù)安全表 InnoDB類型。該類型不是 MySQL 表的默認類型。定義的方法是在 CREATE TABLE 語句中加上 TYPE=INNODB。如例中所示。

7、使用索引

索引是提高數(shù)據(jù)庫性能的常用方法，它可以令數(shù)據(jù)庫服務(wù)器以比沒有索引快得多的速度檢索特定的行，尤其是在查詢語句當中包含有MAX(), MIN()和ORDERBY這些命令的時候，性能提高更為明顯。那該對哪些字段建立索引呢？一般說來，索引應(yīng)建立在那些將用于JOIN, WHERE判斷和ORDER BY排序的字段上。盡量不要對數(shù)據(jù)庫中某個含有大量重復(fù)的值的字段建立索引。對于一個ENUM類型的字段來說，出現(xiàn)大量重復(fù)值是很有可能的情況，例如customerinfo中的“province”.. 字段，在這樣的字段上建立索引將不會有什么幫助；相反，還有可能降低數(shù)據(jù)庫的性能。我們在創(chuàng)建表的時候可以同時創(chuàng)建合適的索引，也可以使用ALTER TABLE或CREATE INDEX在以后創(chuàng)建索引。此外，MySQL

從版本3.23.23開始支持全文索引和搜索。全文索引在MySQL 中是一個FULLTEXT類型索引，但僅能用于MyISAM 類型的表。對于一個大的數(shù)據(jù)庫，將數(shù)據(jù)裝載到一個沒有FULLTEXT索引的表中，然后再使用ALTER TABLE或CREATE INDEX創(chuàng)建索引，將是非常快的。但如果將數(shù)據(jù)裝載到一個已經(jīng)有FULLTEXT索引的表中，執(zhí)行過程將會非常慢。

8、優(yōu)化的查詢語句

絕大多數(shù)情況下，使用索引可以提高查詢的速度，但如果SQL語句使用不恰當?shù)脑挘饕龑o法發(fā)揮它應(yīng)有的作用。下面是應(yīng)該注意的幾個方面。首先，最好是在相同類型的字段間進行比較的操作。在MySQL 3.23版之前，這甚至是一個必須的條件。例如不能將一個建有索引的INT字段和BIGINT字段進行比較；但是作為特殊的情況，在CHAR類型的字段和VARCHAR類型字段的字段大小相同的時候，可以將它們進行比較。其次，在建有索引的字段上盡量不要使用函數(shù)進行操作。

例如，在一個DATE類型的字段上使用YEAE()函數(shù)時，將會使索引不能發(fā)揮應(yīng)有的作用。所以，下面的兩個查詢雖然返回的結(jié)果一樣，但后者要比前者快得多。

SELECT * FROM order WHERE YEAR(OrderDate)2001;

SELECT * FROM order WHERE OrderDate"2001-01-01";

同樣的情形也會發(fā)生在對數(shù)值型字段進行計算的時候：

SELECT * FROM inventory WHERE Amount/724;

SELECT * FROM inventory WHERE Amount24*7;

上面的兩個查詢也是返回相同的結(jié)果，但后面的查詢將比前面的一個快很多。第三，在搜索字符型字段時，我們有時會使用 LIKE 關(guān)鍵字和通配符，這種做法雖然簡單，但卻也是以犧牲系統(tǒng)性能為代價的。例如下面的查詢將會比較表中的每一條記錄。

SELECT * FROM books

WHERE name like "MySQL%"

但是如果換用下面的查詢，返回的結(jié)果一樣，但速度就要快上很多：

SELECT * FROM books

WHERE name="MySQL"and name"MySQM"

最后，應(yīng)該注意避免在查詢中讓MySQL進行自動類型轉(zhuǎn)換，因為轉(zhuǎn)換過程也會使索引變得不起作用。