MySQL 最樸素的監控方式!用完愛不釋手
對于當前數據庫的監控方式有很多,分為數據庫自帶
、商用
、開源
三大類,每一種都有各自的特色;而對于 mysql 數據庫由于其有很高的社區活躍度,監控方式更是多種多樣,不管哪種監控方式最核心的就是監控數據,獲取得到全面的監控數據后就是靈活的展示部分。
那我們今天就介紹一下完全采用 mysql 自有方式采集獲取監控數據,在單體下達到最快速、方便、損耗最小。
本次文章完全使用 mysql 自帶的 show 命令實現獲取,從?connects
、buffercache
、lock
、SQ
L、statement
、Database throughputs
、serverconfig
?7 大方面全面獲取監控數據。
連接數(Connects)
最大使用連接數:
show?status?like?‘Max_used_connections’
當前打開的連接數:
show?status?like?‘Threads_connected’
緩存(bufferCache)
未從緩沖池讀取的次數:
show?status?like?‘Innodb_buffer_pool_reads’
從緩沖池讀取的次數:
show?status?like?‘Innodb_buffer_pool_read_requests’
緩沖池的總頁數:
show?status?like?‘Innodb_buffer_pool_pages_total’
緩沖池空閑的頁數:
show?status?like?‘Innodb_buffer_pool_pages_free’
緩存命中率計算:
(1-Innodb_buffer_pool_reads/Innodb_buffer_pool_read_requests)*100%
緩存池使用率為:
((Innodb_buffer_pool_pages_total-Innodb_buffer_pool_pages_free)/Innodb_buffer_pool_pages_total)*100%
鎖(lock)
鎖等待個數:
show?status?like?‘Innodb_row_lock_waits’
平均每次鎖等待時間:
show?status?like?‘Innodb_row_lock_time_avg’
查看是否存在表鎖:
show?open?TABLES?where?in_use>0;
有數據代表存在鎖表,空為無表鎖
備注:鎖等待統計得數量為累加數據,每次獲取得時候可以跟之前得數據進行相減,得到當前統計得數據
SQL
查看 mysql 開關是否打開:
show variables like ‘slow_query_log’;
ON 為開啟狀態,如果為 OFF,set global slow_query_log=1
?進行開啟
查看 mysql 閾值:
show variables like ‘long_query_time’;
根據頁面傳遞閾值參數,修改閾值?set global long_query_time=0.1
查看 mysql 慢 sql 目錄:
show variables like ‘slow_query_log_file’;
格式化慢 sql 日志:
mysqldumpslow?-s?at?-t?10?/export/data/mysql/log/slow.log
注:此語句通過 jdbc 執行不了,屬于命令行執行。
意思為:顯示出耗時最長的 10 個 SQL 語句執行信息,10 可以修改為 TOP 個數。顯示的信息為:執行次數、平均執行時間、SQL 語句
備注:當 mysqldumpslow 命令執行失敗時,將慢日志同步到本地進行格式化處理。
statement
insert 數量:show status like ‘Com_insert’
delete 數量:show status like ‘Com_delete’
update 數量:show status like ‘Com_update’
select 數量:show status like ‘Com_select’
吞吐(Database throughputs)
發送吞吐量:show status like ‘Bytes_sent’
接收吞吐量:show status like ‘Bytes_received’
總吞吐量:Bytes_sent+Bytes_received
數據庫參數(serverconfig)
show variables
慢 SQL
慢 SQL 指的是 MySQL 慢查詢,具體指運行時間超過 long_query_time 值的 SQL。
我們常聽 MySQL 中有二進制日志 binlog、中繼日志 relaylog、重做回滾日志 redolog、undolog 等。針對慢查詢,還有一種慢查詢日志 slowlog,用來記錄在 MySQL 中響應時間超過閥值的語句。
慢 SQL 對實際生產業務影響是致命的,所以測試人員在性能測試過程中,對數據庫 SQL 語句執行情況實施監控,給開發提供準確的性能優化意見顯得尤為重要。那怎么使用 Mysql 數據庫提供的慢查詢日志來監控 SQL 語句執行情況,找到消耗較高的 SQL 語句,以下詳細說明一下慢查詢日志的使用步驟:
-
確保打開慢 SQL 開關? slow_query_log
-
設置慢 SQL 域值? long_query_time
這個 long_query_time 是用來定義慢于多少秒的才算 “慢查詢”,注意單位是秒,我通過執行 sql 指令 set long_query_time=1 來設置了 long_query_time 的值為 1, 也就是執行時間超過 1 秒的都算慢查詢,如下:
- 查看慢 SQL 日志路徑
- 通過慢 sql 分析工具 mysqldumpslow 格式化分析慢 SQL 日志
mysqldumpslow 慢查詢分析工具,是 mysql 安裝后自帶的,可以通過./mysqldumpslow —help 查看使用參數說明
常見用法:
取出使用最多的 10 條慢查詢
./mysqldumpslow?-s?c?-t?10?/export/data/mysql/log/slow.log
取出查詢時間最慢的 3 條慢查詢
./mysqldumpslow?-s?t?-t?3?/export/data/mysql/log/slow.log
注意:使用 mysqldumpslow 的分析結果不會顯示具體完整的 sql 語句,只會顯示 sql 的組成結構;
假如:?SELECT?FROM?sms_send?WHERE?service_id=10?GROUP?BY?content?LIMIT?0,?1000;
mysqldumpslow 命令執行后顯示:
Count:?2?Time=1.5s?(3s)?Lock=0.00s?(0s)?Rows=1000.0?(2000),?vgos_dba[vgos_dba]@[10.130.229.196]SELECT?FROM?sms_send?WHERE?service_id=N?GROUP?BY?content?LIMIT?N,?N
mysqldumpslow 的分析結果詳解:
Count:#表示該類型的語句執行次數,上圖中表示 select 語句執行了 2 次。
Time:#表示該類型的語句執行的平均時間(總計時間)
Lock:#鎖時間?0s。
Rows:#單次返回的結果數是 1000?條記錄,2 次總共返回 2000?條記錄。
通過這個工具就可以查詢出來哪些 sql 語句是慢 SQL,從而反饋研發進行優化,比如加索引,該應用的實現方式等。
常見慢 SQL 排查
不使用子查詢
SELECT?FROM?t1?WHERE?id?(SELECT?id?FROM?t2?WHERE?name=’hechunyang’);
子查詢在 MySQL5.5 版本里,內部執行計劃器是這樣執行的:先查外表再匹配內表,而不是先查內表 t2,當外表的數據很大時,查詢速度會非常慢。
在 MariaDB10/MySQL5.6 版本里,采用 join 關聯方式對其進行了優化,這條 SQL 會自動轉換為?SELECT t1. FROM t1 JOIN t2 ON t1.id = t2.id;
但請注意的是:優化只針對 SELECT 有效,對 UPDATE/DELETE 子 查詢無效, 生產環境盡量應避免使用子查詢。
避免函數索引
SELECT?FROM?t?WHERE?YEAR(d)?>=?2016;
由于 MySQL 不像 Oracle 那樣?持函數索引,即使 d 字段有索引,也會直接全表掃描。
應改為 >?SELECT FROM t WHERE d >= ‘2016-01-01’;
用 IN 來替換 OR 低效查詢
慢?SELECT FROM t WHERE LOC_ID = 10 OR LOC_ID = 20 OR LOC_ID = 30;
高效查詢 >?SELECT FROM t WHERE LOC_IN IN (10,20,30);
LIKE 雙百分號無法使用到索引
SELECT?FROM?t?WHERE?name?LIKE?‘%de%’;
使用
SELECT?FROM?t?WHERE?name?LIKE?‘de%’;
分組統計可以禁止排序
SELECT?goods_id,count()?FROM?t?GROUP?BY?goods_id;
默認情況下,MySQL 對所有 GROUP BY col1,col2… 的字段進?排序。如果查詢包括 GROUP BY,想要避免排序結果的消耗,則可以指定 ORDER BY NULL 禁止排序。
使用?SELECT goods_id,count () FROM t GROUP BY goods_id ORDER BY NULL;
禁止不必要的 ORDER BY 排序
SELECT?count(1)?FROM?user?u?LEFT?JOIN?user_info?i?ON?u.id?=?i.user_id?WHERE?1?=?1?ORDER?BY?u.create_time?DESC;
使用?SELECT count (1) FROM user u LEFT JOIN user_info i ON u.id = i.user_id;
總結
任何東西不應過重關注其外表,要注重內在的東西,往往絢麗的外表下會有對應的負擔和損耗。
mysql 數據庫的監控支持通過 SQL 方式從 performance_schema 庫中訪問對應的表數據,前提是初始化此庫并開啟監控數據寫入。
對于監控而言,不在于手段的多樣性,而需要明白監控的本質,以及需要的監控項內容,找到符合自身項目特色的監控方式。
在選擇監控工具對 mysql 監控時,需要關注監控工具本身對于數據庫服務器的消耗,不要影響到其自身的使用。
(版權歸原作者所有,侵刪)