監(jiān)控數(shù)據(jù)的存儲是由historysyncer進(jìn)程負(fù)責(zé)寫入數(shù)據(jù)庫,historysyncer進(jìn)程應(yīng)對大流量數(shù)據(jù)的方式是,一方面通過批量插入來提高寫庫的效率,另一方面通過多進(jìn)程的方式來擴展數(shù)據(jù)處理能力。在寫庫過程中,歷史數(shù)據(jù)寫入history表,即使數(shù)據(jù)變?yōu)槔鋽?shù)據(jù)也需要留在history表中供前端UI訪問。趨勢數(shù)據(jù)寫入trends表,相較于歷史數(shù)據(jù),趨勢數(shù)據(jù)的寫庫負(fù)載要低的多,是因為對于每個監(jiān)控項來說,平均每小時只需要寫庫一次,其他時間只需要更新趨勢緩存,不需要寫庫。在historysyncer進(jìn)程的觸發(fā)器計算階段,主要訪問值緩存,但是如果值緩存不能命中則需要查詢history表,這種情況下就需要使用history表索引了??紤]索引對insert操作的影響,索引在提高查詢速度的同時也降低了寫入性能。觸發(fā)器計算之后生成的event信息也需要寫入數(shù)據(jù)庫,這些信息存儲在events表、problem、escalation等表中。因此,這些表的數(shù)據(jù)增長率取決于Zabbix生成的事件的數(shù)量,當(dāng)事件數(shù)量陡增時,這些表的寫入壓力也會隨之增加。在數(shù)據(jù)存儲方面主要體現(xiàn)了熱數(shù)據(jù)和冷數(shù)據(jù)的轉(zhuǎn)換過程以及數(shù)據(jù)規(guī)模對讀寫性能的影響。根據(jù)需要部署盡可能多的Zabbix前端節(jié)點,不要忘記正確配置外部地址,以便Zabbix前端能連接到Zabbix服務(wù)器。zabbix模板
對于大部分監(jiān)控項而言,隨著時間流逝,監(jiān)控數(shù)據(jù)會快速地脫離Zabbix server的使用范圍,進(jìn)入冷數(shù)據(jù)區(qū)。雖然冷數(shù)據(jù)脫離了Zabbix server的使用范圍,但是Zabbix仍然不能對冷數(shù)據(jù)進(jìn)行離線化,因為前端UI和網(wǎng)絡(luò)API需要訪問這些冷數(shù)據(jù),這些訪問一般***于少量監(jiān)控項的讀取。從Zabbix server的角度來說,對于任一特定監(jiān)控項,數(shù)據(jù)的熱區(qū)和冷區(qū)分界線是固定的,并且熱區(qū)的數(shù)據(jù)量相對于冷數(shù)據(jù)要小得多。如果使用mysql來存儲監(jiān)控數(shù)據(jù),由于索引的存在,數(shù)據(jù)的寫入性能會隨著存儲規(guī)模的增加而降低,查詢性能也是一樣。因此,控制數(shù)據(jù)規(guī)模成為解決數(shù)據(jù)庫訪問性能的關(guān)鍵。如果將熱數(shù)據(jù)和冷數(shù)據(jù)分開存儲,并且在需要時讓數(shù)據(jù)在兩者之間進(jìn)行流動,則對于Zabbix server而言,可以**降低數(shù)據(jù)規(guī)模。如果進(jìn)一步考慮如何實現(xiàn)熱數(shù)據(jù)表的**小化,就需要建立一種動態(tài)機制,每次修改觸發(fā)器表達(dá)式后按照觸發(fā)器的數(shù)據(jù)需求量在冷熱數(shù)據(jù)之間進(jìn)行雙向調(diào)整。本地zabbix互惠互利集群節(jié)點發(fā)送到數(shù)據(jù)庫后端的心跳是非常小的消息,記錄在一個較小的Zabbix數(shù)據(jù)庫表中,故性能影響忽略不計。
下面看一下元數(shù)據(jù)對數(shù)據(jù)處理效率的影響。元數(shù)據(jù)位于共享內(nèi)存中,包含監(jiān)控項、主機、觸發(fā)器、接口等所有必要的信息,這些信息分別存儲在很多個哈希表結(jié)構(gòu)中。這些信息供幾乎所有Zabbix進(jìn)程使用,在Zabbixserver端,無論是數(shù)據(jù)接收階段、預(yù)處理階段、數(shù)據(jù)計算階段都離不開對元數(shù)據(jù)的訪問。此外,元數(shù)據(jù)還需要通過configurationsyncer進(jìn)程進(jìn)行定期數(shù)據(jù)同步,目的是將數(shù)據(jù)庫中所作的修改同步到緩存中。當(dāng)在同步過程中需要修改元數(shù)據(jù),configurationsyncer進(jìn)程會對面臨一個較大的挑戰(zhàn),就是與其他進(jìn)程的協(xié)調(diào)??紤]到大部分進(jìn)程只是讀取元數(shù)據(jù),而不會進(jìn)行寫操作,Zabbix選擇使用讀寫鎖來協(xié)調(diào)所有進(jìn)程對元數(shù)據(jù)的訪問,從而允許多個進(jìn)程同時讀取元數(shù)據(jù)。
Prometheus有一個簡單的可視化工具,稱為ExpressionBrowser。表達(dá)式瀏覽器不具備完整監(jiān)控面板的功能??梢允褂盟鼘Υ鎯Φ闹笜?biāo)進(jìn)行深入查詢。但不會展示需要長時間觀看的指標(biāo)。它就像一個探索控制臺,只能查詢數(shù)據(jù)庫、動態(tài)更改查詢并找出問題的答案。為了能夠充分展示和分析指標(biāo)的圖表化,需要安裝一個成熟的可視化工具,例如Grafana。Grafana包含對Prometheus的內(nèi)置支持,而且它是**的。所以,一般客戶環(huán)境中,都是這兩種工具搭配使用。
Zabbix 包含一個本地 Web 界面,該界面提供具有靈活設(shè)置的儀表板。無需安裝或配置任何其他內(nèi)容。Zabbix 的 Web 界面提供了多種方式來呈現(xiàn) IT 環(huán)境可視化概覽:基于小部件的儀表板、圖表、網(wǎng)絡(luò)地圖、幻燈片、向下鉆取。默認(rèn)情況下,Zabbix 前端提供了幾個預(yù)定義的主題。此外,用戶可以創(chuàng)建自己的主題。 zabbix監(jiān)控數(shù)據(jù)的單獨性—邏輯視角!
Zabbix是一款可監(jiān)控網(wǎng)絡(luò)的眾多參數(shù)以及服務(wù)器、虛擬機、應(yīng)用程序、服務(wù)、數(shù)據(jù)庫、網(wǎng)站、云等的健康狀況和完整性。Zabbix使用靈活的通知機制,允許用戶為幾乎任何事件配置基于電子郵件的警報。這允許對服務(wù)器問題做出快速反應(yīng)。Zabbix基于存儲的數(shù)據(jù)提供報告和數(shù)據(jù)可視化功能。這使得Zabbix成為容量規(guī)劃的理想選擇。Zabbix是一款能夠監(jiān)控各種網(wǎng)絡(luò)參數(shù)以及服務(wù)器健康性和完整性的軟件。Zabbix使用靈活的通知機制,允許用戶為幾乎任何事件配置基于郵件的告警。這樣可以快速反饋服務(wù)器的問題。基于已存儲的數(shù)據(jù),Zabbix提供了出色的報告和數(shù)據(jù)可視化功能。集中化監(jiān)控工具zabbix的安裝配置。zabbix模板
zabbix數(shù)據(jù)結(jié)構(gòu)設(shè)計—解決處理速度問題。zabbix模板
Q:老師,請教個問題,zabbix通過自動發(fā)現(xiàn)掃描網(wǎng)段,然后添加主機,有沒有什么辦法區(qū)分路由器或者交換機類型的方法,這樣才能把交換機模板或者路由器模板掛給對應(yīng)的主機
A:不多的話,批量加2次模板就行了
Q:后續(xù)上線網(wǎng)絡(luò)設(shè)備后,如果我們組之間溝通不協(xié)調(diào),監(jiān)控會有一些誤差或者遺漏,想減少人工去介入
A:可以找一下類型的oid。然后匹配交換機和路由器的字段套上對應(yīng)的模板
Q:老師,沒有網(wǎng)絡(luò)設(shè)備類型通用的oid吧
A:主機名oid應(yīng)該是通用的,華為和華三、cisco的mib比較通用A:cisco進(jìn)入特權(quán)模式有條命令showsnmp-serveroidlist??梢钥吹皆O(shè)備的oid的列表。前面是描述,后面是對應(yīng)的oid,華三和華為應(yīng)該也是有對應(yīng)的命令,具體可能需要問下客服
Q:好的,我去試試ciscoQ:那要想做全自動呢?
A:全自動的話,一般這邊是通過型號的oid,提取到型號的關(guān)鍵字,cisco字眼的的就套cisco模板,華為就套華為的模板,華三的就套華三的模板
Q:嗯嗯,這種方法我們想過,只要拿到所有設(shè)備的型號,在自動發(fā)現(xiàn)的時候就可以通過型號區(qū)分是交換機還是路由器,感覺太復(fù)雜,想要更簡單的做法。 zabbix模板
上海觀縱科技有限公司位于上海市奉賢區(qū)望園南路1288弄80號1904、1909室,是一家專業(yè)的一般項目:技術(shù)服務(wù)、技術(shù)開發(fā)、技術(shù)咨詢、技術(shù)交流、技術(shù)轉(zhuǎn)讓、技術(shù)推廣;軟件開發(fā);人工智能基礎(chǔ)軟件開發(fā);人工智能應(yīng)用軟件開發(fā);數(shù)據(jù)處理服務(wù);信息技術(shù)咨詢服務(wù);信息系統(tǒng)集成服務(wù):信息系統(tǒng)運行維護服務(wù);計算機系統(tǒng)服務(wù);軟件銷售;計算機軟硬件及輔助設(shè)備批發(fā);計算機軟硬件及輔助設(shè)備零售;電子產(chǎn)品銷售;通信設(shè)備銷售;通訊設(shè)備銷售;咨詢策劃服務(wù);市場調(diào)查(不含涉外調(diào)查);廣告制作;廣告發(fā)布;廣告設(shè)計、代理;會議及展覽服務(wù);貨物進(jìn)出口。(除依法須經(jīng)批準(zhǔn)的項目外,憑營業(yè)執(zhí)照依法自主開展經(jīng)營活動) 許可項目:建筑智能化系統(tǒng)設(shè)計;建設(shè)工程施工;網(wǎng)絡(luò)文化經(jīng)營;互聯(lián)網(wǎng)信息服務(wù)。(依法須經(jīng)批準(zhǔn)的項目,經(jīng)相關(guān)部門批準(zhǔn)后方可開展經(jīng)營活動,具體經(jīng)營項目以相關(guān)部門批準(zhǔn)文件或許可證件為準(zhǔn))公司。致力于創(chuàng)造***的產(chǎn)品與服務(wù),以誠信、敬業(yè)、進(jìn)取為宗旨,以建webfunny,walkingfunny,argus產(chǎn)品為目標(biāo),努力打造成為同行業(yè)中具有影響力的企業(yè)。公司堅持以客戶為中心、一般項目:技術(shù)服務(wù)、技術(shù)開發(fā)、技術(shù)咨詢、技術(shù)交流、技術(shù)轉(zhuǎn)讓、技術(shù)推廣;軟件開發(fā);人工智能基礎(chǔ)軟件開發(fā);人工智能應(yīng)用軟件開發(fā);數(shù)據(jù)處理服務(wù);信息技術(shù)咨詢服務(wù);信息系統(tǒng)集成服務(wù):信息系統(tǒng)運行維護服務(wù);計算機系統(tǒng)服務(wù);軟件銷售;計算機軟硬件及輔助設(shè)備批發(fā);計算機軟硬件及輔助設(shè)備零售;電子產(chǎn)品銷售;通信設(shè)備銷售;通訊設(shè)備銷售;咨詢策劃服務(wù);市場調(diào)查(不含涉外調(diào)查);廣告制作;廣告發(fā)布;廣告設(shè)計、代理;會議及展覽服務(wù);貨物進(jìn)出口。(除依法須經(jīng)批準(zhǔn)的項目外,憑營業(yè)執(zhí)照依法自主開展經(jīng)營活動) 許可項目:建筑智能化系統(tǒng)設(shè)計;建設(shè)工程施工;網(wǎng)絡(luò)文化經(jīng)營;互聯(lián)網(wǎng)信息服務(wù)。(依法須經(jīng)批準(zhǔn)的項目,經(jīng)相關(guān)部門批準(zhǔn)后方可開展經(jīng)營活動,具體經(jīng)營項目以相關(guān)部門批準(zhǔn)文件或許可證件為準(zhǔn))市場為導(dǎo)向,重信譽,保質(zhì)量,想客戶之所想,急用戶之所急,全力以赴滿足客戶的一切需要。自公司成立以來,一直秉承“以質(zhì)量求生存,以信譽求發(fā)展”的經(jīng)營理念,始終堅持以客戶的需求和滿意為重點,為客戶提供良好的webfunny前端監(jiān)控,webfunny前端埋點,全鏈路應(yīng)用性能監(jiān)控,Argus-IT運維監(jiān)控,從而使公司不斷發(fā)展壯大。