監(jiān)控數(shù)據(jù)的存儲是由historysyncer進程負責寫入數(shù)據(jù)庫,historysyncer進程應對大流量數(shù)據(jù)的方式是,一方面通過批量插入來提高寫庫的效率,另一方面通過多進程的方式來擴展數(shù)據(jù)處理能力。在寫庫過程中,歷史數(shù)據(jù)寫入history表,即使數(shù)據(jù)變?yōu)槔鋽?shù)據(jù)也需要留在history表中供前端UI訪問。趨勢數(shù)據(jù)寫入trends表,相較于歷史數(shù)據(jù),趨勢數(shù)據(jù)的寫庫負載要低的多,是因為對于每個監(jiān)控項來說,平均每小時只需要寫庫一次,其他時間只需要更新趨勢緩存,不需要寫庫。在historysyncer進程的觸發(fā)器計算階段,主要訪問值緩存,但是如果值緩存不能命中則需要查詢history表,這種情況下就需要使用history表索引了??紤]索引對insert操作的影響,索引在提高查詢速度的同時也降低了寫入性能。觸發(fā)器計算之后生成的event信息也需要寫入數(shù)據(jù)庫,這些信息存儲在events表、problem、escalation等表中。因此,這些表的數(shù)據(jù)增長率取決于Zabbix生成的事件的數(shù)量,當事件數(shù)量陡增時,這些表的寫入壓力也會隨之增加。在數(shù)據(jù)存儲方面主要體現(xiàn)了熱數(shù)據(jù)和冷數(shù)據(jù)的轉(zhuǎn)換過程以及數(shù)據(jù)規(guī)模對讀寫性能的影響。zabbix主動模式和被動模式的優(yōu)缺點。服務zabbix優(yōu)惠嗎
1、Zabbix_Server:zabbix_server作為**組件,用來獲取agent存活情況和監(jiān)控數(shù)據(jù)。所有的配置、統(tǒng)計、操作數(shù)據(jù)均通過server進行存取到database;2、Zabbix_Database:用戶存儲所有的zabbix的配置信息、監(jiān)控數(shù)據(jù)的數(shù)據(jù)庫;3、Zabbix_Web:zabbix的web界面,管理員通過web界面管理zabbix配置以及查看zabbix相關(guān)監(jiān)控信息,通常與zabbix_server運行在同一臺主機上,也可以單獨部署在**的服務器上;4、Zabbix_Proxy:通常用于分布式監(jiān)控,代理zabbix_server收集部分被監(jiān)控的數(shù)據(jù)并統(tǒng)一發(fā)送給server端;(通常大于500臺主機需要使用)5、Zabbix_Agent:部署在被監(jiān)控主機上,負責收集被監(jiān)控主機的數(shù)據(jù),并發(fā)送給servre端或者proxy端;ZabbixServer、Proxy、Agent都有自己的配置文件以及l(fā)og文件,重要的參數(shù)需要在這里配置,后面會詳細說明。廣東zabbix那個好Zabbix前端的高可用性如何?
在江蘇常州,一家長期專注于 Zabbix 產(chǎn)品化二次開發(fā)的研發(fā)機構(gòu)-縱目信息(ZMOPS),正在為這一愿景付諸實踐。以數(shù)據(jù)采集→處理→分析→觀測為產(chǎn)品主干,以 Zabbix 為底層**打造的統(tǒng)一監(jiān)控產(chǎn)品應用于數(shù)十個行業(yè),同時不斷推進基于 Zabbix 的物聯(lián)網(wǎng)數(shù)據(jù)平臺的開源。Argus 是一個面向私有化及混合云數(shù)據(jù)中心提供***多層次的統(tǒng)一監(jiān)控和運維管理平臺,幫助用戶實時對各類IT資源(網(wǎng)絡設(shè)備、服務器、存儲、數(shù)據(jù)庫、中間件等)執(zhí)行性能指標監(jiān)控,實現(xiàn)事前運維。
對于大部分監(jiān)控項而言,隨著時間流逝,監(jiān)控數(shù)據(jù)會快速地脫離Zabbix server的使用范圍,進入冷數(shù)據(jù)區(qū)。雖然冷數(shù)據(jù)脫離了Zabbix server的使用范圍,但是Zabbix仍然不能對冷數(shù)據(jù)進行離線化,因為前端UI和網(wǎng)絡API需要訪問這些冷數(shù)據(jù),這些訪問一般***于少量監(jiān)控項的讀取。從Zabbix server的角度來說,對于任一特定監(jiān)控項,數(shù)據(jù)的熱區(qū)和冷區(qū)分界線是固定的,并且熱區(qū)的數(shù)據(jù)量相對于冷數(shù)據(jù)要小得多。如果使用mysql來存儲監(jiān)控數(shù)據(jù),由于索引的存在,數(shù)據(jù)的寫入性能會隨著存儲規(guī)模的增加而降低,查詢性能也是一樣。因此,控制數(shù)據(jù)規(guī)模成為解決數(shù)據(jù)庫訪問性能的關(guān)鍵。如果將熱數(shù)據(jù)和冷數(shù)據(jù)分開存儲,并且在需要時讓數(shù)據(jù)在兩者之間進行流動,則對于Zabbix server而言,可以**降低數(shù)據(jù)規(guī)模。如果進一步考慮如何實現(xiàn)熱數(shù)據(jù)表的**小化,就需要建立一種動態(tài)機制,每次修改觸發(fā)器表達式后按照觸發(fā)器的數(shù)據(jù)需求量在冷熱數(shù)據(jù)之間進行雙向調(diào)整。zabbix大流量數(shù)據(jù)的接收。
從統(tǒng)計意義上說,每次接受連接的時候,對于每個trapper進程來說都有相同的概率獲得連接,***的結(jié)果就是所有連接在所有trapper進程之間均衡分配。如果考慮每個連接中包含的數(shù)據(jù)量不均衡,那么當某個trapper進程接受的某個連接包含較多的數(shù)據(jù)時,意味著該進程需要花更多的時間來讀取和處理數(shù)據(jù),這就意味著下一次接受連接的時間被推遲。對于poller進程,道理也是一樣,每個poller進程都以相同的概率從Zabbixserver端的配置緩存接收到任務,從而實現(xiàn)數(shù)據(jù)分配均衡。預處理進程的工作模式與trapper進程不同,預處理進程采用manager-worker模式,即manager進程是***的數(shù)據(jù)入口,負責從trapper和poller接收所有數(shù)據(jù),然后通過unix域套接字將數(shù)據(jù)分配給各個worker進程處理。其分配的規(guī)則是,每次每個worker只分配一個數(shù)據(jù),只有當worker完成前一個任務之后才會分配下一個任務。***,historysyncer進程之間的數(shù)據(jù)均衡也是遵循機會均等的機制。其主要特點是,每個循環(huán)**多處理1000個監(jiān)控值,所以每次寫數(shù)據(jù)庫的監(jiān)控值也不會超過1000個。我們會發(fā)現(xiàn),總體的數(shù)據(jù)處理過程都基于監(jiān)控數(shù)據(jù)之間的**性,從而可以靈活地在各個進程之間調(diào)度。太硬核!Zabbix、Prometheus等5種監(jiān)控工具總結(jié)!湖南zabbix服務保證
Zabbix如何實現(xiàn)對大流量監(jiān)控數(shù)據(jù)的高效處理?服務zabbix優(yōu)惠嗎
Zabbix是由AlexeiVladishev開發(fā)的一種網(wǎng)路監(jiān)視、管理系統(tǒng),基于Server-Client架構(gòu)。可用于監(jiān)視各種網(wǎng)路服務、伺服器和網(wǎng)路機器等狀態(tài)。Zabbix使用MySQL、PostgreSQL、SQLite、Oracle或IBMDB2儲存資料。Server端基于C語言、Web前端則是基于PHP所制作的。Zabbix可以使用多種方式監(jiān)視??梢灾皇褂肧impleCheck不需要安裝Client端,亦可基于SMTP或HTTP等各種協(xié)定做死活監(jiān)視。在客戶端如UNIX、Windows中安裝ZabbixAgent之后,可監(jiān)視CPU負荷、網(wǎng)路使用狀況、硬碟容量等各種狀態(tài)。而就算沒有安裝Agent在監(jiān)視對象中,Zabbix也可以經(jīng)由SNMP、TCP、ICMP檢查,以及利用IPMI、SSH、telnet對目標進行監(jiān)視。另外,Zabbix包含XMPP等各種Item警示功能。Zabbix的授權(quán)是屬于GPLv2。Zabbix能監(jiān)視各種網(wǎng)絡參數(shù),保證服務器系統(tǒng)的安全運營,并提供靈活的通知機制以讓系統(tǒng)管理員快速定位/解決存在的各種問題。是一個基于WEB界面的提供企業(yè)級的開源分布式系統(tǒng)監(jiān)視以及網(wǎng)絡監(jiān)視功能的企業(yè)級的開源解決方案。服務zabbix優(yōu)惠嗎
上海觀縱科技有限公司位于上海市奉賢區(qū)望園南路1288弄80號1904、1909室,擁有一支專業(yè)的技術(shù)團隊。在觀縱科技近多年發(fā)展歷史,公司旗下現(xiàn)有品牌webfunny,walkingfunny,argus等。公司不僅*提供專業(yè)的一般項目:技術(shù)服務、技術(shù)開發(fā)、技術(shù)咨詢、技術(shù)交流、技術(shù)轉(zhuǎn)讓、技術(shù)推廣;軟件開發(fā);人工智能基礎(chǔ)軟件開發(fā);人工智能應用軟件開發(fā);數(shù)據(jù)處理服務;信息技術(shù)咨詢服務;信息系統(tǒng)集成服務:信息系統(tǒng)運行維護服務;計算機系統(tǒng)服務;軟件銷售;計算機軟硬件及輔助設(shè)備批發(fā);計算機軟硬件及輔助設(shè)備零售;電子產(chǎn)品銷售;通信設(shè)備銷售;通訊設(shè)備銷售;咨詢策劃服務;市場調(diào)查(不含涉外調(diào)查);廣告制作;廣告發(fā)布;廣告設(shè)計、代理;會議及展覽服務;貨物進出口。(除依法須經(jīng)批準的項目外,憑營業(yè)執(zhí)照依法自主開展經(jīng)營活動) 許可項目:建筑智能化系統(tǒng)設(shè)計;建設(shè)工程施工;網(wǎng)絡文化經(jīng)營;互聯(lián)網(wǎng)信息服務。(依法須經(jīng)批準的項目,經(jīng)相關(guān)部門批準后方可開展經(jīng)營活動,具體經(jīng)營項目以相關(guān)部門批準文件或許可證件為準),同時還建立了完善的售后服務體系,為客戶提供良好的產(chǎn)品和服務。自公司成立以來,一直秉承“以質(zhì)量求生存,以信譽求發(fā)展”的經(jīng)營理念,始終堅持以客戶的需求和滿意為重點,為客戶提供良好的webfunny前端監(jiān)控,webfunny前端埋點,全鏈路應用性能監(jiān)控,Argus-IT運維監(jiān)控,從而使公司不斷發(fā)展壯大。