Prometheus指標采集和查詢存儲方案-2020年

我們分一級監(jiān)控平臺和二級集群Prometheus監(jiān)控采集組件。一級提供kafka集群和Prometheus聚合組件，二級各集群部署Prometheus和Prometheus-kafka-adapter組件，采集和遠程送數(shù)據(jù)到一級的kafka集群。

該方案優(yōu)點：

1.業(yè)務系統(tǒng)可以跨集群聚合數(shù)據(jù)，如圖k8s集群-1和k8s集群-2數(shù)據(jù)聚合到Top-1的Prometheus上。

2.一級監(jiān)控平臺上只要有足夠的cpu、存儲資源，理論上可以水平擴展接入更多集群。2020年底采集的指標量每天3194億的量級，吞吐量達370萬/s。

3.采集端Prometheus可以保留極少數(shù)據(jù)，比如6小時的數(shù)據(jù)，減少資源消耗。而上層Prometheus由于落數(shù)據(jù)到時序數(shù)據(jù)庫influxdb中，可以保存一個月數(shù)據(jù)量甚至更多。

該方案沒做到什么：

1.采集端Prometheus擴容問題，單集群中數(shù)據(jù)規(guī)模受Prometheus原生的限制。

2.一級監(jiān)控平臺上時序數(shù)據(jù)庫influxdb有單點問題，數(shù)據(jù)規(guī)模和數(shù)據(jù)安全性受其影響。 運維監(jiān)控的目的是什么？安徽運維監(jiān)控常見問題

監(jiān)控貫穿應用的整個生命周期。即從程序設計、開發(fā)、部署、下線，監(jiān)控是需要站在公司的業(yè)務角度去考慮，而不是針對某個監(jiān)控技術的使用。監(jiān)控的目標包括：對系統(tǒng)不間斷的實時監(jiān)控。實時反饋系統(tǒng)當前狀態(tài)。保證服務可靠性安全性。保證業(yè)務持續(xù)穩(wěn)定運行。

運維監(jiān)控方法包括：健康檢查。健康檢查是對應用本身健康狀況的監(jiān)控，檢查服務是否還正常存活。日志。日志是排查問題的主要方式，日志可以提供豐富的信息用于定位和解決問題。調(diào)用鏈監(jiān)控。調(diào)用鏈監(jiān)控可以完整的呈現(xiàn)出一次請求的全部信息，包括服務調(diào)用鏈路、所耗時間等。指標監(jiān)控。指標是一些基于時間序列的離散數(shù)據(jù)點，通過聚合和計算后能反映出一些重要指標的趨勢。 智能化運維監(jiān)控答疑解惑Argus運維監(jiān)控系統(tǒng)通過事件壓縮機制， 構建了事件集的聚合業(yè)務。

IT運維監(jiān)控具有性能穩(wěn)定、用戶界面友好、跨平臺、易實施、易集成等特點，可極大地簡化IT設施和業(yè)務系統(tǒng)的監(jiān)控管理。越來越多的客戶都在考慮或采納業(yè)務集中的方案。然而業(yè)務系統(tǒng)集中后，不僅增加運行維護的工作強度，而且會使集中的系統(tǒng)變得更加繁雜。有效的系統(tǒng)和應用監(jiān)控體系成為了解業(yè)務資源的使用狀況，及時發(fā)現(xiàn)可能導致系統(tǒng)故障的隱患，實現(xiàn)系統(tǒng)運營保障的關鍵。另一方面，借助于集中監(jiān)控解決方案，用戶能夠正確和及時地了解系統(tǒng)的運行狀態(tài)，發(fā)現(xiàn)影響整體系統(tǒng)運行的瓶頸，幫助系統(tǒng)人員進行必要的系統(tǒng)優(yōu)化和配置變更，甚至為系統(tǒng)的升級和擴容提供依據(jù)。強有力的監(jiān)控和診斷工具還可以幫助運行維護人員快速地分析出應用故障原因，把他們從繁雜重復的勞動中解放出來。維護人員快速地分析出應用故障原因，把他們從繁雜重復的勞動中解放出來。因此，很多客戶的 IT 部門提出建立集中 IT 管理系統(tǒng)的需求，監(jiān)控的內(nèi)容包括網(wǎng)絡、服務器、數(shù)據(jù)庫、中間件和應用。通過集中監(jiān)控系統(tǒng)及時發(fā)現(xiàn)系統(tǒng)中的故障，減少故障處理時間。

基于Zabbix來構建整個監(jiān)控體系生態(tài)圈。下面我們就來監(jiān)控系統(tǒng)的整個流程：數(shù)據(jù)采集：Zabbix通過SNMP、Agent、ICMP、SSH、IPMI等對系統(tǒng)進行數(shù)據(jù)采集；數(shù)據(jù)存儲：Zabbix存儲在MySQL上，也可以存儲在其他數(shù)據(jù)庫服務；使用數(shù)據(jù)庫是必備技能。數(shù)據(jù)分析：當我們事后需要復盤分析故障時，Zabbix能給我們提供圖形以及時間等相關信息，方面我們確定故障所在；數(shù)據(jù)展示：Web界面展示、(移動APP、java_php開發(fā)一個Web界面也可以)；監(jiān)控報警：電話報警、郵件報警、微信報警、短信報警、報警升級機制等（無論什么報警都可以）；報警處理：當接收到報警，我們需要根據(jù)故障的級別進行處理，比如:重要緊急、重要不緊急，等。根據(jù)故障的級別，配合相關的人員進行快速處理。運維小白如何做好運維監(jiān)控？

數(shù)據(jù)是數(shù)字化轉(zhuǎn)型的基礎。無論是在傳統(tǒng)企業(yè)，還是在IT成熟度較高的金融、互聯(lián)網(wǎng)等企業(yè)中，日志數(shù)據(jù)都是不可或缺的一個信息來源。日志記錄了服務器、工作站、防火墻和應用軟件等IT資源運行時的詳細信息，對于IT運維有著重要的作用。Argus運維監(jiān)控系統(tǒng)Syslog 日志接收和分析解決了以下難題：日志來源復雜，種類繁多，日志采集操作復雜，效率低下；在每天TB級以上的數(shù)據(jù)增量下，開源解決方案的擴展性和穩(wěn)定性無法保證；日志數(shù)據(jù)中記錄了豐富的信息，且存量巨大，日志價值挖掘困難；停留在被動排障階段，無法及時發(fā)現(xiàn)業(yè)務異常，不能主動感知業(yè)務和IT的狀態(tài)。 自研 ArgusNMS，增強 Zabbix 網(wǎng)管功能， 實現(xiàn)模塊動態(tài)擴展。中國澳門運維監(jiān)控服務電話

Argus運維監(jiān)控事件聚合的同時， 保留了每一條事件的詳情， 以便深入分析。安徽運維監(jiān)控常見問題

對于服務器的監(jiān)控同樣也是從狀態(tài)、性能與容量這幾個維度入手。雖然SNMP也可以用于服務器監(jiān)控，但相對于agent主動上報指標與數(shù)據(jù)會少很多。

服務器的狀態(tài)監(jiān)控主要包含服務器是否ping的通、agent上報是否超時與電源運行狀態(tài)等等。對于性能與容量這兩類維度，主要依賴當前OS的數(shù)據(jù)捕獲，一般來說對于服務器監(jiān)控來說在通用場景下主要關注CPU、內(nèi)存、流量與包量這四個指標即可，但是別的指標也建議盡量捕獲。

單個監(jiān)控對象的數(shù)據(jù)豐富了會有如下好處：避免對象的監(jiān)控盲點不同的監(jiān)控數(shù)據(jù)點可以部分對應出該服務器所承載的業(yè)務特性指標，例如存儲類業(yè)務也會關注disk_total_read、svctm_time_max、await_time_max等等系統(tǒng)指標生產(chǎn)的數(shù)據(jù)足夠豐富能夠催生出更加豐富的運維數(shù)據(jù)消費場景。服務器監(jiān)控相對是很標準的監(jiān)控模型，針對于物理服務器與虛擬機都有共性指標。這部分主要做到采集的數(shù)據(jù)豐富與上報的準確性(算法準確)。 安徽運維監(jiān)控常見問題

上海觀縱科技有限公司成立于2022-11-14，位于上海市奉賢區(qū)望園南路1288弄80號1904、1909室，公司自成立以來通過規(guī)范化運營和高質(zhì)量服務，贏得了客戶及社會的一致認可和好評。公司主要產(chǎn)品有webfunny前端監(jiān)控，webfunny前端埋點，全鏈路應用性能監(jiān)控，Argus-IT運維監(jiān)控等，公司工程技術人員、行政管理人員、產(chǎn)品制造及售后服務人員均有多年行業(yè)經(jīng)驗。并與上下游企業(yè)保持密切的合作關系。webfunny,walkingfunny,argus以符合行業(yè)標準的產(chǎn)品質(zhì)量為目標，并始終如一地堅守這一原則，正是這種高標準的自我要求，產(chǎn)品獲得市場及消費者的高度認可。上海觀縱科技有限公司通過多年的深耕細作，企業(yè)已通過傳媒、廣電質(zhì)量體系認證，確保公司各類產(chǎn)品以高技術、高性能、高精密度服務于廣大客戶。歡迎各界朋友蒞臨參觀、 指導和業(yè)務洽談。