遇到多集群場景問題

多達上百個集群數，而有些業務系統擁有多個集群，其多集群場景特點有：

服務發現隔離：Prometheus的服務發現機制無法發現多個集群的被監控對象；

網絡隔離：跨集群可能存在連通性問題；

業務需求：業務系統可能需要跨集群聚合數據。

只用Prometheus能解決嗎？

Prometheus本身只支持單機部署，沒有自帶支持集群部署，對于集群化和水平擴展，官方和社區都沒有銀彈，需要合理選擇VictoriaMetrics、Thanos等開源方案或自研方案。Prometheus的存儲空間也受限于單機磁盤容量，磁盤容量決定了單個Prometheus所能存儲的數據量，數據量大小又取決于被采集服務的指標數量、服務數量、采集速率以及數據過期時間。在數據量大的情況下，我們可能就需要做很多取舍，比如丟棄不重要的指標、降低采集速率、設置較短的數據過期時間等。 運維小白如何做好運維監控？運維監控平臺

信創終端運維服務、數據中心運維服務、業務系統運維服務、適配遷移服務、安全運維服務等信創運維服務。通過信創運維服務體系、信創安全管理體系、信創一體化服務保障平臺、信創現場和遠程運維服務管理平臺，規范信創運維服務過程，提升信創運維服務保障能力，為客戶創建可視可控的運維環境，保障信創終端、數據中心和業務應用系統的可靠、高效、持續、安全運行。

多種信創技術路線并存：信創運維技術難度高，缺乏成熟運維技術和經驗參考，信創運維技術培訓不健全。信創適配遷移困難：缺乏應用系統適配改造經驗，應用遷移涉及重構與重編譯，工作量大，遷移工具不成熟。信創生態環境不成熟：信創產品性能、可靠性、品質、成熟度參差不齊，生態環境不成熟，產業鏈生態整合能力弱。信創運維管理復雜：信創環境和非信創環境并存，運維管理復雜。與國外成熟產品差距大，運維難度高，要求較高的運維技術能力。 網站智慧運維監控管理解決方案Argus運維監控網絡設備配置文件自動備份。

Argus運維監控系統基于ZABBIX的預處理及自動發現功能，有效整合PROMETHEUS。

環境復雜 ：在現有的架構環境中，既有虛擬主機，又有 Kubernets 集群 

監控工具多 ： 在現有的環境中的監控工具既有zabbix，又有 prometheus § Zabbix的監控項及Prometheus的配置仍為大量的 手工操作 § 每套工具有單獨的技術棧，維護成本高 

無統一化告警人管理 ：zabbix及grafana中都有告警人配置

數據采集 ： Prometheus 負責Exporter及 Kubernets集群的 監控項采集，并單獨于Kubernets集群外部署 § Zabbix負責虛擬主機監控項的采集 

事件處理 ： Zabbix 通過HTTP agent 方式查詢不同的 prometheus 采集節點，并通過監控項模板中監控項 的預處理及自動發現功能自動創建不同應用名稱的監 控項及監控項閾值 § Zabbix 通過不同監控項的當前數據判斷閾值并觸 發不同閾值級別下相應的動作 § 各閾值動作通過應用名關聯不同的用戶組，觸發 釘釘通知到對應的研發團隊

IT運維監控具有性能穩定、用戶界面友好、跨平臺、易實施、易集成等特點，可極大地簡化IT設施和業務系統的監控管理。越來越多的客戶都在考慮或采納業務集中的方案。然而業務系統集中后，不僅增加運行維護的工作強度，而且會使集中的系統變得更加繁雜。有效的系統和應用監控體系成為了解業務資源的使用狀況，及時發現可能導致系統故障的隱患，實現系統運營保障的關鍵。另一方面，借助于集中監控解決方案，用戶能夠正確和及時地了解系統的運行狀態，發現影響整體系統運行的瓶頸，幫助系統人員進行必要的系統優化和配置變更，甚至為系統的升級和擴容提供依據。強有力的監控和診斷工具還可以幫助運行維護人員快速地分析出應用故障原因，把他們從繁雜重復的勞動中解放出來。維護人員快速地分析出應用故障原因，把他們從繁雜重復的勞動中解放出來。因此，很多客戶的 IT 部門提出建立集中 IT 管理系統的需求，監控的內容包括網絡、服務器、數據庫、中間件和應用。通過集中監控系統及時發現系統中的故障，減少故障處理時間。我們要運維監控這個東西的什么屬性？比如CPU的使用率、負載、用戶態、內核態、上下文切換。

基于信創環境建立信創運維服務體系，滿足跨平臺對信創軟硬件設備提供運維監控管理功能，包括不限于服務器（ARM架構、MIPS架構、X86架構等）、網絡設備、數據庫（國產數據庫及非國產數據庫）、應用服務器、存儲、業務系統等全域多視角地監控和管理，幫助用戶在極短時間發現問題、分析出原因、得出解決方案，使故障問題能夠在極短時間內解決，保證業務系統的連續性。Argus 運維監控平臺是跨區域、跨部門的運維系統監控平臺，實現包括不限于服務器（ARM架構、MIPS架構、X86架構等）、網絡設備、數據庫（國產數據庫及非國產數據庫）、中間件、存儲、業務系統等運維監控。通過對基礎實施、信息系統、項目進度的總體監控實現運維體系的有效運行，保障信創項目順利開展。提供自動化運維、智能化運維功能，打破了人工現場運維效率低下的現狀；從信息采集、健康巡檢、補丁分發等場景實現功能自動化；利用智能學習、大數據分析、機器學習等技術手段，實現故障從人工處理到無人值守的變革，降低故障處理時間的同時，實現被動運維到主動干預的轉變。以 zabbix 為采集中心配合自研的 ArgusNMS 增強模塊為一組采集單元， ArgusEdge 的統一調度實現監管控的需求。智能運維監控平臺

Argus運維監控系統-IT網管的救命稻草！運維監控平臺

大集群場景特點數據規模大：監控對象targets多，數千萬時序數據time-series，單Prometheus負載非常高。

當series數據超過300萬時，Prometheus內存增長較為明顯，需要使用較大內存的機器來運行。壓測過程中，我們使用了工具去生成預期數目的series，工具生成的series每個label的長度及值的長度都較小，固定為10個字符左右。我們的目的是觀察相對負載變化，實際生產中由于label長度不同，服務發現機制（比如Pod頻繁重啟）的消耗不同，相同的series數目所消耗的負載會比壓測中高不少。目前Argus有好幾個集群的采集端Prometheus消耗內存在30G以上，這會導致查詢效率下降，嚴重的會導致OOM，有的大集群內存消耗達幾百G。 運維監控平臺

上海觀縱科技有限公司是一家從事webfunny前端監控，webfunny前端埋點，全鏈路應用性能監控，Argus-IT運維監控研發、生產、銷售及售后的服務型企業。公司坐落在上海市奉賢區望園南路1288弄80號1904、1909室，成立于2022-11-14。公司通過創新型可持續發展為重心理念，以客戶滿意為重要標準。在孜孜不倦的奮斗下，公司產品業務越來越廣。目前主要經營有webfunny前端監控，webfunny前端埋點，全鏈路應用性能監控，Argus-IT運維監控等產品，并多次以傳媒、廣電行業標準、客戶需求定制多款多元化的產品。上海觀縱科技有限公司研發團隊不斷緊跟webfunny前端監控，webfunny前端埋點，全鏈路應用性能監控，Argus-IT運維監控行業發展趨勢，研發與改進新的產品，從而保證公司在新技術研發方面不斷提升，確保公司產品符合行業標準和要求。webfunny前端監控，webfunny前端埋點，全鏈路應用性能監控，Argus-IT運維監控產品滿足客戶多方面的使用要求，讓客戶買的放心，用的稱心，產品定位以經濟實用為重心，公司真誠期待與您合作，相信有了您的支持我們會以昂揚的姿態不斷前進、進步。