離線數據還有一些數據,對于實時性和有序性的要求都沒那么強,分析時數據已經固化,我們稱之為離線數據。典型的離線數據包括產品銷量數據、景點游客數據等,應用于統計分析,總結盤點等場景,例如,物聯網平臺將自動售貨機上報的**匯總后保存,然后定期使用大數據分析平臺分析**,以報表形式呈現給廠家,協助廠家進行銷售策略的調整。離線分析的挑戰主要在于龐大的數據量,一般會采用分布式處理的方案來提升海量數據分析的效率。設備接入服務:設備接入是華為OceanConnect物聯網平臺對海量設備進行聯接、數據采集/轉發、遠程控制的云服務。可實現海量設備與云端之間雙向通信連接、設備數據采集上云,支持上層應用通過調用API遠程控制設備,還提供了與華為云其他云服務無縫對接的規則引擎,可應用于各種物聯網場景。設備接入服務還可以搭配設備管理服務使用,可實現產品模型定義、設備生命周期可視化管理,提供強大的面向行業應用開放能力,幫助企業快速構建創新的物聯網業務。一個大的系統,采集的數據種類繁多,而且除采集的原始數據外,還有大量的衍生數據。南通工程物聯網大數據平臺綜合服務
需要支持邊云協同。要有一套靈活的機制將邊緣計算節點的數據上傳到云端,根據具體需要,可以將原始數據,或加工計算后的數據,或**符合過濾條件的數據同步到云端,而且隨時可以取消,更改策略。16.需要單一的后臺管理系統。便于查看系統運行狀態、管理集群、管理用戶、管理各種系統資源等,而且系統能夠與第三方IT運維監測平臺無縫集成,便于管理。17.便于私有化部署。因為很多企業出于安全以及各種因素的考慮,希望采用私有化部署。而傳統的企業往往沒有很強的IT運維團隊,因此在安裝、部署上需要做到簡單、快捷,可維護性強。以上總結了物聯網大數據平臺的主要功能和特點,而物聯網大數據平臺本身也在演變之中,但總的目標不會改變,那就是高效、可伸縮、實時、可靠、靈活、開放、簡單、易維護?;窗哺咝锫摼W大數據平臺提供商比如智能電表,如果系統出問題,直接導致的是千家萬戶無法正常用電。
實時處理必須是實時處理的系統。互聯網大數據處理,大家所熟悉的場景是用戶畫像、推薦系統、輿情分析等等,這些場景并不需要什么實時性,批處理即可。但是對于物聯網場景,需要基于采集的數據做實時預警、決策,延時要控制在秒級以內。如果計算沒有實時性,物聯網的商業價值就大打折扣。3.高可靠性需要運營商級別的高可靠服務。物聯網系統對接的往往是生產、經營系統,如果數據處理系統宕機,直接導致停產,產生經濟有損失、導致對終端消費者的服務無法正常提供。比如智能電表,如果系統出問題,直接導致的是千家萬戶無法正常用電。因此物聯網大數據系統必須是高可靠的,必須支持數據實時備份,必須支持異地容災,必須支持軟件、硬件在線升級,必須支持在線IDC機房遷移,否則服務一定有被中斷的可能。
趨勢七:數據生態系統復合化程度加強大數據的世界不只是一個單一的、巨大的計算機網絡,而是一個由大量活動構件與多元參與者元素所構成的生態系統,終端設備提供商、基礎設施提供商、網絡服務提供商、網絡接入服務提供商、數據服務使能者、數據服務提供商、觸點服務、數據服務零售商等等一系列的參與者共同構建的生態系統。而今,這樣一套數據生態系統的基本雛形已然形成,接下來的發展將趨向于系統內部角色的細分,也就是市場的細分;系統機制的調整,也就是商業模式的創新;系統結構的調整,也就是競爭環境的調整等等,從而使得數據生態系統復合化程度逐漸增強。需要單一的后臺管理系統。
實時數據和歷史數據的處理要合二為一。實時數據在緩存里,歷史數據在持久化存儲介質里,而且可能依據時長,保留在不同存儲介質里。系統應該隱藏背后的存儲,給用戶和應用呈現的是同一個接口和界面。無論是訪問新采集的數據還是十年前的老數據,除輸入的時間參數不同之外,其余應該是一樣的。8.需要保證數據能持續穩定寫入。對于物聯網系統,數據流量往往是平穩的,因此數據寫入所需要的資源往往是可以估算的。但是變化的是查詢、分析,特別是即席查詢,有可能耗費很大的系統資源,不可控。因此系統必須保證分配足夠的資源以確保數據能夠寫入系統而不被丟失。準確的說,系統必須是一個寫優先系統。9.需要對數據支持靈活的多維度分析。對于聯網設備產生的數據,需要進行各種維度的統計分析,比如從設備所處的地域進行分析,從設備的型號、供應商進行分析,從設備所使用的人員進行分析等等。而且這些維度的分析是無法事先想好的,而是在實際運營過程中,根據業務發展的需求定下來的。因此物聯網大數據系統需要一個靈活的機制增加某個維度的分析。不僅如此,計算的需求也相當復雜,因場景而異,應容許用戶自定義函數進行計算?;窗哺咝锫摼W大數據平臺提供商
對于物聯網系統,數據流量往往是平穩的,因此數據寫入所需要的資源往往是可以估算的。南通工程物聯網大數據平臺綜合服務
5.實時流式計算需要實時流式計算。各種實時預警或預測已經不是簡單的基于某一個閾值進行,而是需要通過將一個或多個設備產生的數據流進行實時聚合計算,不只是基于一個時間點、而是基于一個時間窗口進行計算。不僅如此,計算的需求也相當復雜,因場景而異,應容許用戶自定義函數進行計算。6.數據訂閱需要支持數據訂閱。與通用大數據平臺比較一致,同一組數據往往有很多應用都需要,因此系統應該提供訂閱功能,只要有新的數據更新,就應該實時提醒應用。而且這個訂閱也應該是個性化的,容許應用設置過濾條件,比如只訂閱某個物理量五分鐘的平均值。南通工程物聯網大數據平臺綜合服務