在典型的重復數據刪除技術中,根據不同的數據備份場景選擇適合的重刪策略與粒度方案。在確定重刪策略與粒度后,會根據輸入側不同粒度(卷級、文件級、塊級)的數據采取不同的數據切分策略,并依據任務級與全局指紋庫提供自適應源端的全局重刪算法與策略,當前支持源端塊級、文件級重刪和并行重刪技術。源端重刪是采用基于內容的可變長數據切分算法,通過對數據塊進行哈希算法的***標記,即指紋(Fingerprint),在指紋庫中尋找相同的指紋。如果存在相同指紋,則表示已保存了相同的數據塊,ADM則不再保存此數據塊,而是引用已存在的數據塊,從而節省更多的備份空間。該算法還可以智能識別已修改的數據和未修改的數據,從而避免因修改數據位移而導致的未修改數據切分到新數據塊中的問題,比較大限度地提升重刪性能和重刪率,為避免數據備份過程中冗余網絡傳輸與存儲開銷,在源端設置粗粒度前置數據校驗可以明顯縮小備份傳輸過程中的數據冗余,目的在于不備份任意一個冗余數據。敏捷數據管理平臺ADM可解決業務系統,對備份數據進行合理利用提升備份數據使用價值。數據分發
ADM通過對管理人員、測試需求等內容的不同進行分組劃分,將已經數據進行分組管理,從測試數據管理的源頭管控數據資源的類別,做到從源頭劃分類別,使測試數據管理形成數據源----數據中轉----數據目標的閉環式數據使用流程,規范化的數據流程使數據管理者成為數據的負責人,自動化的資源管理也更有效地為用戶提供安全的測試數據管理方案。敏捷數據管理平臺ADM提供對虛擬數據庫的樹狀拓撲結構圖,可詳細了解測試數據的來源、所屬存儲池、掛載的測試服務器,以及虛擬數據庫快照的上下級關系,方便對系統全局的數據使用結構進行預覽,幫助用戶了解測試網中測試數據的使用關系,完善測試數據的組織結構,優化測試數據的資源分配。數據分發ADM主要由數據備份管理、備份校驗管理、數據副本管理、數據脫*管理四大功能模塊組成。
敏捷數據管理平臺ADM能夠將上游的數據收集、存儲,中游的數據處理、傳輸,下游的數據分發和交付全流程貫通,形成一套自動化、智能化的副本數據全生命周期管理解決方案,為銀行業實現測試業務多場景的數據覆蓋,實現業務版本的高質量交付和快速迭代提供了行之有效的工具。ADM的數據庫虛擬化功能與GoldenDB高可用、高可靠的數據庫服務相結合,為該行提供了敏捷的副本數據交付能力與靈活的副本數據管理能力,對銀行測試數據管理體系的構建起到了強有力的助推作用,助力打造數字化業務增長新模式.
ADM產品數據安全***ADM平臺支持靜態數據脫敏(涉及數據庫、格式化文件、數據庫對象、消息隊列等),內置104條***算法、47條敏感信息類型匹配庫,覆蓋個人身份信息、組織機構信息、資質資格證信息、金融數據信息、醫療數據信息、車輛數據信息等眾多類別的敏感數據類型識別與仿真***。具備廣義的通用型***規則,包括字符替換、隨機生成、截短、加權生成、加密等;支持保留原有數據含義的仿真型***規則,支持中文字典庫與編碼字典庫,保證姓名、身份證號、證件號、地址、組織機構代碼等***后數據的有效性、可用性。提供基于數據庫的庫內***和基于ETL的抽取***,提供文件***添加水印功能,提供國產化操作系統的加密算法,滿足用戶多種***需求。敏捷數據管理平臺ADM產品數據信創產品,實現了國產數據庫的備份與國產操作系統的兼容。
上訊敏捷數據管理平臺(ADM)既可以封裝在敏捷數據管理流程的中間環節,也可以單獨作為敏感數據處理的抽取平臺,兩種模式滿足了當前用戶對數據處理的全部需求。 提供系統用戶角色權限的配置管理,負責系統角色用戶功能的劃分,操作權限的分配,負責處理任務向上級的申請,上級用戶負責審批、轉發、會簽或駁回以及復核工作的需求。當前系統內置豐富的算法,具備廣義的通用型規則,包括字符替換、隨機生成、截短、加權生成、加密等;支持保留原有數據含義的仿真型規則,支持中文字典庫與編碼字典庫,保證姓名、身份證號、證件號、地址、組織機構代碼等數據的有效性、可用性,算法經優化已處理超長字符截斷和重復數據的問題。市面上的敏感數據管理產品有哪些?秘密
CDM主要應用于金融、運營商、能源、交通、衛生、事業單位等行業。數據分發
l異地數據容災(遠程復制)數字化時代,企業進行數據保護,不僅希望能夠實現本地數據保護,也要有災備中心進行異地數據保護。如此,即便本地數據中心遭遇地震、火災等重大自然災害或人為操作失誤等事故,導致本地備份數據或生產數據發生損壞或丟失時,能夠通過異地數據災備,確保數據可恢復。ADM支持通過遠程復制技術,將本地數據同步到異地災備中心,實現異地數據容災?;趥浞萑蝿眨瑢⑸a數據備份到本地的存儲池,基于遠程復制任務,將本地存儲池中的備份數據同步到異地存儲池中,從而為生產數據提供雙重保護,當本地生產數據、或備份數據丟失、損壞時,通過預先設置的容災策略,在容災端進行應急接管。數據分發