在典型的重復(fù)數(shù)據(jù)刪除技術(shù)中,根據(jù)不同的數(shù)據(jù)備份場(chǎng)景選擇適合的重刪策略與粒度方案。在確定重刪策略與粒度后,會(huì)根據(jù)輸入側(cè)不同粒度(卷級(jí)、文件級(jí)、塊級(jí))的數(shù)據(jù)采取不同的數(shù)據(jù)切分策略,并依據(jù)任務(wù)級(jí)與全局指紋庫提供自適應(yīng)源端的全局重刪算法與策略,當(dāng)前支持源端塊級(jí)、文件級(jí)重刪和并行重刪技術(shù)。源端重刪是采用基于內(nèi)容的可變長(zhǎng)數(shù)據(jù)切分算法,通過對(duì)數(shù)據(jù)塊進(jìn)行哈希算法的***標(biāo)記,即指紋(Fingerprint),在指紋庫中尋找相同的指紋。如果存在相同指紋,則表示已保存了相同的數(shù)據(jù)塊,ADM則不再保存此數(shù)據(jù)塊,而是引用已存在的數(shù)據(jù)塊,從而節(jié)省更多的備份空間。該算法還可以智能識(shí)別已修改的數(shù)據(jù)和未修改的數(shù)據(jù),從而避免因修改數(shù)據(jù)位移而導(dǎo)致的未修改數(shù)據(jù)切分到新數(shù)據(jù)塊中的問題,比較大限度地提升重刪性能和重刪率,為避免數(shù)據(jù)備份過程中冗余網(wǎng)絡(luò)傳輸與存儲(chǔ)開銷,在源端設(shè)置粗粒度前置數(shù)據(jù)校驗(yàn)可以明顯縮小備份傳輸過程中的數(shù)據(jù)冗余,目的在于不備份任意一個(gè)冗余數(shù)據(jù)。敏捷數(shù)據(jù)管理平臺(tái)ADM可解決業(yè)務(wù)系統(tǒng),對(duì)備份數(shù)據(jù)進(jìn)行合理利用提升備份數(shù)據(jù)使用價(jià)值。數(shù)據(jù)分發(fā)
ADM通過對(duì)管理人員、測(cè)試需求等內(nèi)容的不同進(jìn)行分組劃分,將已經(jīng)數(shù)據(jù)進(jìn)行分組管理,從測(cè)試數(shù)據(jù)管理的源頭管控?cái)?shù)據(jù)資源的類別,做到從源頭劃分類別,使測(cè)試數(shù)據(jù)管理形成數(shù)據(jù)源----數(shù)據(jù)中轉(zhuǎn)----數(shù)據(jù)目標(biāo)的閉環(huán)式數(shù)據(jù)使用流程,規(guī)范化的數(shù)據(jù)流程使數(shù)據(jù)管理者成為數(shù)據(jù)的負(fù)責(zé)人,自動(dòng)化的資源管理也更有效地為用戶提供安全的測(cè)試數(shù)據(jù)管理方案。敏捷數(shù)據(jù)管理平臺(tái)ADM提供對(duì)虛擬數(shù)據(jù)庫的樹狀拓?fù)浣Y(jié)構(gòu)圖,可詳細(xì)了解測(cè)試數(shù)據(jù)的來源、所屬存儲(chǔ)池、掛載的測(cè)試服務(wù)器,以及虛擬數(shù)據(jù)庫快照的上下級(jí)關(guān)系,方便對(duì)系統(tǒng)全局的數(shù)據(jù)使用結(jié)構(gòu)進(jìn)行預(yù)覽,幫助用戶了解測(cè)試網(wǎng)中測(cè)試數(shù)據(jù)的使用關(guān)系,完善測(cè)試數(shù)據(jù)的組織結(jié)構(gòu),優(yōu)化測(cè)試數(shù)據(jù)的資源分配。數(shù)據(jù)分發(fā)ADM主要由數(shù)據(jù)備份管理、備份校驗(yàn)管理、數(shù)據(jù)副本管理、數(shù)據(jù)脫*管理四大功能模塊組成。
敏捷數(shù)據(jù)管理平臺(tái)ADM能夠?qū)⑸嫌蔚臄?shù)據(jù)收集、存儲(chǔ),中游的數(shù)據(jù)處理、傳輸,下游的數(shù)據(jù)分發(fā)和交付全流程貫通,形成一套自動(dòng)化、智能化的副本數(shù)據(jù)全生命周期管理解決方案,為銀行業(yè)實(shí)現(xiàn)測(cè)試業(yè)務(wù)多場(chǎng)景的數(shù)據(jù)覆蓋,實(shí)現(xiàn)業(yè)務(wù)版本的高質(zhì)量交付和快速迭代提供了行之有效的工具。ADM的數(shù)據(jù)庫虛擬化功能與GoldenDB高可用、高可靠的數(shù)據(jù)庫服務(wù)相結(jié)合,為該行提供了敏捷的副本數(shù)據(jù)交付能力與靈活的副本數(shù)據(jù)管理能力,對(duì)銀行測(cè)試數(shù)據(jù)管理體系的構(gòu)建起到了強(qiáng)有力的助推作用,助力打造數(shù)字化業(yè)務(wù)增長(zhǎng)新模式.
ADM產(chǎn)品數(shù)據(jù)安全***ADM平臺(tái)支持靜態(tài)數(shù)據(jù)脫敏(涉及數(shù)據(jù)庫、格式化文件、數(shù)據(jù)庫對(duì)象、消息隊(duì)列等),內(nèi)置104條***算法、47條敏感信息類型匹配庫,覆蓋個(gè)人身份信息、組織機(jī)構(gòu)信息、資質(zhì)資格證信息、金融數(shù)據(jù)信息、醫(yī)療數(shù)據(jù)信息、車輛數(shù)據(jù)信息等眾多類別的敏感數(shù)據(jù)類型識(shí)別與仿真***。具備廣義的通用型***規(guī)則,包括字符替換、隨機(jī)生成、截短、加權(quán)生成、加密等;支持保留原有數(shù)據(jù)含義的仿真型***規(guī)則,支持中文字典庫與編碼字典庫,保證姓名、身份證號(hào)、證件號(hào)、地址、組織機(jī)構(gòu)代碼等***后數(shù)據(jù)的有效性、可用性。提供基于數(shù)據(jù)庫的庫內(nèi)***和基于ETL的抽取***,提供文件***添加水印功能,提供國產(chǎn)化操作系統(tǒng)的加密算法,滿足用戶多種***需求。敏捷數(shù)據(jù)管理平臺(tái)ADM產(chǎn)品數(shù)據(jù)信創(chuàng)產(chǎn)品,實(shí)現(xiàn)了國產(chǎn)數(shù)據(jù)庫的備份與國產(chǎn)操作系統(tǒng)的兼容。
上訊敏捷數(shù)據(jù)管理平臺(tái)(ADM)既可以封裝在敏捷數(shù)據(jù)管理流程的中間環(huán)節(jié),也可以單獨(dú)作為敏感數(shù)據(jù)處理的抽取平臺(tái),兩種模式滿足了當(dāng)前用戶對(duì)數(shù)據(jù)處理的全部需求。 提供系統(tǒng)用戶角色權(quán)限的配置管理,負(fù)責(zé)系統(tǒng)角色用戶功能的劃分,操作權(quán)限的分配,負(fù)責(zé)處理任務(wù)向上級(jí)的申請(qǐng),上級(jí)用戶負(fù)責(zé)審批、轉(zhuǎn)發(fā)、會(huì)簽或駁回以及復(fù)核工作的需求。當(dāng)前系統(tǒng)內(nèi)置豐富的算法,具備廣義的通用型規(guī)則,包括字符替換、隨機(jī)生成、截短、加權(quán)生成、加密等;支持保留原有數(shù)據(jù)含義的仿真型規(guī)則,支持中文字典庫與編碼字典庫,保證姓名、身份證號(hào)、證件號(hào)、地址、組織機(jī)構(gòu)代碼等數(shù)據(jù)的有效性、可用性,算法經(jīng)優(yōu)化已處理超長(zhǎng)字符截?cái)嗪椭貜?fù)數(shù)據(jù)的問題。市面上的敏感數(shù)據(jù)管理產(chǎn)品有哪些?秘密
CDM主要應(yīng)用于金融、運(yùn)營(yíng)商、能源、交通、衛(wèi)生、事業(yè)單位等行業(yè)。數(shù)據(jù)分發(fā)
l異地?cái)?shù)據(jù)容災(zāi)(遠(yuǎn)程復(fù)制)數(shù)字化時(shí)代,企業(yè)進(jìn)行數(shù)據(jù)保護(hù),不僅希望能夠?qū)崿F(xiàn)本地?cái)?shù)據(jù)保護(hù),也要有災(zāi)備中心進(jìn)行異地?cái)?shù)據(jù)保護(hù)。如此,即便本地?cái)?shù)據(jù)中心遭遇地震、火災(zāi)等重大自然災(zāi)害或人為操作失誤等事故,導(dǎo)致本地備份數(shù)據(jù)或生產(chǎn)數(shù)據(jù)發(fā)生損壞或丟失時(shí),能夠通過異地?cái)?shù)據(jù)災(zāi)備,確保數(shù)據(jù)可恢復(fù)。ADM支持通過遠(yuǎn)程復(fù)制技術(shù),將本地?cái)?shù)據(jù)同步到異地災(zāi)備中心,實(shí)現(xiàn)異地?cái)?shù)據(jù)容災(zāi)?;趥浞萑蝿?wù),將生產(chǎn)數(shù)據(jù)備份到本地的存儲(chǔ)池,基于遠(yuǎn)程復(fù)制任務(wù),將本地存儲(chǔ)池中的備份數(shù)據(jù)同步到異地存儲(chǔ)池中,從而為生產(chǎn)數(shù)據(jù)提供雙重保護(hù),當(dāng)本地生產(chǎn)數(shù)據(jù)、或備份數(shù)據(jù)丟失、損壞時(shí),通過預(yù)先設(shè)置的容災(zāi)策略,在容災(zāi)端進(jìn)行應(yīng)急接管。數(shù)據(jù)分發(fā)