數(shù)據(jù)備份面臨存儲成本高的問題,ADM采用內(nèi)置高效的壓縮存儲池存放數(shù)據(jù),壓縮比約為3:1,存儲即壓縮,降低了備份數(shù)據(jù)的存儲成本;其次,通過ADM的數(shù)據(jù)庫虛擬化技術(shù),一份基礎(chǔ)數(shù)據(jù)即可快速拉起多份虛擬數(shù)據(jù)庫,由于虛擬數(shù)據(jù)庫90%的數(shù)據(jù)均與原始數(shù)據(jù)相同,因此拉起時幾乎不占用額外的物理存儲空間,只對新增的寫操作計入容量占用,因此,隨著數(shù)據(jù)分發(fā)使用的場景和頻率增加,虛擬庫的數(shù)量越來越多,而存儲成本將會呈倍數(shù)級節(jié)約,例如針對同一份數(shù)據(jù)創(chuàng)建N個虛擬庫,傳統(tǒng)方法需要N倍的存儲空間占用,而通過ADM只需要占用近乎0TB的存儲空間,節(jié)約了數(shù)據(jù)存儲環(huán)節(jié)的資源和成本。上訊敏捷數(shù)據(jù)管理平臺ADM產(chǎn)品的合規(guī)性體現(xiàn)在通過數(shù)據(jù)申請審批流程使用數(shù)據(jù),嚴(yán)格控制數(shù)據(jù)外流。磁盤快照技術(shù)
上訊敏捷數(shù)據(jù)管理平臺(ADM)支持重復(fù)數(shù)據(jù)刪除技術(shù),在典型的重復(fù)數(shù)據(jù)刪除技術(shù)中,根據(jù)不同的數(shù)據(jù)備份場景選擇適合的重刪策略與粒度方案。在確定重刪策略與粒度后,會根據(jù)輸入側(cè)不同粒度(卷級、文件級、塊級)的數(shù)據(jù)采取不同的數(shù)據(jù)切分策略,并依據(jù)任務(wù)級與全局指紋庫提供自適應(yīng)源端的全局重刪算法與策略,當(dāng)前支持源端塊級、文件級重刪和并行重刪技術(shù)。源端重刪是采用基于內(nèi)容的可變長數(shù)據(jù)切分算法,通過對數(shù)據(jù)塊進行哈希算法的標(biāo)記,即指紋(Fingerprint),在指紋庫中尋找相同的指紋。如果存在相同指紋,則表示已保存了相同的數(shù)據(jù)塊,ADM則不再保存此數(shù)據(jù)塊,而是引用已存在的數(shù)據(jù)塊,從而節(jié)省更多的備份空間。該算法還可以智能識別已修改的數(shù)據(jù)和未修改的數(shù)據(jù),從而避免因修改數(shù)據(jù)位移而導(dǎo)致的未修改數(shù)據(jù)切分到新數(shù)據(jù)塊中的問題,較大限度地提升重刪性能和重刪率,為避免數(shù)據(jù)備份過程中冗余網(wǎng)絡(luò)傳輸與存儲開銷,在源端設(shè)置粗粒度前置數(shù)據(jù)校驗可以明顯縮小備份傳輸過程中的數(shù)據(jù)冗余,目的在于不備份任意一個冗余數(shù)據(jù)。敏感類型自定義數(shù)據(jù)安全領(lǐng)域的CDM是指拷貝數(shù)據(jù)管理。
ADM支持Oracle/MySQL/DB2/SQLServer/PostgreSQL/Informix/達夢/南大通用GBase/人大金倉KingBase/OpenGauss/MogDB/VastBase/叢云/TDSQL/OceanBase/GaussDB(forOpenGauss)/GaussDB(DWS)分布式容災(zāi)功能;支持華為云與阿里云的云服務(wù)器ECS、云數(shù)據(jù)庫RDS備份恢復(fù);***保護VMware/SmartX/浪潮/華為FC/云宏WinStack/OpenStack/浪潮云InCloudOpenStack等虛擬化平臺,支持虛擬化備份和細粒度的掛載恢復(fù),VMware備份無需在虛擬化平臺或者各個虛擬機上安裝客戶端,只需通過VMware代理客戶端連接虛擬化平臺即可;支持Hadoop等大數(shù)據(jù)平臺的備份恢復(fù);支持自適應(yīng)源端的全局重刪算法與策略,支持任務(wù)級與全局指紋庫;針對文件備份提供文件粒度與塊級粒度的全域重刪且支持重刪指紋庫重建功能,支持多線程文件備份,支持海量小文件場景下的聚合策略,提供并行掃描和高速索引,從而減少需要備份的數(shù)據(jù)量、縮短備份窗口、節(jié)省備份數(shù)據(jù)傳輸所消耗的網(wǎng)絡(luò)帶寬以及節(jié)約備份數(shù)據(jù)存儲空間;備份傳輸過程采用壓縮加密處理,緩解網(wǎng)絡(luò)傳輸?shù)膲毫?,增加網(wǎng)絡(luò)抖動或短時間斷鏈的超時容錯機制,確保備份數(shù)據(jù)的安全;
企業(yè)開發(fā)需求更新頻繁,對測試環(huán)境和測試數(shù)據(jù)提出了同步變更的要求,ADM的虛擬數(shù)據(jù)庫快照功能解決了測試數(shù)據(jù)版本迭代的問題,通過對數(shù)據(jù)庫狀態(tài)進行定時或即時的記錄,保留當(dāng)前虛擬數(shù)據(jù)庫的狀態(tài)作為測試數(shù)據(jù)版本,一旦需要調(diào)用某個版本時,只需切換到不同時間點的虛擬庫快照即可,靈活實現(xiàn)測試數(shù)據(jù)版本的任意切換,ADM還支持創(chuàng)建和維護虛擬庫級聯(lián)快照,滿足回歸測試等具體應(yīng)用場景,通過這一功能明顯提升了開發(fā)測試效率、升級迭代效率。數(shù)據(jù)備份產(chǎn)品關(guān)注數(shù)據(jù)備份,上訊敏捷數(shù)據(jù)管理平臺ADM產(chǎn)品能用于數(shù)據(jù)的備份與快速恢復(fù)驗證。
ADM平臺具備根據(jù)管理人員、測試需求等內(nèi)容的不同進行分組劃分的功能,將處理過的數(shù)據(jù)進行分組管理,從下游測試數(shù)據(jù)管理的源頭管控數(shù)據(jù)資源的類別,做到從源頭劃分類別,使下游測試數(shù)據(jù)管理形成上游數(shù)據(jù)源-中游數(shù)據(jù)中轉(zhuǎn)-下游數(shù)據(jù)目標(biāo)的閉環(huán)式數(shù)據(jù)使用流程,規(guī)范化的數(shù)據(jù)流程使數(shù)據(jù)管理者成為數(shù)據(jù)的負責(zé)人,自動化的資源管理也更有效地為金融行業(yè)用戶提供安全的數(shù)據(jù)管理方案。同時,ADM提供對數(shù)據(jù)流轉(zhuǎn)的樹狀拓撲結(jié)構(gòu)圖,可詳細了解數(shù)據(jù)的來源、所屬存儲池、掛載的測試服務(wù)器,以及數(shù)據(jù)快照的層級關(guān)系,方便對系統(tǒng)全局的數(shù)據(jù)使用結(jié)構(gòu)進行預(yù)覽,通過可視化的結(jié)構(gòu)拓撲圖,幫助用戶了解下游測試網(wǎng)中測試數(shù)據(jù)的歸屬關(guān)系,完善數(shù)據(jù)流轉(zhuǎn)路徑,優(yōu)化數(shù)據(jù)資源的合理分配,可視化功能的動態(tài)展示將助力企業(yè)向著智能化數(shù)據(jù)安全治理的方向轉(zhuǎn)型。上訊敏捷數(shù)據(jù)管理平臺ADM產(chǎn)品能對接NBU自動恢復(fù)。金融客戶CDM案例
上訊ADM產(chǎn)品通過虛擬數(shù)據(jù)秒級分發(fā)功能實現(xiàn)測試數(shù)據(jù)的同時在線交付,縮短了數(shù)據(jù)交付的時間。磁盤快照技術(shù)
敏捷數(shù)據(jù)管理平臺(ADM)由管理控制中心(Master)、數(shù)據(jù)服務(wù)節(jié)點(CDMServer)、***服務(wù)節(jié)點(SDMServer)、客戶端(Client)組成,服務(wù)節(jié)點可通過主備節(jié)點部署實現(xiàn)高可用,通過靈活的橫向節(jié)點擴展實現(xiàn)功能擴展和容量擴充,每個服務(wù)節(jié)點可以安裝在物理服務(wù)器或虛擬服務(wù)器中。一個或多個客戶端連接到服務(wù)節(jié)點,組成一個完整的數(shù)據(jù)管理平臺,客戶端負責(zé)收集數(shù)據(jù)、傳輸數(shù)據(jù),服務(wù)節(jié)點負責(zé)接收數(shù)據(jù)、存儲數(shù)據(jù)、數(shù)據(jù)脫敏以及管理數(shù)據(jù)。敏捷數(shù)據(jù)管理平臺(ADM)由4個模塊組成:數(shù)據(jù)服務(wù)節(jié)點(CDMServer)包括數(shù)據(jù)備份模塊(PDM)、數(shù)據(jù)校驗?zāi)K(BDM)、數(shù)據(jù)交付模塊(TDM)3個模塊;***服務(wù)節(jié)點(SDMServer)包括數(shù)據(jù)脫敏模塊(SDM)1個模塊。磁盤快照技術(shù)