上訊敏捷數(shù)據(jù)管理平臺ADM功能支持自適應(yīng)源端的全局重刪算法與策略,支持任務(wù)級與全局指紋庫;針對文件備份提供文件粒度與塊級粒度的全域重刪且支持重刪指紋庫重建功能,支持多線程文件備份,支持海量小文件場景下的聚合策略,提供并行掃描和高速索引,從而減少需要備份的數(shù)據(jù)量、縮短備份窗口、節(jié)省備份數(shù)據(jù)傳輸所消耗的網(wǎng)絡(luò)帶寬以及節(jié)約備份數(shù)據(jù)存儲空間;備份傳輸過程采用壓縮加密處理,緩解網(wǎng)絡(luò)傳輸?shù)膲毫?,增加網(wǎng)絡(luò)抖動或短時間斷鏈的超時容錯機(jī)制,確保備份數(shù)據(jù)的安全。ADM的敏感數(shù)據(jù)處理靈活性體現(xiàn)在異構(gòu)引擎可以將大數(shù)據(jù)平臺數(shù)據(jù)抽取至多類型數(shù)據(jù)庫,滿足輸出格式多樣化。數(shù)據(jù)變形
通過部署敏捷數(shù)據(jù)管理平臺ADM產(chǎn)品的數(shù)據(jù)副本管理模塊,實(shí)現(xiàn)了測試數(shù)據(jù)版本迭代管理,提升了數(shù)據(jù)使用過程中的應(yīng)用效率。隨著移動互聯(lián)網(wǎng)技術(shù)的不斷革新,移動應(yīng)用業(yè)務(wù)不斷擴(kuò)張,企業(yè)面臨著前臺業(yè)務(wù)頻繁更新升級的現(xiàn)狀,為保證既有業(yè)務(wù)穩(wěn)定,需要對新提出的升級需求開展仿真測試與回歸測試,因此亟需一套能夠?qū)y試環(huán)境的測試數(shù)據(jù)進(jìn)行版本靈活切換的解決方案,便于測試數(shù)據(jù)版本的即時調(diào)用,迅速適應(yīng)不同業(yè)務(wù)程序提供不同版本的測試數(shù)據(jù)。ADM的虛擬數(shù)據(jù)庫快照功能解決了這一問題,通過對數(shù)據(jù)庫狀態(tài)進(jìn)行定時或即時的記錄,管理和維護(hù)當(dāng)前虛擬數(shù)據(jù)庫的數(shù)據(jù),使用人員可以隨時通過記錄的虛擬數(shù)據(jù)庫快照提供一個版本的測試數(shù)據(jù),經(jīng)過測試后保存當(dāng)前的數(shù)據(jù)庫使用狀態(tài),便于開發(fā)測試的數(shù)據(jù)版本迭代,通過這一功能明顯提升了程序升級測試、版本迭代的效率.數(shù)據(jù)變形上訊信息敏捷數(shù)據(jù)管理平臺為企業(yè)上中下游數(shù)據(jù)的高效使用、安全管控提供了一套綜合數(shù)據(jù)安全治理解決方案。
備份是一個長期的過程,恢復(fù)往往只在事故發(fā)生后進(jìn)行,且備份數(shù)據(jù)的可恢復(fù)性、可用性在很大程度上依賴于備份數(shù)據(jù)的完整性。為了保證備份數(shù)據(jù)的可用性,很多企事業(yè)單位會定期進(jìn)行數(shù)據(jù)庫備份的恢復(fù)演練,也就是從備份數(shù)據(jù)中恢復(fù)出一套完整的數(shù)據(jù)庫。執(zhí)行備份數(shù)據(jù)的恢復(fù)操作,需要備份系統(tǒng)管理人員或者數(shù)據(jù)庫管理人員(DBA)對數(shù)據(jù)的備份恢復(fù)實(shí)現(xiàn)原理有深入的了解,并周期性地對備份數(shù)據(jù)進(jìn)行恢復(fù)操作,以保證備份數(shù)據(jù)的可恢復(fù)性與可用性。這種長期機(jī)械性、重復(fù)性的備份、恢復(fù)及驗(yàn)證工作,無疑會占用DBA大量的時間和精力。在DBA界還流傳著這么一句話:“故障一定會發(fā)生,只是早晚的問題!”。作為一名DBA,只有時刻記得進(jìn)行備份和恢復(fù)校驗(yàn),才能避免某一天事故發(fā)生時出現(xiàn)難以挽回的悲劇.
數(shù)據(jù)分鐘級提供,提升數(shù)據(jù)交付效率縮短開發(fā)周期通過部署ADM幾分鐘內(nèi)即可創(chuàng)建一個數(shù)據(jù)量TB級別的虛擬數(shù)據(jù)庫,進(jìn)而,快速將測試數(shù)據(jù)傳輸?shù)较掠蔚拈_發(fā)測試環(huán)境,無需繁瑣冗長的審核和等待,這一過程有效減少了下游開發(fā)測試場景中測試數(shù)據(jù)的準(zhǔn)備時間,通常從以天計算縮短到以小時計算,時間效率提升明顯,**縮短了開發(fā)測試時間,進(jìn)而縮短產(chǎn)品的發(fā)布周期。(5)敏感數(shù)據(jù)定義識別與仿真***,保障數(shù)據(jù)流轉(zhuǎn)環(huán)節(jié)的安全性通過智能定義敏感數(shù)據(jù)類型,自動發(fā)現(xiàn)和識別敏感數(shù)據(jù),包括數(shù)據(jù)類型、內(nèi)容、約束關(guān)系,靈活排序減少人為篩選,***精細(xì)定位敏感數(shù)據(jù)源。豐富的***算法與仿真的字典庫相結(jié)合,保證***后數(shù)據(jù)仍具有業(yè)務(wù)屬性,數(shù)據(jù)表間關(guān)系仍具有業(yè)務(wù)一致性,不影響數(shù)據(jù)挖掘分析數(shù)據(jù)價值。對涉及企業(yè)、個人信息的隱私數(shù)據(jù),包括資金財產(chǎn)、個人、企業(yè)隱私的對照關(guān)系進(jìn)行敏感數(shù)據(jù)識別,通過內(nèi)置的***規(guī)則進(jìn)行***處理,將數(shù)據(jù)敏感部分去隱私化,但并不失去數(shù)據(jù)挖掘的價值特征,減少數(shù)據(jù)隱私泄露帶來的風(fēng)險和損失,甚至降低可能發(fā)生的人身傷害和違法犯罪事件。哪個產(chǎn)品支持?jǐn)?shù)據(jù)進(jìn)行敏感處理時的抽取組合?
當(dāng)前,有效的保障數(shù)據(jù)安全的方式仍然是數(shù)據(jù)備份,即企業(yè)針對生產(chǎn)業(yè)務(wù)的數(shù)據(jù)、文件制定備份策略生成備份數(shù)據(jù),一旦業(yè)務(wù)數(shù)據(jù)發(fā)生丟失或損壞,則恢復(fù)備份數(shù)據(jù)提供業(yè)務(wù)訪問,傳統(tǒng)的數(shù)據(jù)備份方案并未提供數(shù)據(jù)的恢復(fù)驗(yàn)證手段,因此企業(yè)在發(fā)生數(shù)據(jù)丟失時,啟用備份數(shù)據(jù)恢復(fù)失敗的案例屢見不鮮,這也給各行業(yè)客戶造成了巨大的經(jīng)濟(jì)損失和不良的社會影響,為滿足法律的合規(guī)性要求,備份數(shù)據(jù)的恢復(fù)驗(yàn)證成為備份恢復(fù)解決方案的必要需求,但由于備份數(shù)據(jù)量巨大、涉及業(yè)務(wù)系統(tǒng)繁多、專業(yè)人員數(shù)量有限,定期的備份數(shù)據(jù)恢復(fù)驗(yàn)證仍然是一道難題,上訊敏捷數(shù)據(jù)備份恢復(fù)驗(yàn)證解決方案為備份數(shù)據(jù)的恢復(fù)驗(yàn)證提供了創(chuàng)新的技術(shù)手段,包括備份數(shù)據(jù)的分鐘級快速恢復(fù)、秒級可用性驗(yàn)證、按計劃周期性定時自動恢復(fù)驗(yàn)證,保障了備份數(shù)據(jù)的可恢復(fù)性與可用性。上訊ADM產(chǎn)品能解決數(shù)據(jù)備份恢復(fù)、備份數(shù)據(jù)恢復(fù)驗(yàn)證、敏感數(shù)據(jù)處理、測試數(shù)據(jù)多副本快速交付等問題嗎?明顯節(jié)約
上訊信息敏捷數(shù)據(jù)管理平臺ADM榮獲2023年網(wǎng)信自主創(chuàng)新“尖鋒榜”產(chǎn)品獎。數(shù)據(jù)變形
在典型的重復(fù)數(shù)據(jù)刪除技術(shù)中,根據(jù)不同的數(shù)據(jù)備份場景選擇適合的重刪策略與粒度方案。在確定重刪策略與粒度后,會根據(jù)輸入側(cè)不同粒度(卷級、文件級、塊級)的數(shù)據(jù)采取不同的數(shù)據(jù)切分策略,并依據(jù)任務(wù)級與全局指紋庫提供自適應(yīng)源端的全局重刪算法與策略,當(dāng)前支持源端塊級、文件級重刪和并行重刪技術(shù)。源端重刪是采用基于內(nèi)容的可變長數(shù)據(jù)切分算法,通過對數(shù)據(jù)塊進(jìn)行哈希算法的***標(biāo)記,即指紋(Fingerprint),在指紋庫中尋找相同的指紋。如果存在相同指紋,則表示已保存了相同的數(shù)據(jù)塊,ADM則不再保存此數(shù)據(jù)塊,而是引用已存在的數(shù)據(jù)塊,從而節(jié)省更多的備份空間。該算法還可以智能識別已修改的數(shù)據(jù)和未修改的數(shù)據(jù),從而避免因修改數(shù)據(jù)位移而導(dǎo)致的未修改數(shù)據(jù)切分到新數(shù)據(jù)塊中的問題,比較大限度地提升重刪性能和重刪率,為避免數(shù)據(jù)備份過程中冗余網(wǎng)絡(luò)傳輸與存儲開銷,在源端設(shè)置粗粒度前置數(shù)據(jù)校驗(yàn)可以明顯縮小備份傳輸過程中的數(shù)據(jù)冗余,目的在于不備份任意一個冗余數(shù)據(jù)。數(shù)據(jù)變形