信息化時(shí)代,“數(shù)據(jù)”的應(yīng)用較為頻繁,海量數(shù)據(jù)的組成中,備份數(shù)據(jù)占有很大比例,而這些備份數(shù)據(jù)在沒(méi)有發(fā)生故障時(shí)往往是被擱置不用的,被稱為“暗數(shù)據(jù)”。而對(duì)業(yè)務(wù)數(shù)據(jù)的分析、統(tǒng)計(jì)、運(yùn)維等操作都會(huì)直接作用在業(yè)務(wù)服務(wù)器,如此將會(huì)對(duì)業(yè)務(wù)性能產(chǎn)生影響,不利于業(yè)務(wù)系統(tǒng)的高效使用。如何做到解放業(yè)務(wù)系統(tǒng),使其專注于業(yè)務(wù)處理上,也是IT管理者需要考慮的另一個(gè)現(xiàn)實(shí)問(wèn)題。備份需要從業(yè)務(wù)系統(tǒng)中獲取數(shù)據(jù),統(tǒng)計(jì)、分析需要從業(yè)務(wù)系統(tǒng)中獲取數(shù)據(jù),研發(fā)、測(cè)試需要從業(yè)務(wù)系統(tǒng)中獲取數(shù)據(jù)。這些數(shù)據(jù)從業(yè)務(wù)系統(tǒng)中拷貝出來(lái)后,如果得不到有效的管控,將會(huì)給企業(yè)帶來(lái)安全隱患,這也是用戶需要考慮解決的又一現(xiàn)實(shí)問(wèn)題。上訊信息敏捷數(shù)據(jù)管理平臺(tái)ADM產(chǎn)品的數(shù)據(jù)備份模塊通過(guò)創(chuàng)建虛擬副本實(shí)現(xiàn)了本機(jī)、異機(jī)的即時(shí)掛載恢復(fù)。驗(yàn)證策略
上訊敏捷數(shù)據(jù)管理平臺(tái)(ADM)支持重復(fù)數(shù)據(jù)刪除技術(shù),在典型的重復(fù)數(shù)據(jù)刪除技術(shù)中,根據(jù)不同的數(shù)據(jù)備份場(chǎng)景選擇適合的重刪策略與粒度方案。在確定重刪策略與粒度后,會(huì)根據(jù)輸入側(cè)不同粒度(卷級(jí)、文件級(jí)、塊級(jí))的數(shù)據(jù)采取不同的數(shù)據(jù)切分策略,并依據(jù)任務(wù)級(jí)與全局指紋庫(kù)提供自適應(yīng)源端的全局重刪算法與策略,當(dāng)前支持源端塊級(jí)、文件級(jí)重刪和并行重刪技術(shù)。源端重刪是采用基于內(nèi)容的可變長(zhǎng)數(shù)據(jù)切分算法,通過(guò)對(duì)數(shù)據(jù)塊進(jìn)行哈希算法的標(biāo)記,即指紋(Fingerprint),在指紋庫(kù)中尋找相同的指紋。如果存在相同指紋,則表示已保存了相同的數(shù)據(jù)塊,ADM則不再保存此數(shù)據(jù)塊,而是引用已存在的數(shù)據(jù)塊,從而節(jié)省更多的備份空間。該算法還可以智能識(shí)別已修改的數(shù)據(jù)和未修改的數(shù)據(jù),從而避免因修改數(shù)據(jù)位移而導(dǎo)致的未修改數(shù)據(jù)切分到新數(shù)據(jù)塊中的問(wèn)題,較大限度地提升重刪性能和重刪率,為避免數(shù)據(jù)備份過(guò)程中冗余網(wǎng)絡(luò)傳輸與存儲(chǔ)開(kāi)銷,在源端設(shè)置粗粒度前置數(shù)據(jù)校驗(yàn)可以明顯縮小備份傳輸過(guò)程中的數(shù)據(jù)冗余,目的在于不備份任意一個(gè)冗余數(shù)據(jù)。開(kāi)發(fā)利用過(guò)程中上訊信息敏捷數(shù)據(jù)管理平臺(tái)ADM產(chǎn)品支持全域重刪技術(shù),從而減少需要備份的數(shù)據(jù)量、縮短備份窗口。
上訊敏捷數(shù)據(jù)管理平臺(tái)ADM對(duì)接用戶現(xiàn)有集中式備份系統(tǒng)服務(wù)器,實(shí)現(xiàn)恢復(fù)服務(wù)器、數(shù)據(jù)恢復(fù)策略、數(shù)據(jù)驗(yàn)證策略和存儲(chǔ)資源的集中管理,包括:(1)存儲(chǔ)池自動(dòng)準(zhǔn)備存儲(chǔ)空間、自動(dòng)調(diào)度創(chuàng)建恢復(fù)服務(wù)器;(2)按照參數(shù)設(shè)置恢復(fù)策略、自動(dòng)執(zhí)行恢復(fù)計(jì)劃、自動(dòng)驗(yàn)證恢復(fù)數(shù)據(jù);(3)恢復(fù)驗(yàn)證任務(wù)結(jié)束后,自動(dòng)清理恢復(fù)環(huán)境,釋放存儲(chǔ)資源和恢復(fù)服務(wù)器資源,用于下一個(gè)恢復(fù)驗(yàn)證任務(wù)的使用,使整個(gè)數(shù)據(jù)備份恢復(fù)驗(yàn)證工作能夠高效節(jié)能地循環(huán)利用,達(dá)到集中統(tǒng)一的安全管理。
上訊敏捷數(shù)據(jù)管理平臺(tái)(ADM)支持并行重刪技術(shù),通過(guò)在多個(gè)不同的節(jié)點(diǎn)上構(gòu)建指紋庫(kù),并將指紋并行分布于多個(gè)節(jié)點(diǎn),采用內(nèi)存級(jí)指紋庫(kù)進(jìn)行重刪,所有指紋讀寫(xiě)全部保存于內(nèi)存中,從而提升指紋查詢和處理效率,并且減少了因磁盤中指紋庫(kù)增大所導(dǎo)致的隨機(jī)IO壓力。以此識(shí)別并消除數(shù)據(jù)備份過(guò)程中數(shù)據(jù)源中重復(fù)的數(shù)據(jù),該技術(shù)適用于不同平臺(tái)中的文件、數(shù)據(jù)庫(kù)、虛擬機(jī)等不同應(yīng)用類型的數(shù)據(jù),可以大幅度減少需要傳輸?shù)臄?shù)據(jù)量,從而極大地節(jié)省數(shù)據(jù)傳輸帶寬,解決單點(diǎn)性能和存儲(chǔ)空間壓力。上訊敏捷數(shù)據(jù)管理平臺(tái)ADM產(chǎn)品支持仿真的敏感數(shù)據(jù)處理。
通過(guò)敏捷數(shù)據(jù)管理平臺(tái)ADM產(chǎn)品的部署實(shí)施,采用數(shù)據(jù)庫(kù)虛擬化技術(shù),快速將數(shù)據(jù)交付到開(kāi)發(fā)、測(cè)試網(wǎng),有效減少開(kāi)發(fā)、測(cè)試場(chǎng)景中測(cè)試數(shù)據(jù)的準(zhǔn)備時(shí)間,提高了開(kāi)發(fā)、測(cè)試環(huán)境搭建的效率。ADM內(nèi)置獨(dú)有的高效壓縮存儲(chǔ)池,平均壓縮比3:1,存儲(chǔ)即壓縮,降低了基礎(chǔ)數(shù)據(jù)源獲取的存儲(chǔ)成本,只需一份基礎(chǔ)數(shù)據(jù)源,即可快速拉起多份虛擬數(shù)據(jù)庫(kù),節(jié)約了存儲(chǔ)成本10倍以上。ADM通過(guò)虛擬數(shù)據(jù)庫(kù)快照功能,可以靈活地對(duì)虛擬數(shù)據(jù)庫(kù)的狀態(tài)進(jìn)行管理和維護(hù)。使用人員可以隨時(shí)保存當(dāng)前的數(shù)據(jù)庫(kù)使用狀態(tài),用于開(kāi)發(fā)、測(cè)試的數(shù)據(jù)版本迭代。副本數(shù)據(jù)管理CDM產(chǎn)品與數(shù)據(jù)備份產(chǎn)品的區(qū)別?模糊化
敏捷數(shù)據(jù)管理平臺(tái)虛擬數(shù)據(jù)秒級(jí)分發(fā),提升了環(huán)境準(zhǔn)備效率,數(shù)據(jù)交付時(shí)間整體節(jié)約100倍以上。驗(yàn)證策略
近年來(lái),證券業(yè)務(wù)快速發(fā)展,信息系統(tǒng)變更日益頻繁,敏捷開(kāi)發(fā)、快速迭代已經(jīng)成為支持業(yè)務(wù)創(chuàng)新的必要條件。數(shù)據(jù)庫(kù)作為信息系統(tǒng)運(yùn)行的重要支撐,數(shù)據(jù)準(zhǔn)備和交付的自動(dòng)化程度對(duì)系統(tǒng)開(kāi)發(fā)、測(cè)試效率有大的影響。Gartner對(duì)CDM的定義是,它從生產(chǎn)環(huán)境通過(guò)快照技術(shù)獲取有應(yīng)用一致性保證的數(shù)據(jù),在非生產(chǎn)存儲(chǔ)上生成“黃金副本”(GoldenImage),這個(gè)“黃金副本”數(shù)據(jù)格式是原始的磁盤格式,可再虛擬化成多個(gè)副本直接掛載給服務(wù)器,分別用于備份恢復(fù)、容災(zāi)或開(kāi)發(fā)測(cè)試等.驗(yàn)證策略