ADM敏捷數(shù)據(jù)管理解決方案-

需求場景
需求分析
解決方案
方案優(yōu)勢

需求場景

金融業(yè)作為資金密集型行業(yè)，數(shù)據(jù)具有高敏感性和高價值性的特征，因此對數(shù)據(jù)的安全使用有著極高的要求，如何安全地使用數(shù)據(jù)、最大程度地發(fā)揮其價值，是金融業(yè)一直以來研究的課題，開發(fā)測試業(yè)務(wù)作為數(shù)據(jù)使用頻繁的典型應(yīng)用場景，受到金融用戶重點的關(guān)注，如何滿足開發(fā)測試環(huán)境對數(shù)據(jù)的申請要求、如何提升數(shù)據(jù)交付的效率、如何管理數(shù)據(jù)使用的版本等，是開發(fā)測試部門常見的工作需求，金融用戶通過滿足開發(fā)測試人員日常面臨的數(shù)據(jù)使用與管理需求，達到顯著縮短業(yè)務(wù)上線周期的目標(biāo)。

需求分析

要求縮短測試數(shù)據(jù)的交付時間項目的開發(fā)及測試是有時間周期的，由于數(shù)據(jù)量較大、數(shù)據(jù)申請較為頻繁，一般一份數(shù)據(jù)的準(zhǔn)備時間在一周左右，等待數(shù)據(jù)的時間較久，此問題不解決，將會成為開發(fā)測試提升效率的瓶頸。所以，如何提升數(shù)據(jù)副本的交付效率，是開發(fā)測試場景中首先要考慮的需求。
要求滿足不同的數(shù)據(jù)申請需求對于開發(fā)測試業(yè)務(wù)而言，數(shù)據(jù)的需求是多樣的，有的要求某個時間點的數(shù)據(jù)，有的要求當(dāng)天或前一天的數(shù)據(jù)；針對新上線的業(yè)務(wù)系統(tǒng)，還會有造數(shù)需求。針對不同數(shù)據(jù)申請需求，要求全部滿足，需要考慮多種數(shù)據(jù)獲取方式。
要求敏感數(shù)據(jù)使用前進行脫敏在使用數(shù)據(jù)的時候，既要考慮到敏感數(shù)據(jù)的安全性問題，又要考慮到工作效率問題，因此，在對數(shù)據(jù)交付使用前，需要對敏感數(shù)據(jù)做相應(yīng)的處理工作。要做到最大程度發(fā)現(xiàn)敏感信息，確保敏感數(shù)據(jù)不遺漏，還需要做到對敏感數(shù)據(jù)的仿真脫敏，以使得敏感數(shù)據(jù)脫敏后滿足校驗要求。
要求數(shù)據(jù)使用流程閉環(huán)開發(fā)測試使用的數(shù)據(jù)，多為從生產(chǎn)系統(tǒng)中獲取的數(shù)據(jù)，基于安全和效率考慮，需要將數(shù)據(jù)獲取、數(shù)據(jù)存儲、數(shù)據(jù)交付、數(shù)據(jù)管理、數(shù)據(jù)回收實現(xiàn)全流程的閉環(huán)管理。
要求對副本數(shù)據(jù)進行高可用保護交付到開發(fā)測試環(huán)境的數(shù)據(jù)，雖說是經(jīng)過處理的副本數(shù)據(jù)，但對于開發(fā)測試人員來講，該數(shù)據(jù)為測試基準(zhǔn)數(shù)據(jù)，需要考慮到副本數(shù)據(jù)的保護問題，一旦發(fā)生故障，能夠快速恢復(fù)副本數(shù)據(jù)，不影響副本數(shù)據(jù)的正常使用。

解決方案

考慮到數(shù)據(jù)的多種獲取方式及數(shù)據(jù)的閉環(huán)管理，在生產(chǎn)域、備份域和測試域分別部署一臺敏捷數(shù)據(jù)管理平臺ADM Server：生產(chǎn)域的ADM Server用于直接備份生產(chǎn)數(shù)據(jù)，以獲取實時性的副本數(shù)據(jù)；備份域的ADM Server用于從NBU/CommVault備份系統(tǒng)中獲取備份數(shù)據(jù)，以獲取任意時間點的副本數(shù)據(jù)；測試域的ADM Server用于接收生產(chǎn)域或備份域處理后的副本數(shù)據(jù)，用于測試環(huán)境的數(shù)據(jù)交付域。
生產(chǎn)域、備份域均屬于生產(chǎn)網(wǎng)絡(luò)，而測試域?qū)儆跍y試網(wǎng)絡(luò)，兩個網(wǎng)絡(luò)是獨立的，考慮到安全性與數(shù)據(jù)的傳輸效率，需要將生產(chǎn)網(wǎng)絡(luò)與測試網(wǎng)絡(luò)單向打通。
生產(chǎn)域的ADM Server可用于實時備份有頻繁交付數(shù)據(jù)需求的業(yè)務(wù)系統(tǒng)，可實現(xiàn)備份集備份、原格式備份兩種備份方式。
備份域的ADM Server可用于從NBU/CommVault備份系統(tǒng)中獲取任意時間點的備份數(shù)據(jù)，并且在獲取數(shù)據(jù)的同時，也可以幫助用戶解決備份數(shù)據(jù)恢復(fù)校驗的問題。
測試域的ADM Server可用于滿足研發(fā)/測試環(huán)境的數(shù)據(jù)交付、副本數(shù)據(jù)版本管理、副本數(shù)據(jù)版本切換、副本數(shù)據(jù)回收等需求。

方案優(yōu)勢

1.測試數(shù)據(jù)快速交付

敏捷數(shù)據(jù)管理平臺ADM采用創(chuàng)新型技術(shù)——數(shù)據(jù)庫虛擬化技術(shù)幾分鐘內(nèi)創(chuàng)建完成虛擬數(shù)據(jù)庫，快速將已經(jīng)脫敏過的數(shù)據(jù)作為黃金副本傳輸?shù)介_發(fā)測試網(wǎng)，有效減少開發(fā)測試場景中測試數(shù)據(jù)的準(zhǔn)備時間，提高了開發(fā)測試環(huán)境搭建的效率；
多份虛擬數(shù)據(jù)庫讀寫操作獨立，完全滿足測試環(huán)境多場景同步測試的需求。

2.測試數(shù)據(jù)存儲節(jié)約

ADM內(nèi)置獨有的高效壓縮存儲池，壓縮比達3:1，顯著降低了基礎(chǔ)數(shù)據(jù)源獲取的存儲成本，一份基礎(chǔ)數(shù)據(jù)源，可掛載多份虛擬數(shù)據(jù)庫，節(jié)約了存儲成本10倍以上，快照共享降低了持續(xù)增長的副本數(shù)據(jù)存儲成本。

3.測試數(shù)據(jù)動態(tài)快照版本管理

ADM快照功能，可以靈活對虛擬數(shù)據(jù)庫的狀態(tài)進行管理和維護，便于開發(fā)測試的數(shù)據(jù)版本迭代。動態(tài)快照的使用保證了虛擬數(shù)據(jù)庫持續(xù)對外提供服務(wù)，不影響測試業(yè)務(wù)的連續(xù)性。

4.測試數(shù)據(jù)集中統(tǒng)一管理

測試數(shù)據(jù)具有數(shù)據(jù)副本多、數(shù)據(jù)版本多的特性，人為管理容易形成較多的僵尸數(shù)據(jù)，造成存儲資源的浪費，通過ADM管理測試數(shù)據(jù)，可以形成閉環(huán)流程，集中統(tǒng)一管理測試數(shù)據(jù)的交付與版本管理，提升數(shù)據(jù)管理效率的同時，杜絕了僵尸數(shù)據(jù)的產(chǎn)生。

5.測試數(shù)據(jù)系統(tǒng)可視化管理

測試環(huán)境的數(shù)據(jù)，版本繁多，傳統(tǒng)人為創(chuàng)建副本保存的測試數(shù)據(jù)，很難形成有效的數(shù)據(jù)血統(tǒng)管理，通過ADM的部署，利用可視化的結(jié)構(gòu)拓撲圖，可以清晰展現(xiàn)數(shù)據(jù)版本間的血統(tǒng)關(guān)系，對數(shù)據(jù)的使用一目了然。

6.數(shù)據(jù)脫敏保證金融數(shù)據(jù)安全

ADM平臺具備數(shù)據(jù)脫敏管理模塊，可實現(xiàn)自動掃描識別敏感數(shù)據(jù)，精準(zhǔn)定位敏感數(shù)據(jù)源，提供豐富的仿真脫敏算法，保證脫敏后的數(shù)據(jù)關(guān)系一致，異構(gòu)和并發(fā)脫敏提升了數(shù)據(jù)脫敏的效率，降低了數(shù)據(jù)泄露的風(fēng)險。 ADM的數(shù)據(jù)副本管理與數(shù)據(jù)脫敏管理可以實現(xiàn)良好的聯(lián)動，不僅能夠快速準(zhǔn)備脫敏數(shù)據(jù)源，還能實現(xiàn)脫敏數(shù)據(jù)的快速分發(fā)。