在一期工程的基礎上,以應用分析系統建設和完善數據倉庫管理為目標的二期多維數據存儲系統(DDS)建設又在2004年正式啟動,并于2005年12月順利完成。在該階段工作中,Teradata數據倉庫實現了應用系統的建設、元數據管理、數據倉庫管理、結構化數據和非結構化數據的集成、信息增值服務的提供、以及數據倉庫門戶和數據權限管理等新功能,幫助上證所實現了完善的企業單一視圖、先進的元數據管理應用、完整的數據倉庫管理體系以及有特色的結構化數據和非結構化數據綜合應用。
數據倉庫二期項目是上證所通過建立技術平臺推動產品創新的重要舉措之一。上證所希望通過數據倉庫及數據挖掘平臺的建設,極大地提升交易所的信息化水平,有效地提高決策支持水平、市場監管水平和服務水平,促進證券市場產品創新,并更好地服務于證券信息產品的所有相關環節。通過數據倉庫二期項目的實施,上證所更好地共享了信息資源并提高了運營效率,同時還為信息增值服務和其他創新服務提供了綜合性的計算、驗證和實驗平臺。
建設災備系統 保障市場穩定
在經過前兩期的建設和使用后,上證所數據倉庫系統在技術先進性和應用功能方面已達到世界一流,并已經成為服務證券市場必要的信息共享平臺。但考慮到任何災害造成數據倉庫系統停止對內對外的服務,將對證券市場產生重大的影響,上證所于2007年7月啟動了三期項目:國內首例企業數據倉庫主從雙系統(生產系統和災備系統)的建設,以保障持續的數據分析和信息服務,從而確保證券市場的穩定發展。
對此,上證所與Teradata合作實施了新的方案,即優化現有數據平臺體系架構,通過差異化存儲,充分利用現有的設備,保護舊系統的投資;存放一致的、冗余的明細數據和匯總數據,無論發生何種故障,系統都保障持續的數據分析和信息服務。整個數據倉庫主從雙系統在一年內建設完成。在容量上,主系統容量為26TB,從系統為27TB。在處理性能上,主系統比原先的平臺快57%,從系統比原來快49%。這不僅體現了SSE先進的理念,同時也充分展示了Teradata強大的專業知識與技術能力。蔣建人指出:“三期項目建成后,上證所數據倉庫系統性能、運行水平得到很大提升,單一系統發生故障,全所12個部門250位用戶仍可通過災備系統訪問多達700多個應用,同時也能夠保證對外的數據文件輸出服務。”
“通過數據倉庫三期項目的實施,上證所的數據倉庫上了一個新的臺階,實現了整合、擴容、差異化存儲、同城災備系統建設四個目標同時達成,”白碩表示,“我們采用雙加載技術手段和數據檢查機制,解決了主從數據倉庫系統的數據一致性難題。在整個項目的實施過程中,兩套數據倉庫系統的幾次主從切換均在30分鐘內完成,源代碼、數據內容、數據輸出結果等也未產生任何變動與誤差,這充分說明系統的升級快速、精準、高效,而且能邊升級邊支持全所業務的正常運作。因此這個項目的建設經驗確實值得全球的類似企業在建立數據倉庫災備系統時借鑒。”
充分利用數據全面提供支持
上證所的日常監管分為兩部分,一方面是通過專門的監察系統實時傳遞的數據結合數據倉庫儲存的歷史數據進行對比分析,當場查處違規的異常交易;另一方面,則是通過數據倉庫為司法檢查機關的立案和稽查工作真實再現當時交易狀況的第一手歷史數據。2007年的杭蕭鋼構內幕交易案就是一個借助數據倉庫分析成功破案的典型例子。
而在產品創新方面,據白碩介紹,“比如融資融券,究竟什么條件的證券可以成為擔保品?這就需要使用數據倉庫進行數據篩選,幫助業務人員把滿足一定條件、可以用作擔保品的優質證券算出來。”基于系統存儲的歷史數據,數據倉庫可以幫助業務人員去測算某個新產品一旦推出,風險和收益各會在什么地方。實際上,上證所在推出EPS和權證等產品時,都曾通過數據倉庫平臺進行過測算和驗證。2006年,上證所成立了金融創新實驗室,實驗室的數據正是來源數據倉庫系統。
在信息批露、投資者教育等信息服務方面,數據倉庫的作用更是顯著。上證所通過數據倉庫進行數據分析,可以深入了解投資者結構,比如什么年齡段的人有什么樣的交易行為,什么收入狀況的人又會有什么樣的交易行為等等。這樣,上證所就可以有針對性地開展投資者教育,對他們進行疏導、教育和監管等等。
無論在上證所日常運營、市場監管、產品創新還是信息服務方面,數據倉庫都起到了非常明顯的支持和促進的作用。有了數據倉庫的支持,上證所對監管和市場需求的響應周期加快已成為常態。一般來說,這些查詢或需求數據倉庫可以在幾個小時或一天之內就能處理完畢。
Teradata大中華區總裁楊順生指出:“上海證券交易所的數據倉庫系統無論從系統規模還是從數據量上看,都在證券行業和亞太地區中首屈一指。該數據倉庫項目在先進產品的集成性、技術整合的復雜性、應用功能的完整性以及業務涵蓋的全面性等方面,都堪稱是業界的最佳實踐案例。”
據白碩透露,為了向世界一流交易所的目標不斷前進,上證所的數據倉庫將向實時型數據倉庫推進;谏献C所EAI消息總線的建成,結合實時數據倉庫技術,實現行情、交易、成交等實據的實時加載,以期更加緊密地跟蹤市場的變化、提高服務效率和效能、加強市場監管力度,更好地服務市場和監管市場。
未來,在數據倉庫平臺強有力的支撐下,上證所將會繼續領跑國內證券市場,提供面向投資者教育的信息服務,進一步加強數據倉庫與業務系統間的雙向數據交互,進一步將數據倉庫系統向實時動態方向提升,實現實時商業智能,滿足監管部門、全所業務人員和市場參與者的數據分析需求,并加快自身成為世界頂尖數據服務證交所的前進步伐。