互聯(lián)網(wǎng)IDC圈4月28日報道，互聯(lián)網(wǎng)的發(fā)展使得大數(shù)據(jù)引起人們廣泛關(guān)注。現(xiàn)如今大數(shù)據(jù)技術(shù)早已滲透到金融、通訊等行業(yè)以及生物學、物理學等領(lǐng)域。大數(shù)據(jù)在容量、多樣性和高增速方面的爆炸式增長全面考驗著現(xiàn)代企業(yè)的數(shù)據(jù)處理和分析能力，與此同時也為各個行業(yè)帶來了準確洞察市場行為的機會。迄今為止大數(shù)據(jù)技術(shù)與產(chǎn)品有哪些創(chuàng)新，工業(yè)大數(shù)據(jù)應(yīng)用面臨哪些挑戰(zhàn)，金融行業(yè)大數(shù)據(jù)應(yīng)用現(xiàn)狀如何等。圍繞這一系列問題，4月27日至28日，由工業(yè)和信息化部指導、中國信息通信研究院主辦的"2016大數(shù)據(jù)產(chǎn)業(yè)峰會"在北京國際會議中心盛大召開。28日上午大數(shù)據(jù)推動金融創(chuàng)新分論壇中國信息通信研究院技術(shù)標準研究所移動與大數(shù)據(jù)部副主任魏凱做了主題演講。

創(chuàng)新互聯(lián)是專業(yè)的前進網(wǎng)站建設(shè)公司，前進接單;提供成都網(wǎng)站建設(shè)、成都網(wǎng)站制作,網(wǎng)頁設(shè)計,網(wǎng)站設(shè)計,建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進行前進網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團隊,希望更多企業(yè)前來合作!

 

中國信息通信研究院技術(shù)標準研究所移動與大數(shù)據(jù)部副主任魏凱

以下是魏凱演講實錄：

魏凱：非常感謝李司的介紹和各位嘉賓，在眾多金融IT領(lǐng)導和專家面前講金融大數(shù)據(jù)，我覺得我膽子夠大的。我介紹一下我們數(shù)據(jù)中心聯(lián)盟做的事情，和大家交流一下，不管多么粗淺請大家批評，我們認真學習和改進。

我是中國信息通信研究院的魏凱，同時也是數(shù)據(jù)中心聯(lián)盟大數(shù)據(jù)作組的組長，我們一直在做跨界對接的事情，數(shù)據(jù)中心聯(lián)盟是擁有170多家會員的行業(yè)組織，會員是由IT公司組成，我們成立了金融委員會，我們希望把兩個行業(yè)通過這個平臺對接起來，我們一直在做這樣的努力和嘗試。但是因為隔行如隔山，我們學習的時間很短，所以了解不是很深入。

我的題目是我們在金融大數(shù)據(jù)平臺測試方面的認識和工作及下一步的計劃，首先講一下大背景。剛才幾位銀行老總和化老師、李總都講過了，大數(shù)據(jù)的發(fā)展非常迅猛，大家期望值很高。實際上拐點還沒有來到，現(xiàn)在還處于轉(zhuǎn)換的過程中，大家的期望非常高。我們看到國際上也是這樣的情況，Wikibon公司，去年發(fā)布了對于全球很多地方很多機構(gòu)的用戶大數(shù)據(jù)發(fā)展過程中的情況調(diào)查，他的文章標題是實際上大數(shù)據(jù)分析是非常難的，這是他最根本的觀點。有幾個分析我覺得很有意思，調(diào)研幾百家機構(gòu)，這些公司都認為未來兩到三年、三到五年的時間周期內(nèi)，大數(shù)據(jù)投資上每花1美元能掙3.5美元，這是未來的預(yù)期。同時他們得到了2014年做調(diào)查時候的數(shù)據(jù)，在大數(shù)據(jù)上花1塊錢能掙5毛5，理想很豐滿，現(xiàn)實非常骨感，這是真實的情況。

現(xiàn)在的情況是目前還是改善型，把原來的工作交給了大數(shù)據(jù)平臺，業(yè)務(wù)類型平移的事情比較多，影像存儲、報表升級等改善性的需求居多。創(chuàng)新性的由業(yè)務(wù)人員驅(qū)動的時代還沒到來，這個時代到來就是拐點出現(xiàn)的時候，金融機構(gòu)愿意砸錢的時候，廠商躺著數(shù)錢的時候就到了。現(xiàn)在的情況是還處于改善型居多的應(yīng)用場景中。我們?nèi)ツ陮鴥?nèi)很多客戶做了一個調(diào)查，61%的人認為提升效率降低成本是現(xiàn)在大數(shù)據(jù)最明顯的應(yīng)用，不是去拓展新的業(yè)務(wù)領(lǐng)域和創(chuàng)新性的業(yè)務(wù)模式，這是現(xiàn)在的情況。

金融行業(yè)做大數(shù)據(jù)有個演進的路線，有兩個維度，一個維度是我們需要更多的數(shù)據(jù)，把內(nèi)部數(shù)據(jù)做整合，把原來的數(shù)據(jù)煙筒打通，把不同的數(shù)據(jù)匯聚起來把內(nèi)部數(shù)據(jù)用好，內(nèi)部會匯聚內(nèi)部數(shù)據(jù)和內(nèi)部數(shù)據(jù)，做多源數(shù)據(jù)的分析才能產(chǎn)生更深的化學反應(yīng)，產(chǎn)生新的業(yè)務(wù)，這是數(shù)據(jù)這個維度的趨勢和路線。工具層面，我們要有更低成本更高效率的技術(shù)平臺、技術(shù)工具，要有更好的分析技術(shù)，這是大家公認的幾層，要呈現(xiàn)報表、統(tǒng)計分析、查詢，這都是呈現(xiàn)的能力，是最基本的能力，知道現(xiàn)在發(fā)生了什么，最高的是決策預(yù)測未來發(fā)生什么，目前未來發(fā)生什么我們還不能很好地決策，兩個維度去演進，會有很多中間的形態(tài)去發(fā)展，這是大概的路徑。

現(xiàn)在平移居多，大家用技術(shù)手段來改善原來的信息系統(tǒng)的能力，降低成本。正在發(fā)生的事情就是大數(shù)據(jù)平臺正在為數(shù)據(jù)倉庫減壓，這是很明顯的，有調(diào)研數(shù)據(jù)，也是Wikibon的調(diào)研。他問了一個問題，你們公司有多少負載正在從傳統(tǒng)數(shù)倉往大數(shù)據(jù)平臺上遷移，61%的人都說確實是這樣，剛才建行工行的老總都印證了這個觀點，傳統(tǒng)數(shù)倉的減壓的工作正在發(fā)生，這是一個非常明顯的變化。但是減壓減到什么上面，是開源平臺。開源平臺的問題是很多兼容性、穩(wěn)定性、安全性能不能滿足金融行業(yè)的需求，這是一個非常大的問題，開源很多設(shè)計不是面向這樣的需求，包括災(zāi)備等問題在開源社區(qū)沒有想到這些問題。從開源到商用產(chǎn)品到能夠支撐生產(chǎn)系統(tǒng)運營的軟件還有很大的距離，我們聯(lián)盟要架起一個橋梁讓供給側(cè)和需求側(cè)對接起來，我們一直在做這個工作，我們想各種辦法來促進這個事情的發(fā)生。供給側(cè)，我們跟聯(lián)盟的很多成員核心的企業(yè)，一起來制定標準和指標，跟需求側(cè)對接，跟銀行電信金融工業(yè)交通這些行業(yè)對接，輸出一些技術(shù)白皮書和規(guī)范，希望能夠把這兩個需求彌合起來。

現(xiàn)在實際的情況是我們?nèi)ツ暌荒觋P(guān)注第一輪的標準和評測，我們關(guān)注性能，組織第一輪面向企業(yè)級大數(shù)據(jù)產(chǎn)品的評測活動，這些廠商都是巨頭，中國移動、華為等公司參與了這個評測活動，是第一次大規(guī)模集群的商業(yè)產(chǎn)品的評測，比工行那個系統(tǒng)的規(guī)模還大，工行130多個節(jié)點，這個是200個節(jié)點的測試，數(shù)據(jù)量非常大。這是去年我們做的第一件事情，面向商用產(chǎn)品的性能專項的測試，這是當時測試的規(guī)模。我們有兩種類型的測試，這個數(shù)據(jù)量是面向16臺的規(guī)模，200多臺的規(guī)模是線性增長的放大。這是去年的測試結(jié)果，我們對典型負載做了一個測試，通過這個測試的五家產(chǎn)品的均值、吞吐率、單節(jié)點平均的效率問題，這是去年做的測試。去年做完以后大家的反響挺強烈，大家需要某種程度上能規(guī)范產(chǎn)品開發(fā)POC測試的標準，大家很認可這種做法，但是也提出了很多改進的意見。大家不僅關(guān)心性能還關(guān)心更多的能力，包括運維管理能力、可用性、功能、金融性、安全、多租戶、可宣傳，希望把這些能規(guī)范出來。去年12月到今年年初1月份的時候形成了一個指標體系，7大類指標，38個詳細的指標。1月份到3月份我們組織了一輪認真的公開公正自愿參加的評測活動，昨天上午第一輪的基礎(chǔ)能力、全面維度的大數(shù)據(jù)產(chǎn)品評測的認證結(jié)果剛果發(fā)布，6家做系統(tǒng)的廠商的產(chǎn)品通過了嚴格的測試，拿到了證書。東方金信、明略、博易智軟、華三、星環(huán)信息、騰訊云，昨天360宣布要晉劇大數(shù)據(jù)企業(yè)級的平臺市場，要作為軟件提供商出現(xiàn)。明略本來是做秒針做C端生意，也在往B端轉(zhuǎn)，這是一個很好的現(xiàn)象，做供應(yīng)側(cè)平臺能力的廠商越來越多。

這是我們測試的認證結(jié)果。運維能力，我們有必須滿足的這些指標，只有必須滿足的指標通過了才能拿到認證。我們還有可選的指標，比如希望這個集群是無宕機的升級，我們在多租戶方面、安全性方面都有很嚴格的要求。多租戶是需求時很熱的能力。實踐方式差異很大，有的低于隊列有的機遇docker。安全安全的方案非常多，我們把這些信息都呈現(xiàn)出來。可用性，兼容性，可擴展性，擴展性包括集群能不能自動動態(tài)的擴容，能不能動態(tài)地收縮，這都是需要的。吞吐量是波峰波谷差異很大的，閑置的話會把機器給openstack用，這就閑置出來了。我們做了數(shù)據(jù)導入、SQL任務(wù)能力等常見的能力。我們希望能夠通過跟需求端不斷的交流來完善我們這套體系，這是一個規(guī)劃，打五角星的是我們現(xiàn)在做的，只是對基礎(chǔ)平臺做了一個評測，完成了功能性的基礎(chǔ)能力的任務(wù)，五月份會啟動性能專項的測試，有的廠商會超過500臺的規(guī)模。數(shù)據(jù)治理的這套軟件可能會沉淀成一套產(chǎn)品，我們跟隨市場節(jié)奏一步步去做。

為了完善這套評測體系，為了更了解客戶的需求，我們現(xiàn)在在李司的指導下，人民銀行信息化研究所和中國信通院聯(lián)合正在進行面向銀行業(yè)大數(shù)據(jù)應(yīng)用的調(diào)查，希望通過一些問卷的形式跟客戶直接面對面，我們把兩邊的專家都叫到一塊通過問卷的方式收集大家對未來路線的規(guī)劃、技術(shù)架構(gòu)的演進和產(chǎn)品指標的需求，總的目標是通過不斷的迭代讓需求側(cè)和供給側(cè)信息不對稱降到最低，讓產(chǎn)業(yè)發(fā)展的成本降到最低，大家各方的利益大化，共同促進不管是銀行業(yè)系統(tǒng)的部署、業(yè)務(wù)的開發(fā)還是國內(nèi)大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展。習總書記在網(wǎng)信辦的座談會上講我們現(xiàn)在處于變道超車的時代，軌道在切換，從集中到分布，從原來的小機到X86，國內(nèi)的技術(shù)供給側(cè)從來沒有一天能像現(xiàn)在這么接近世界水平，雖然我們還有距離，但是已經(jīng)無限接近了，如果能夠抓住這個機會把這兩端聯(lián)合在一起，未來可能不會再提國產(chǎn)化的悲哀，這是我們最重要的一個目標。

我的演講到此結(jié)束，謝謝！

當前文章：中國信通院魏凱：面向金融需求的大數(shù)據(jù)平臺測試
文章URL：http://www.xueling.net.cn/article/sopoij.html