科學(xué)大數(shù)據(jù)智能分析軟件參考方案

筆者所在團(tuán)隊(duì)近年來(lái)完成了多個(gè)科學(xué)、行業(yè)領(lǐng)域的大數(shù)據(jù)系統(tǒng)研發(fā)，目前正在承擔(dān)中國(guó)科學(xué)院戰(zhàn)略性先導(dǎo)科技專(zhuān)項(xiàng)“地球大數(shù)據(jù)科學(xué)工程”的地球大數(shù)據(jù)挖掘分析系統(tǒng)（Big Earth Data Miner）研發(fā)任務(wù)。通過(guò)對(duì)多個(gè)領(lǐng)域科學(xué)家團(tuán)隊(duì)的大數(shù)據(jù)分析需求進(jìn)行調(diào)研，結(jié)合現(xiàn)狀及趨勢(shì)分析，筆者提出下一代科學(xué)大數(shù)據(jù)智能分析軟件的參考方案（圖1）。

該軟件系統(tǒng)基于云平臺(tái)部署，采用通用大數(shù)據(jù)系統(tǒng)和機(jī)器學(xué)習(xí)系統(tǒng)作為底層計(jì)算支撐；在此基礎(chǔ)上，提供滿(mǎn)足領(lǐng)域特性需求的科學(xué)大數(shù)據(jù)分布式計(jì)算處理引擎和機(jī)器學(xué)習(xí)引擎，支持科學(xué)大數(shù)據(jù)分析處理的特殊過(guò)程。同時(shí)，挖掘分析任務(wù)具有數(shù)據(jù)密集型與資源密集型相結(jié)合的特征，也存在即時(shí)分析、在線(xiàn)分析以及離線(xiàn)分析等差異明顯的服務(wù)響應(yīng)需求，因此需要探索提供高效的資源管理和任務(wù)調(diào)度機(jī)制，以滿(mǎn)足大規(guī)模并發(fā)用戶(hù)的差異化支撐需求。

數(shù)據(jù)資源庫(kù)提供公共數(shù)據(jù)資源和個(gè)人數(shù)據(jù)資源管理，支持用戶(hù)在數(shù)據(jù)資源庫(kù)方便快捷地查找、導(dǎo)入個(gè)人數(shù)據(jù)資源，并進(jìn)行數(shù)據(jù)共享。算法與模型庫(kù)提供通用算法及模型、領(lǐng)域算法及模型管理，支持算法和模型的二次開(kāi)發(fā)、共享與性能優(yōu)化。其中，針對(duì)基于大數(shù)據(jù)訓(xùn)練得到的模型，可探索采用遷移學(xué)習(xí)等技術(shù)實(shí)現(xiàn)跨領(lǐng)域共享。

智能分析環(huán)境提供多種智能分析模式。其中，工作流模式主要面向領(lǐng)域內(nèi)相對(duì)固化的分析場(chǎng)景；代碼開(kāi)發(fā)模式主要面向具有研發(fā)能力和靈活分析需求的科學(xué)家團(tuán)隊(duì)；可視交互式分析模式主要面向依賴(lài)可視化觀(guān)察分析的應(yīng)用場(chǎng)景。未來(lái)還可以擴(kuò)展到虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)等更多的分析模式。

該軟件系統(tǒng)通過(guò)瀏覽器提供在線(xiàn)的挖掘分析服務(wù)，用戶(hù)通過(guò)注冊(cè)賬戶(hù)就可開(kāi)展一站式的分析工作，在此過(guò)程中云服務(wù)需要確保科學(xué)家數(shù)據(jù)安全和用戶(hù)分析工作的隔離。此外，需要探索利用微服務(wù)架構(gòu)，實(shí)現(xiàn)面向不同科學(xué)領(lǐng)域需求的領(lǐng)域化定制。

科學(xué)技術(shù)是第一生產(chǎn)力，而科學(xué)大數(shù)據(jù)的智能分析軟件則是科學(xué)研究的重要支撐工具。國(guó)內(nèi)科學(xué)家團(tuán)隊(duì)在很多細(xì)分領(lǐng)域都取得了世界矚目的成果，但是并沒(méi)有發(fā)布具有世界影響力的開(kāi)放的智能分析軟件。因此，迫切需要國(guó)內(nèi)科學(xué)家團(tuán)隊(duì)與信息技術(shù)研究團(tuán)隊(duì)聯(lián)合起來(lái)，瞄準(zhǔn)交叉領(lǐng)域的科學(xué)探索與知識(shí)發(fā)現(xiàn)，充分考慮不同領(lǐng)域科學(xué)家團(tuán)隊(duì)的大數(shù)據(jù)分析需求，設(shè)計(jì)研發(fā)出更適用于科學(xué)大數(shù)據(jù)的智能分析軟件系統(tǒng)，為人類(lèi)科技進(jìn)步貢獻(xiàn)力量。（作者：鐘華 劉杰 王偉 中國(guó)科學(xué)院軟件研究所北京。《中國(guó)科學(xué)院院刊》供稿）