近日,中國(guó)電子學(xué)會(huì)在北京隆重召開(kāi)科技攻關(guān)項(xiàng)目成果鑒定會(huì)。鑒定委員會(huì)一致認(rèn)為:天翼云大規(guī)模分布式大數(shù)據(jù)計(jì)算平臺(tái)研發(fā)項(xiàng)目涉及的大數(shù)據(jù)存儲(chǔ)、計(jì)算、調(diào)度等一系列關(guān)鍵技術(shù),復(fù)雜度高、研制難度大、創(chuàng)新性強(qiáng),總體技術(shù)達(dá)到國(guó)際先進(jìn)水平,其中分布式存儲(chǔ)元數(shù)據(jù)兩層視圖管理等關(guān)鍵技術(shù)指標(biāo)達(dá)到國(guó)際領(lǐng)先水平。
此次成果是天翼云大數(shù)據(jù)與彈性存儲(chǔ)兩大產(chǎn)品線聯(lián)合攻克大數(shù)據(jù)底層一系列關(guān)鍵技術(shù)難題的結(jié)晶。目前,這些技術(shù)創(chuàng)新成果不僅有效支撐了全國(guó)多個(gè)省份電信公司的IT及業(yè)務(wù)上云工作,還在數(shù)據(jù)要素、政務(wù)大數(shù)據(jù)平臺(tái)、城市大腦等行業(yè)領(lǐng)域?qū)崿F(xiàn)了廣泛應(yīng)用,為行業(yè)的數(shù)字化轉(zhuǎn)型注入了新的動(dòng)力。
在計(jì)算引擎核心方面,通過(guò)將Spark runtime層替換成Native runtime層,提供了高效的內(nèi)存管理、數(shù)據(jù)交換處理能力;將算子改成native實(shí)現(xiàn),并利用SIMD技術(shù)加速核心算子處理能力;深度完善基于規(guī)則和代價(jià)優(yōu)化的機(jī)制,提升引擎的處理效率。相比開(kāi)源Spark新版本性能提升1.2倍以上。
在調(diào)度引擎核心方面,設(shè)計(jì)分區(qū)同步共享狀態(tài)的分布式調(diào)度架構(gòu)替代傳統(tǒng)的單調(diào)度器、集群聯(lián)邦方式,更好地解決了集群規(guī)模可擴(kuò)展性、調(diào)度效率、調(diào)度質(zhì)量、公平性和優(yōu)先級(jí)、資源利用率等多方面的矛盾,性能及規(guī)模較開(kāi)源相比分別提升了3倍和1.5倍,實(shí)現(xiàn)了國(guó)內(nèi)領(lǐng)先的調(diào)度速度和單集群1.5萬(wàn)臺(tái)的規(guī)模。多調(diào)度器共享整個(gè)集群狀態(tài),保證任務(wù)調(diào)度結(jié)果的全局最優(yōu)性;通過(guò)資源分區(qū)方式,多調(diào)度器對(duì)不同的資源分區(qū)并行調(diào)度,提升了可支持的集群規(guī)模及調(diào)度系統(tǒng)的吞吐量;采用資源分區(qū)輪詢(xún)方式,避免出現(xiàn)調(diào)度結(jié)果與資源分區(qū)的緊耦合,實(shí)現(xiàn)最優(yōu)的任務(wù)調(diào)度;同時(shí),基于單體調(diào)度器增加了多調(diào)度器協(xié)調(diào)工作能力,保障了調(diào)度結(jié)果的唯一性,避免出現(xiàn)資源沖突導(dǎo)致的調(diào)度失敗。
在存儲(chǔ)引擎核心方面,天翼云團(tuán)隊(duì)結(jié)合高性能存儲(chǔ)技術(shù),不僅解決了海量文件管理的難題,還大幅提升了數(shù)據(jù)可靠性及性能。依托采用全自研L-RDMA協(xié)議,計(jì)算節(jié)點(diǎn)與存儲(chǔ)節(jié)點(diǎn)RDMA全互聯(lián),實(shí)現(xiàn)了“高性能、低成本”的軟硬協(xié)同的統(tǒng)一大數(shù)據(jù)存儲(chǔ)底座。在達(dá)到100萬(wàn)IOPS時(shí),時(shí)延依然保持在亞毫秒級(jí),單并發(fā)寫(xiě)時(shí)延達(dá)到70us。這一創(chuàng)新成果不僅提升了存儲(chǔ)效率,還為大數(shù)據(jù)處理提供了更穩(wěn)定、更可靠的支持。
此次項(xiàng)目獲得中國(guó)電子學(xué)會(huì)科技成果鑒定會(huì)的認(rèn)可,不僅彰顯了天翼云在大數(shù)據(jù)領(lǐng)域的卓越技術(shù)實(shí)力和創(chuàng)新精神,也為行業(yè)發(fā)展樹(shù)立了新的標(biāo)桿。未來(lái),天翼云將繼續(xù)堅(jiān)持科技創(chuàng)新,不斷推動(dòng)大數(shù)據(jù)和云計(jì)算技術(shù)發(fā)展,為千行百業(yè)數(shù)字化轉(zhuǎn)型貢獻(xiàn)更多新質(zhì)生產(chǎn)力,為數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展注智賦能。
相關(guān)稿件