国产一级性片,欧美极品在线,天天夜干,一级黄免费

中國企業(yè)報集團主管主辦

中國企業(yè)信息交流平臺

微博 微信

計算效率提升超60倍!杉數(shù)科技用GPU芯片開啟運籌學(xué)新的“大航海時代”

2024-01-05 11:34 來源:中國企業(yè)網(wǎng) 次閱讀
 
計算效率提升超60倍!杉數(shù)科技用GPU芯片開啟運籌學(xué)新的“大航海時代”

  據(jù)斯坦福大學(xué)報告顯示,自2003年以來,GPU性能提高了約7000倍,單位性能價格也提高了5600倍。GPU已經(jīng)是推動 AI 技術(shù)進步的關(guān)鍵動力。

H100 GPU(圖片來源:NVIDIA官網(wǎng))

  數(shù)周之前,芝加哥大學(xué)商學(xué)院的魯海昊教授發(fā)現(xiàn),原本傳統(tǒng)依賴英特爾/AMD CPU(中央處理器)芯片進行計算的數(shù)學(xué)規(guī)劃求解器(Solver,下稱“求解器”),如今卻可以突破技術(shù)瓶頸。
  具體來說,魯海昊教授團隊通過實驗發(fā)現(xiàn),求解器能夠通過英偉達GPU(圖形處理器)和CUDA庫函數(shù),設(shè)計高效的數(shù)學(xué)規(guī)劃算法cuPDLP來求解超大規(guī)模問題,并體現(xiàn)出了計算優(yōu)越性,其研發(fā)的cuPDLP軟件(Julia版本)也驗證了這一點。而該研究成果日前發(fā)表在arxiv上。
  此后,魯海昊團隊與斯坦福大學(xué)博士、杉數(shù)科技首席科學(xué)家葛冬冬教授團隊進行了緊密合作:在最頂級的計算設(shè)施,英偉達GPU H100多顯卡集群上,團隊對自己研發(fā)的cuPDLP-C求解軟件(C語言版本)進行了實驗,驗證GPU能否實現(xiàn)線性規(guī)劃問題求解的“彎道超車”。
  鈦媒體App獲悉,2023年12月8日,杉數(shù)科技團隊在中國運籌學(xué)會算法軟件與應(yīng)用分會成立大會上,報告了他們在英偉達H100 GPU顯卡上,成功驗證了cuPDLP-C求解超大規(guī)模線性規(guī)劃問題(LP problem)的顯著優(yōu)勢。在多個經(jīng)典測試集上,對于大規(guī)模問題,算法體現(xiàn)出了不亞于傳統(tǒng)商業(yè)求解器的表現(xiàn),并且在多個大問題上有明顯求解優(yōu)勢。
  例如,從求解效率來看,領(lǐng)域內(nèi)著名的測試問題zib03,相比四年前用CPU求解的16.5個小時(用英特爾至強E7-8880 v4),如今在英偉達H100下,cuPDLP-C求解計算時間直接縮短至916秒,時間縮短了64倍。
  相較于2009年的CPLEX,計算時間從139天到現(xiàn)在的15分鐘,這完全顛覆了數(shù)學(xué)規(guī)劃算法設(shè)計“只有CPU能做”的傳統(tǒng)認知,“降維打擊式”地提升了求解計算效率。同時,由于目前cuPDLP-C已經(jīng)在GitHub上開源,因此整個成果也將讓更多人受益。
  葛冬冬對鈦媒體App表示,“這件事意義重大,它將在未來3-5年對整個運籌學(xué)從科研到產(chǎn)業(yè)都會產(chǎn)生巨大改變。某種程度上,我認為它將開啟一個運籌學(xué)科新的‘大航海時代’?!?br />  “有四點對領(lǐng)域的可能沖擊吧。首先,這套算法思想推廣之后,不僅用在線性系統(tǒng)上,而且對整個連續(xù)優(yōu)化領(lǐng)域都會產(chǎn)生影響,進而深刻影響整數(shù)規(guī)劃計算領(lǐng)域,這對應(yīng)求解器應(yīng)用場景中80%的問題;第二,GPU相關(guān)的一階算法設(shè)計和執(zhí)行相對簡單,這將使得求解器社區(qū)部分模型對應(yīng)的算法開源化;而專業(yè)求解器以后可能跟目前許多toB的AI公司相似,在專業(yè)求解和基于GPU的函數(shù)定制服務(wù)方面都可以發(fā)力,帶來新的商業(yè)機會。第三,求解器會變得更加重視硬件,將需要大量適配的專用高精度計算顯卡,以及需要高效的庫函數(shù)實現(xiàn)。國內(nèi)很多 AI 芯片也可以應(yīng)用,形成一個軟硬一體化的生態(tài);求解器以后的服務(wù)也更可能呈現(xiàn)一個軟硬一體化綁定的服務(wù)能力。第四,有鑒于求解能力限制,整個運籌學(xué)研究的核心之一其實就是如何將大問題分解,分步驟,或者降維求解,而隨著GPU求解算法的“暴力”求解大問題能力劇增,可以預(yù)期運籌學(xué)領(lǐng)域,也包括相關(guān)的多個商科和工科領(lǐng)域的科研范式和產(chǎn)業(yè)形態(tài)也將隨之極大改變,甚至重塑?!备鸲嬖V鈦媒體App。
  很顯然,通過GPU顯卡的算力加持,對已經(jīng)發(fā)展70余年、古老且嚴謹?shù)倪\籌學(xué)科將會帶來革命性的沖擊。
  計算時間縮短超過64倍,GPU芯片將加速求解更多復(fù)雜問題
  運籌學(xué)是近代應(yīng)用數(shù)學(xué)的一個分支,主要是研究如何將生產(chǎn)、管理等事件中出現(xiàn)的優(yōu)化問題加以提煉,然后利用數(shù)學(xué)方法進行解決的學(xué)科。
  美國物理學(xué)家,曾任加州大學(xué)柏克萊分校教授的Charles Kittel早在1947年首次提到“Operations Research”一詞,中國則在1957年由中國工程院院士許國志、清華大學(xué)基礎(chǔ)科部教授周華章正式定名為“運籌學(xué)”,并于1980年成立中國運籌學(xué)會(ORSC)。運籌學(xué)在全球發(fā)展至今已超過70年。
  其中,數(shù)學(xué)規(guī)劃是將現(xiàn)實問題轉(zhuǎn)化為數(shù)學(xué)模型并求解的過程。數(shù)學(xué)規(guī)劃求解器作為這一過程的核心軟件,專門針對多種線性、整數(shù)和非線性規(guī)劃模型進行算法優(yōu)化。它可以被視為一個“黑盒子”系統(tǒng),業(yè)界亦稱之為算法領(lǐng)域的“芯片”。
  求解器的重要意義在于,它能解決生活中非常復(fù)雜的應(yīng)用數(shù)學(xué)問題。例如,2018年平昌冬奧會的閉幕式上,中國接棒八分鐘展示里出現(xiàn)的無人倉機器人引起全球關(guān)注。但如何計算這些機器人的運行路線,為了確保這些機器人運行高效且避免碰撞,需要依賴最優(yōu)算法,而背后依靠的就是求解器。
  在此之前,求解器的核心計算硬件大部分依賴于CPU(中央處理器)芯片,主要原因是CPU的通用能力可以更廣泛應(yīng)用于眾多計算系統(tǒng)和 算法實現(xiàn),而且英特爾、AMD相關(guān)軟件框架都非常齊全,特別是復(fù)雜高精度的各種矩陣運算,大大降低求解規(guī)劃成本,并提高計算效能。
  葛冬冬指出,芯片這類硬件是求解器底層的核心設(shè)施。
  長期以來,GPU采用與CPU不同的底層架構(gòu),計算核心數(shù)量、軟件和性能處理方案與CPU的底層邏輯差異極大。而國內(nèi)外科研人員希望能夠通過GPU或是其他類型芯片可實現(xiàn)線性規(guī)劃的加速計算,但多次實驗結(jié)果顯示,GPU一直無法高效求解算法中的“矩陣求逆”或者“矩陣分解“問題,無論是計算精度(物理原因)還是并行計算,它都無法做到。
  “未能突破的原因是,求解器的核心底層只要是這種連續(xù)優(yōu)化問題,不管是線性還是非線性,傳統(tǒng)算法中都躲不開如何高效求解‘矩陣分解’這一步。這個問題解決不了,GPU幾千個計算單元并行加速的優(yōu)勢就無法體現(xiàn)?!备鸲瑢︹伱襟wApp表示,“矩陣分解”主要對應(yīng)線性方程組求解,是計算最關(guān)鍵一步。一旦矩陣規(guī)模過大或者結(jié)構(gòu)復(fù)雜,這個步驟往往會造成內(nèi)存溢出或者求解時間極長,成為求解桎梏。

杉數(shù)科技首席科學(xué)家葛冬冬教授

  早在2016年,葛冬冬聯(lián)合幾位當年在斯坦福的博士同學(xué),共同成立了杉數(shù)科技,研制了第一個國產(chǎn)專業(yè)求解器,避免受制于人。如今,作為智能決策技術(shù)服務(wù)公司,杉數(shù)科技以其自研大規(guī)模商用求解器COPT為核心引擎,打造了“計算引擎+決策技術(shù)中臺+業(yè)務(wù)場景”的端到端智能決策技術(shù)平臺,為消費零售、交通物流、能源電網(wǎng)、制造與供應(yīng)鏈等多個行業(yè)提供數(shù)字化供應(yīng)鏈解決方案,利用運籌優(yōu)化和機器學(xué)習(xí)找出更優(yōu)的決策方案,全面提升產(chǎn)業(yè)鏈和供應(yīng)鏈運營效率和效果。
  葛冬冬此前向鈦媒體App透露,利用COPT數(shù)學(xué)優(yōu)化求解器這種優(yōu)化決策,可以使生產(chǎn)排程訂單滿足率提高20%,產(chǎn)能損失率降低30%,排產(chǎn)排程人工干預(yù)降低70%,非計劃維修降低15%。同時,杉數(shù)科技COPT數(shù)學(xué)優(yōu)化求解器一直在全球求解器榜單中名列前茅。
  而此前葛冬冬團隊研發(fā)的COPT求解器系列,主要是利用CPU芯片進行計算處理的。
  “事實上,過去十幾年,這個領(lǐng)域內(nèi),包括我們,國內(nèi)外學(xué)術(shù)界無數(shù)人,都在前赴后繼地努力,試圖回答這個問題:GPU/CUDA架構(gòu)能否對數(shù)學(xué)規(guī)劃求解器起到彎道超車的作用。此前的答案一直為‘否’?!备鸲硎尽?br />  然而,2023年11月初,葛冬冬的合作伙伴,魯海昊教授在arXiv上發(fā)表了一篇論文,他們公開的cuPDLP代碼,通過GPU硬件成功解決了線性規(guī)劃求解計算問題,可用在這段Julia代碼中求解線性規(guī)劃。
  葛冬冬說:“魯老師突破這一長期瓶頸的技術(shù)方案,是他們觀察到以前的CPU/GPU混合架構(gòu)求解中,CPU/GPU之間的交互往往占用了絕大部分耗時,因此他們在此前他們與谷歌合作建立的PDLP求解器基礎(chǔ)上(此求解器可以很好解決GPU計算精度無法達到10^-8精度要求的限制),將整套算法搬到了GPU/CUDA架構(gòu)下實現(xiàn)。捅破了最后一層窗戶紙!
  此后,魯教授與葛冬冬教授領(lǐng)導(dǎo)的杉數(shù)COPT團隊緊密合作,提出開源技術(shù)方案cuPDLP-C,即用一階方法在GPU上解決線性規(guī)劃問題,也是Julia版本cuPDLP.jl的C語言加強版,算法上也做了進一步的改善和提高。
  與此同時,通過在目前最強的顯卡H100上的實驗發(fā)現(xiàn),在運籌學(xué)最經(jīng)典的測試集MIPLIB2017的383個線性松弛測試問題求解中,以10^-4 精度要求,cuPDLP-C已經(jīng)可以求解到379個問題,而以嚴格收斂的標準10^-8 精度要求,cuPDLP-C也可以求解到369個問題。總體求解時間與目前最好的商業(yè)求解器的差距也拉近到了2倍(10^-4精度)和6倍(10^-8)精度之內(nèi)。在測試集那些大問題中的差距明顯更小,在10^-4精度下甚至體現(xiàn)出了計算優(yōu)勢。此外,葛冬冬團隊還在多個更大規(guī)模問題上進行了廣泛測試,cuPDLP-C的優(yōu)勢明顯,例如zib03問題加速了64倍,而多個更大規(guī)模的測試問題,如在谷歌的Pagerank、某國內(nèi)大企業(yè)供應(yīng)鏈項目問題、經(jīng)典的二次分配問題(QAP)等問題的測試上,傳統(tǒng)求解器都無法求解,而cuPDLP-C可以做到可行時間內(nèi)求解。

  很顯然,對于超大數(shù)學(xué)規(guī)劃問題,在性能、計算速度、求解數(shù)量等方面,GPU都能比CPU都展現(xiàn)出了更好的前景。
  杉數(shù)科技資深副總裁,技術(shù)負責(zé)人皇甫博士對鈦媒體App表示,利用GPU硬件,現(xiàn)在cuPDLP-C可以讓之前難以解決的大規(guī)模優(yōu)化問題變得易于解決,推動了模型建立的精確度和規(guī)模。以前因CPU限制而采用的非常精密復(fù)雜的一些求解技巧可能不再需要。此外,一旦GPU提速上百倍,cuPDLP-C求解優(yōu)勢可能拓展到其他連續(xù)優(yōu)化領(lǐng)域,極大加速求解過程,讓原本耗時的問題快速得到解決,從而打開新的應(yīng)用可能性。
  葛冬冬告訴鈦媒體App,“這很恐怖。對于運籌學(xué)來說,這一技術(shù)意外打破了一個長期以來的定論,即GPU在求解數(shù)學(xué)規(guī)劃問題上沒什么加速效果。這一發(fā)現(xiàn)會讓整個學(xué)術(shù)和工業(yè)界感到驚訝,因為之前從未有人預(yù)料到這種情況?!?br />  他強調(diào),cuPDLP-C技術(shù)推翻了運籌學(xué)科長期以來的一些共識和定式,超出人們預(yù)期,利用GPU提高了求解器的性能潛力,可能使運籌學(xué)實現(xiàn)從CPU到GPU計算帶來的“范式轉(zhuǎn)變”。
  目前,cuPDLP-C技術(shù)代碼已經(jīng)開源,相關(guān)論文也已經(jīng)公開發(fā)表在arXiv上。
  20年性能提高約7000倍,GPU成本過高是否將制約行業(yè)發(fā)展?
  過去一年,以ChatGPT為代表的生成式 AI 技術(shù)風(fēng)靡全球。而作為以95%的市場占有率壟斷了全球 Al 訓(xùn)練芯片的英偉達,成為了這輪 AI 混戰(zhàn)的最大贏家,其研發(fā)的A100/A800、H100/H800等多款 AI 芯片成為 AI 熱潮中的“爆品”。
  正如英偉達自己所說:“GPU 已經(jīng)成為人工智能的稀有金屬,甚至是黃金,因為它們是當今生成式 AI 時代的基礎(chǔ)?!?br />  從技術(shù)角度來說,GPU優(yōu)于CPU,特別是在并行計算能力、能耗效率和CUDA生態(tài)等方面,它的高算力和可擴展性使英偉達GPU成為AI加速芯片市場的首選。
  根據(jù)斯坦福大學(xué)最近發(fā)布的一項報告顯示,自2003年以來,GPU性能提高了約7000倍,單位性能價格也提高了5600倍。該報告還指出,GPU是推動 AI 技術(shù)進步的關(guān)鍵動力。
  英偉達首席科學(xué)家Bill Dally也曾表示,NVIDIA GPU在過去十年中將 AI 推理性能提高了1000倍。
  從運籌學(xué)角度來看,將CPU替換為GPU,計算能力、計算效率大幅提升。但問題在于,國內(nèi)可以買到的H100/H800、A100/A800的價格都已經(jīng)超過20萬/張,再加上存儲、NVLink互連、運維成本等,相比CPU,基于GPU的求解成本將進一步攀高。
  那么,求解計算的基礎(chǔ)設(shè)施成本,是否會成為未來求解器乃至運籌學(xué)發(fā)展的重要制約因素?
  葛冬冬對鈦媒體App表示,目前只是基于GPU架構(gòu)的優(yōu)化算法的“拓荒期”。目前,他們已經(jīng)與多家國產(chǎn) GPU芯片廠商開展了廣泛的測試合作,希望能夠利用國產(chǎn)算力推動中國求解器行業(yè)發(fā)展。確實有部份國產(chǎn)GPU芯片已經(jīng)具備了跑通算法的能力,但是也確實,還需要在芯片速度和庫函數(shù)完備程度上做進一步建設(shè)。
  而且,他認為,杉數(shù)也已經(jīng)積極與商業(yè)伙伴開始積極探索這一技術(shù)的落地與應(yīng)用前景。目前已經(jīng)開始在電力系統(tǒng)的出清調(diào)度問題這一大規(guī)模復(fù)雜系統(tǒng)問題上,與南網(wǎng)總調(diào)合作,探尋運用GPU架構(gòu)的優(yōu)化求解算法來加速求解計算的研究。
  談及開源與商業(yè)化的話題,葛冬冬認為,把cuPDLP-C開源可以推動行業(yè)進一步發(fā)展,對于商業(yè)化求解器來說肯定會有一定沖擊,但GPU求解大規(guī)模問題的新思路也帶來了巨大的機會,目前來看,杉數(shù)科技在核心技術(shù)、商業(yè)化等層面還有非常領(lǐng)先的市場競爭優(yōu)勢。
  “新的大門已經(jīng)推開。過去20年,大家一直在嘗試推開,但門被‘鎖’死了?,F(xiàn)在等于是發(fā)現(xiàn)‘鎖’能打碎,門是能推開的。這就意味著運籌學(xué)算法又進入了一個新的‘大航海時代’,一個堪比‘西部掘金熱’的時代。我們已經(jīng)走出(開源)這一步。我們對自己的技術(shù)有信心,過去七年,從無到有,再到國際領(lǐng)先,杉數(shù)一直都在科研、技術(shù)和實踐應(yīng)用上,是國內(nèi)求解器市場的領(lǐng)航者。在這個經(jīng)我們的手打開的新時代,我相信,我們是不會落后的。”葛冬冬表示。

點贊()
上一條:新一代輕客全球首發(fā)!為什么說圖雅諾大V“大有可為”?2024-01-05
下一條:專訪沈陽市府恒隆廣場副總經(jīng)理黃震華:堅持締造優(yōu)享生活空間2024-01-05

相關(guān)稿件

AI模擬芯片能效達傳統(tǒng)芯片14倍 2023-08-24
京東科技蔣凡:數(shù)智技術(shù)是構(gòu)建城市消費“新基建”的關(guān)鍵 2022-07-15
助推數(shù)字化變革,智云健康以數(shù)智能力提升行業(yè)效率 2023-12-15
巨灣技研開啟全球超充時代,寧德時代加入超充陣營 2023-09-01
開啟數(shù)字化時代的新征程——優(yōu)領(lǐng)思的魅力 2023-11-16
國務(wù)院國有資產(chǎn)管理委員會 中國企業(yè)聯(lián)合會 中國企業(yè)報 中國社會經(jīng)濟網(wǎng) 中國國際電子商務(wù)網(wǎng) 新浪財經(jīng) 鳳凰財經(jīng) 中國報告基地 企業(yè)社會責(zé)任中國網(wǎng) 杭州網(wǎng) 中國產(chǎn)經(jīng)新聞網(wǎng) 環(huán)球企業(yè)家 華北新聞網(wǎng) 和諧中國網(wǎng) 天機網(wǎng) 中貿(mào)網(wǎng) 湖南經(jīng)濟新聞網(wǎng) 翼牛網(wǎng) 東莞二手房 中國經(jīng)濟網(wǎng) 中國企業(yè)網(wǎng)黃金展位頻道 硅谷網(wǎng) 東方經(jīng)濟網(wǎng) 華訊財經(jīng) 網(wǎng)站目錄 全景網(wǎng) 中南網(wǎng) 美通社 大佳網(wǎng) 火爆網(wǎng) 跨考研招網(wǎng) 當代金融家雜志 借貸撮合網(wǎng) 大公財經(jīng) 誠搜網(wǎng) 中國鋼鐵現(xiàn)貨網(wǎng) 證券之星 融易在線 2014世界杯 中華魂網(wǎng) 納稅人俱樂部 慧業(yè)網(wǎng) 商界網(wǎng) 品牌家 中國國資報道 金融界 中國農(nóng)業(yè)新聞網(wǎng) 中國招商聯(lián)盟 和訊股票 經(jīng)濟網(wǎng) 中國數(shù)據(jù)分析行業(yè)網(wǎng) 中國報道網(wǎng) 九州新聞網(wǎng) 投資界 北京科技創(chuàng)新企業(yè)誠信聯(lián)盟網(wǎng) 中國白銀網(wǎng) 炣燃科技 中企媒資網(wǎng) 中國石油化工集團 中國保利集團公司 東風(fēng)汽車公司 中國化工集團公司 中國電信集團公司 華為技術(shù)有限公司 廈門銀鷺食品有限公司 中國恒天集團有限公司 濱州東方地毯集團有限公司 大唐電信科技股份有限公司 中國誠通控股集團有限公司 喜來健醫(yī)療器械有限公司 中國能源建設(shè)股份有限公司 內(nèi)蒙古伊利實業(yè)集團股份有限公司 中國移動通信集團公司 中國化工集團公司 貴州茅臺酒股份有限公司