8月2日,百度智能云方面表示,千帆大模型平臺已完成新一輪升級,重點升級了三大功能。
百度智能云AI與大數(shù)據(jù)平臺總經(jīng)理忻舟表示,目前,千帆大模型平臺已經(jīng)全面接入LLaMA2全系列、ChatGLM2、RWKV、MPT等33個大模型,成為國內擁有大模型最多的平臺。接入的模型經(jīng)過千帆平臺二次性能增強,模型推理成本可降低50%。同時,千帆平臺上線了國內最全的預置Prompt模板,模板數(shù)量多達103個,覆蓋對話、游戲、編程、寫作十余個場景。第三,千帆是國內首家提供插件服務的大模型平臺,本次升級再次發(fā)布多款全新插件。
2023年3月,百度智能云推出“千帆大模型平臺”,它是全球首個一站式的企業(yè)級大模型平臺,不但提供包括文心一言在內的大模型服務及第三方大模型服務,還提供大模型開發(fā)和應用的整套工具鏈,能夠幫助企業(yè)解決大模型從訓練到開發(fā)過程中的所有問題。
忻舟表示,本次千帆大模型平臺升級的目的是給企業(yè)、開發(fā)者提供更加靈活、多樣化、高效的大模型服務,客戶可選擇最適合自身業(yè)務的大模型,再利用千帆平臺全套工具鏈進行模型再訓練,高效率、低成本地打造企業(yè)專屬大模型。此外,海量Prompt模板庫可提高大模型內容準確性和滿意度。
千帆接入LLaMA2等33個優(yōu)質模型,推理成本可降低50%
當前,開源大模型生態(tài)發(fā)展迅速,大量優(yōu)質模型涌現(xiàn),在不同任務場景、參數(shù)量級與算力環(huán)境下體現(xiàn)出了差異化優(yōu)勢。如何選擇適合的大模型、如何應用大模型能力提升市場競爭力,成為越來越多企業(yè)迫切探索的方向。
為了滿足企業(yè)對大模型多樣的需求,百度智能云宣布,除了之前已經(jīng)接入的文心一言、BloomZ之外,本次升級后,千帆大模型平臺全面接入LLaMA2全系列、ChatGLM2、RWKV、MPT、Dolly、OpenLLaMA、Falcon等33個大模型,成為國內擁有大模型最多的平臺。企業(yè)用戶可將不同大模型搭配使用,以滿足不同細分場景的業(yè)務需求。企業(yè)和開發(fā)者可以登陸千帆大模型平臺操作臺,在“模型倉庫”中直接調用、部署。
忻舟介紹,千帆平臺接入的大模型均經(jīng)過嚴格優(yōu)選,主要考核三大指標:模型效果、模型安全性、可商用。為給企業(yè)客戶帶來更好的模型產(chǎn)品,千帆對這33個大模型進行了性能+安全的雙重增強。
一方面,千帆對每一個大模型進行了二次性能增強。通過優(yōu)化模型吞吐、降低模型尺寸,實現(xiàn)模型推理速度的大幅提升。據(jù)測算,調優(yōu)后模型體積可壓縮至25%-50%,推理成本可降低50%。這意味著,企業(yè)在千帆上調用這些模型可極大地節(jié)約成本,提升效果。
另一方面,千帆對第三方大模型做了二次安全增強,更好管控模型輸出的安全性??蛻粼谇Х险{用第三方模型,也享有平臺的安全保障。
值得一提的是,為方便開發(fā)者和企業(yè)做模型調優(yōu),千帆還提供多種低門檻調優(yōu)工具,包括SFT(全量參數(shù)微調、PromptTuning、LoRA)及強化學習(獎勵模型學習、強化學習訓練)等,同一模型還可通過多種方式持續(xù)調優(yōu)。
上線國內最全Prompt海量模板庫,大幅優(yōu)化模型輸出效果
Prompt是指通過自然語言向大模型提出問題,問題的好壞將直接影響大模型的內容輸出質量。實際應用時,大模型往往因為Prompt缺乏針對性、描述不清晰等原因影響到內容準確性。
為幫助客戶提高Prompt提問質量、提升模型輸出滿意度,本輪升級后,百度智能云千帆大模型平臺上線了海量預置Prompt模板庫,模板數(shù)量多達103個,包含對話、編程、電商、醫(yī)療、游戲、翻譯、演講等十余個場景。用戶可以根據(jù)需求選擇合適的模板,直接輸出給大模型,即可提高模型內容的針對性和準確度。
忻舟在活動現(xiàn)場演示了不同Prompt給文心一言提問,會得到不同的效果。
原始Prompt:“《長安三萬里》好看嗎?”,文心一言會輸出一個比較簡單的結果。
使用Prompt模板+原始Prompt:“我希望你充當一個電影評論家。你將編寫一篇引人入勝和有創(chuàng)意的影評。你可以涵蓋諸如情節(jié)、主題和基調、演技和角色、方向、配樂、電影攝影、制作設計、特效、剪輯、節(jié)奏、對話等主題。但最重要的方面是強調電影給你的感覺。什么是真正引起你的共鳴。你也可以對電影進行批評。請避免劇透。電影名稱是《長安三萬里》“。因Prompt更詳細具體,文心一言回復了更符合預期的答案。
忻舟表示,很多企業(yè)使用大模型時,認為效果不好是模型本身的問題,其實很多時候重新編寫Prompt就能達到預想的效果。海量Prompt模板的推出,大幅降低了Prompt撰寫難度。很多情況下,企業(yè)無需花費大量資源調優(yōu)大模型,基于模板優(yōu)化Prompt,即可得到滿意的模型效果。
國內首家提供插件服務的大模型平臺,千帆插件功能再上新
插件是大模型能力的延伸,可以讓大模型的認知能力與外部信息、資源融合打通,極大擴展大模型的功能邊界。據(jù)了解,今年6月,千帆平臺就上線了插件功能,是國內首家提供插件服務的大模型平臺。
為實現(xiàn)客戶更加個性化的需求,千帆大模型平臺又發(fā)布了一系列優(yōu)質插件功能。例如,剛剛上線的“Chatfile插件”,用戶可在大模型對話中一鍵上傳PDF/Doc格式文檔,大模型即可基于文檔內容實現(xiàn)知識點檢索,長文本摘要等功能。
值得一提的是,千帆的插件功能已率先應用于百度內部的辦公場景中,基于大模型技術打造的如流“超級助手”接入了會議室插件、內部搜索插件等20個插件。百度員工用自然語言與“超級助手”對話,即可實現(xiàn)文檔搜索、會議室預定、飯卡充值、休假申請等功能,大大提升員工辦公效率。
忻舟表示,大量客戶調研顯示,企業(yè)對插件功能的需求非常迫切,千帆第一時間上線該功能,是希望為客戶提供更加個性化的服務,提升千帆平臺的用戶體驗和滿意度。
“未來,千帆平臺將發(fā)布更多優(yōu)質的插件功能,讓客戶能夠更好地應用大模型。同時,我們歡迎所有開發(fā)者基于千帆平臺共同打造豐富的插件功能,提升大模型的能力。“忻舟說。
相關稿件