隨著元宇宙概念的興起,如何不斷優(yōu)化數(shù)字人模擬真人情感和行為細(xì)節(jié)成為行業(yè)重點(diǎn)研究課題。近日,由馬上消費(fèi)金融股份有限公司(下稱“馬上消費(fèi)”)主辦的2022屆“天馬杯”全國高??萍紕?chuàng)新大賽中的2D數(shù)字人驅(qū)動(dòng)、3D數(shù)字人驅(qū)動(dòng)兩大賽道將為提升元宇宙情感體驗(yàn)提供了更多可能。
據(jù)悉,2D數(shù)字人驅(qū)動(dòng)賽道的賽題為“語音驅(qū)動(dòng)數(shù)字人口型生成”,為了讓數(shù)字人可能基于對文本語音的理解,有更真實(shí)的表情和口型表現(xiàn)力;3D數(shù)字人驅(qū)動(dòng)賽道聚焦“視頻驅(qū)動(dòng)人臉生成”,為了通過視覺面部捕捉技術(shù)實(shí)時(shí)驅(qū)動(dòng)數(shù)字人的面部,讓數(shù)字人能真實(shí)還原真人表情,旨在通過賽題研究逐步探索讓數(shù)字人表情更加豐富、細(xì)膩,口型與表達(dá)內(nèi)容更加吻合的新路徑。
針對兩大賽題,馬上消費(fèi)將分別提供真人錄制的音畫同步短視頻、真人錄制的人臉短視頻,以及相對應(yīng)的參數(shù)供大賽參賽隊(duì)伍使用,然后再將參賽結(jié)果與原始視頻進(jìn)行對比,差距越小得分可能就越高,進(jìn)入決賽的可能性也就越大。
自元宇宙概念大熱后,隨之而來的是潮水般涌現(xiàn)的各種數(shù)字人,從時(shí)尚娛樂到文化商業(yè),數(shù)字人全面開花,依托差異化特質(zhì)在各類細(xì)分賽道中大顯身手。如以靜態(tài)渲染圖片為主的時(shí)尚類數(shù)字人AYAYI,虛擬偶像初音未來、絆愛等歌舞類數(shù)字人等。而元宇宙世界對表情和口型提出了更高的要求,十分需要虛擬人“動(dòng)起來”。
“天馬杯”大賽設(shè)置兩大賽道均聚焦視覺捕捉技術(shù),是以新興的計(jì)算機(jī)視覺技術(shù)為底層技術(shù),較光學(xué)捕捉、慣性捕捉而言更簡單易用、成本更低,加之PBR渲染技術(shù)還可以支撐虛擬人實(shí)時(shí)互動(dòng)。作為人機(jī)交互的重要組成部分,表情和口型驅(qū)動(dòng)已廣泛用于游戲、電影、人機(jī)對話、虛擬主播;而面部、手勢、肢體動(dòng)作的視覺捕捉則可以大大降低普通人驅(qū)動(dòng)數(shù)字人的門檻。
一直以來,馬上消費(fèi)持續(xù)探索科技前沿,在推動(dòng)數(shù)字人產(chǎn)業(yè)發(fā)展方面具有先發(fā)優(yōu)勢。依托技術(shù)、人才、場景等優(yōu)勢,馬上消費(fèi)打造了數(shù)字人創(chuàng)作平臺(tái),通過輸入文本就可以快速自動(dòng)生成十分逼真的數(shù)字人說話視頻;研發(fā)了實(shí)時(shí)交互數(shù)字人平臺(tái),具有形象配置、數(shù)字人動(dòng)作、表情及話術(shù)配置、真人驅(qū)動(dòng)等功能,帶給用戶更暖心的服務(wù)體驗(yàn)。
無論是從國家政策還是前沿技術(shù)發(fā)展趨勢來看,元宇宙和數(shù)字人賽道將成為眾多機(jī)構(gòu)必爭之地,前景廣闊。這一重要時(shí)刻你也將有機(jī)會(huì)見證,還在等什么,趕緊加入“天馬杯”大賽吧。