揭秘“挑戰(zhàn)杯”數(shù)字人的“前世今生”
發(fā)布日期:2023-03-22 供稿:《中國科學(xué)報(bào)》 攝影:校園網(wǎng)
編輯:吳楠 審核:藺偉 閱讀次數(shù):【編者按】3月19日,第十三屆“挑戰(zhàn)杯”中國大學(xué)生創(chuàng)業(yè)計(jì)劃競賽圓滿收官,北京理工大學(xué)以7金1銀金獎(jiǎng)總數(shù)第一、總分第一的優(yōu)異成績捧得最高榮譽(yù)“挑戰(zhàn)杯”!作為本次大賽的承辦方,北理工充分發(fā)揮科技優(yōu)勢,創(chuàng)新數(shù)字辦賽,打造了001號(hào)數(shù)字參賽者“靈”,受到了社會(huì)廣泛關(guān)注,《中國科學(xué)報(bào)》等多家媒體報(bào)道了數(shù)字人誕生背后的故事。
《數(shù)字少年》MV中,“靈”(左)迎接參賽選手。
“主持人好!大家好!我是本屆‘挑戰(zhàn)杯’的001號(hào)參賽選手,我叫‘靈’。”一個(gè)扎著高馬尾辮,穿著白襯衫、灰裙的“女孩”,在藍(lán)色大屏幕中向全國觀眾打招呼。
3月17日是“靈”正式“上崗”的第一天。此前,她出現(xiàn)在第十三屆“挑戰(zhàn)杯”中國大學(xué)生創(chuàng)業(yè)計(jì)劃競賽(以下簡稱“挑戰(zhàn)杯”)主題曲《數(shù)字少年》當(dāng)中。作為“挑戰(zhàn)杯”數(shù)字化參賽的引導(dǎo)者,她站在石灰色的大門前,輕擺著右臂,接引著“挑戰(zhàn)杯”參賽選手入場,身后晨光熹微。
3月17日至19日,第十三屆“挑戰(zhàn)杯”中國大學(xué)生創(chuàng)業(yè)計(jì)劃競賽在北京理工大學(xué)舉行。與往屆比賽不同,這屆“挑戰(zhàn)杯”大賽是元宇宙在中國高校第一次大規(guī)模運(yùn)用,“靈”也是“挑戰(zhàn)杯”辦賽史上第一位數(shù)字人。隔著屏幕,不少大學(xué)生驚呼“太酷了!”
“靈”是怎么誕生的?帶著這份好奇,讓我們一起走進(jìn)光電學(xué)院教授翁冬冬的實(shí)驗(yàn)室。
能換裝、換發(fā)型的數(shù)字人
采集數(shù)字人表情的“大球”
走進(jìn)一個(gè)光線幽暗的實(shí)驗(yàn)室,一旁的攝像頭星羅棋布包裹成一個(gè)“大球”,仿佛來到了一個(gè)星際空間。這里就是數(shù)字人的誕生地。
“大球”里共有80個(gè)三角面,42個(gè)頂點(diǎn)和120條邊,邊的中點(diǎn)和頂點(diǎn)上安裝光源,實(shí)際光源數(shù)量為156個(gè)。球形燈光舞臺(tái)圍繞其中心均勻排布36臺(tái)佳能850D相機(jī),用來采集各個(gè)視角下的人臉圖像、極限表情和人臉材質(zhì)。
演員坐在球的正中央,在快門頻繁開合、后臺(tái)算法的運(yùn)算下,最終制作團(tuán)隊(duì)重建高精度人臉三維模型、高精度多通道人臉材質(zhì)。在“大球”中,生成的數(shù)字人有數(shù)字明星李星瀾、手語主持人千言等。
與以往的數(shù)字人誕生有所不同,此次團(tuán)隊(duì)開發(fā)的“靈”,完全由數(shù)字生成,并沒有真人原型。她由800多根骨骼協(xié)同控制其面部表情,同時(shí)由82個(gè)材質(zhì)參數(shù)的變化進(jìn)行面部材質(zhì)的動(dòng)態(tài)調(diào)整,成為一個(gè)栩栩如生的數(shù)字人。
“挑戰(zhàn)杯”開幕上“靈”的登場
“作為‘挑戰(zhàn)杯’數(shù)字化辦賽的形象大使,‘靈’的登場將開啟數(shù)字技術(shù)基礎(chǔ)上的辦賽辦會(huì)新模式?!毙F(tuán)委書記劉淵說。
據(jù)介紹,“靈”是本屆“挑戰(zhàn)杯”數(shù)字化參賽的引導(dǎo)者。與“靈”搭檔的,還有一名數(shù)字人“境”,作為本屆“挑戰(zhàn)杯”元宇宙世界的引導(dǎo)者。“靈”與“境”共同組成“靈境”一詞,是錢學(xué)森對“Virtual Reality”(虛擬現(xiàn)實(shí))的中譯。
早期的數(shù)字人多基于二維體系構(gòu)建而成,由于解耦程度比較低,換衣服、換發(fā)型、換光線等效果都難以實(shí)現(xiàn)。
如今,技術(shù)已發(fā)展到在三維體系中制作數(shù)字人,“二維與三維最大的區(qū)別,有點(diǎn)像電影與游戲的區(qū)別——電影拍完不能改,而游戲是由玩家控制。三維下的數(shù)字人,表情、服裝、頭發(fā)甚至動(dòng)作都可實(shí)時(shí)變換,而二維體系下的數(shù)字人很難做到?!蔽潭f。
比如,“靈”可以換裝,在剛出場時(shí)穿著生活裝,而到了正式場合就換成了禮服;而臉部光線也會(huì)隨著白天、黑夜有所變化,讓表情更加靈動(dòng)自然。此外,隨著話語內(nèi)容的不同,“靈”還可以做出豐富多樣的播報(bào)動(dòng)作。
捏臉的有意思之處
在元宇宙中,數(shù)字人是不可或缺的角色。
7年前,北京理工大學(xué)與其他高校合作成立北京市未來影像高精尖中心,當(dāng)時(shí)翁冬冬接到的任務(wù)是做“沉浸式敘事”,簡單來說,就是要在虛擬現(xiàn)實(shí)空間中把故事重新呈現(xiàn)出來。研究之初,翁冬冬便發(fā)現(xiàn)了一個(gè)重要問題——沒有“演員”。為此,他們決定做高逼真數(shù)字人。
在做超寫實(shí)數(shù)字人之前,也有人問過翁冬冬,“95后”Z時(shí)代喜歡二次元,為什么不考慮做二次元?
事實(shí)上,二次元是小眾文化,真人參演的影視劇遠(yuǎn)比二次元人物多得多。那么,是真人,就一定要像一個(gè)人。
把表情做的生動(dòng)是第一步。“數(shù)字人的表情應(yīng)該非常豐富,能夠根據(jù)控制需要,準(zhǔn)確的做出喜、怒、哀、樂各種表情。同時(shí)數(shù)字人的表情還應(yīng)該具有個(gè)性化,使得每個(gè)數(shù)字人看起來都與眾不同?!?團(tuán)隊(duì)中負(fù)責(zé)表情驅(qū)動(dòng)的博士生包儀華解釋道。
提高“靈”面部模型數(shù)據(jù)的精度
第二步是精確采集人的表情。為此,系統(tǒng)需要非常靈敏,即使演員做出了一個(gè)非常微小的表情動(dòng)作,系統(tǒng)也能夠立刻準(zhǔn)確的將其捕捉到?!叭缃窈撩准?jí)的采集已可以做到,但對于人臉僅僅是精確還不夠,還要保證采集能夠在一個(gè)很高的速度下完成。”翁冬冬說。
做人臉之所以困難,是因?yàn)槲覀儗θ四樚煜?,但同時(shí)又存在太多不同的語言體系來對其進(jìn)行描述。包儀華表示,“最害怕”的是和藝術(shù)學(xué)老師在一起討論數(shù)字人,“他們常說數(shù)字人缺少神韻”。
“神韻是啥?能否說具體一點(diǎn)?”
“我已經(jīng)說得很具體了,就是沒神?!?/p>
之前,翁冬冬團(tuán)隊(duì)在做“數(shù)字梅蘭芳”項(xiàng)目時(shí),就經(jīng)常出現(xiàn)這樣的“尬聊”,“我們拿著尺子去量,你看臉、鼻子的距離一樣,但拼合在一起,藝術(shù)學(xué)老師就是覺得不一樣,這就是人臉的有意思之處?!?/p>
讓數(shù)字人去打一場比賽 測試中的“靈” 美國傳播學(xué)家艾伯特·梅拉比安對于溝通提出一個(gè)公式:溝通時(shí)信息的全部表達(dá)="7%語調(diào)+38%聲音+55%肢體語言。 看到這個(gè)比例,你也許會(huì)很吃驚,原來信息大部分是通過肢體語言和表情來傳達(dá)。但是語言、表情和動(dòng)作等通道之間的不協(xié)調(diào),卻會(huì)使得數(shù)字人產(chǎn)生錯(cuò)誤的表達(dá)。比如,一個(gè)人嘴上說著“很有道理”,眼睛里卻流露出輕蔑的表情,你會(huì)相信他這句話是真的嗎? 翁冬冬介紹,相比較從前只有聲音、沒有形象的人工智能,有形象的智能數(shù)字人在是否“像人”方面,被用戶寄予了更高的期望和要求。一個(gè)簡單的“不當(dāng)行為”就可能暴露出數(shù)字人的“虛假本質(zhì)”。比如,銀行入口站著一個(gè)“接待員”,有顧客經(jīng)過時(shí),真人的目光會(huì)跟隨、會(huì)跟顧客打招呼,而數(shù)字人可能無動(dòng)于衷。 翁冬冬一直在想“要不要給數(shù)字人賦予需求,因?yàn)橛辛诵枨蟮闹悄荏w才會(huì)像人一樣去主動(dòng)探索世界”。比如讓數(shù)字人會(huì)餓,會(huì)有社交焦慮等。 他把這一想法放在“靈”身上實(shí)現(xiàn),便是給予她參賽選手的身份,讓她有“競爭”的需求。站在元宇宙的舞臺(tái)中央,“靈”作為北理工“老智星”團(tuán)隊(duì)的參賽選手,落落大方地為臺(tái)下“觀眾”介紹這款專為老年人設(shè)計(jì)的,專門對抗老年人智力流失的VR游戲。他們還引入了由清華大學(xué)團(tuán)隊(duì)開發(fā)的、類似ChatGPT功能的聆心智能。 “你們所需要的啟動(dòng)資金是多少?” “我的啟動(dòng)資金是20萬元,我希望以轉(zhuǎn)讓股權(quán)的方式吸引到一位投資人加入,以促進(jìn)我們公司更好更快地發(fā)展。”流利地給出答案同時(shí),“靈”目光流轉(zhuǎn),很自然地做出了一個(gè)歡迎的手勢。 有意思的是,考慮再三,翁冬冬最終還是決定把“靈”的賽場形象做得“假一點(diǎn)”?!罢媸菗?dān)心選手們把‘她’與真人混淆起來。”翁冬冬笑道。
- 北京理工大學(xué)論壇、講壇、講座、年會(huì)、 報(bào)告會(huì)、研討會(huì)審批流程
- 北京理工大學(xué)形象識(shí)別系統(tǒng)使用流程
- 北京理工大學(xué)校園展覽展示活動(dòng)審批流程
- 北京理工大學(xué)新聞?lì)愋畔l(fā)布保密審查工作流程
- 北京理工大學(xué)對外宣傳相關(guān)事項(xiàng)審批流程
- 北京理工大學(xué)校園網(wǎng)站建設(shè)(關(guān)停)備案工作流程
- 北京理工大學(xué)校園新媒體公共賬號(hào)開設(shè)(注銷)備案工作流程
- 北京理工大學(xué)視頻媒體資源復(fù)制申請流程