上科大信息學院在國際計算機視覺大會展示多項智能視覺前沿成果

10月11日至10月17日，國際計算機視覺大會(ICCV 2021)在線舉行。在10月11日的研討會上，ICCV 2025年大會程序主席，上�？萍即髮W副教務長、信息學院執(zhí)行院長虞晶怡受邀與美國工程院院士、美國加州大學伯克利分校教授Jitendra Malik，德國蒂賓根大學計算機科學系副系主任Andreas Geiger，F(xiàn)acebook人工智能研究員David Novotny和NVIDIA首席研究科學家Shalini De Mello等11位相關領域的權威專家學者，針對無監(jiān)督3D學習（Unsup3D: Unsupervised 3D Learning in the Wild）主題開展深入討論。虞晶怡發(fā)表了題為”Neural Modeling and Rendering for Creating Virtual Humans“的主旨報告，詳細介紹了上科大信息學院的相關研究成果。

如何將復雜多樣的人體快速且高精度地建模成“數(shù)字人”一直是人工智能的熱門話題之一。近年來上科大信息學院在人工智能領域取得多項科研成果，提出了一整套“數(shù)字人”生成的原創(chuàng)性解決方案，打破了傳統(tǒng)“數(shù)字人”難以普及的瓶頸，孵化了數(shù)個師生創(chuàng)業(yè)企業(yè)，助力科技成果落地應用。

信息學院研究團隊設計的神經(jīng)網(wǎng)絡人體渲染引擎，能夠實現(xiàn)多視角下人體復雜動作與細節(jié)的充分還原，并且支持自由視角任意切換。在人物交互的場景中，即使物體被遮擋，引擎也能通過設計的模型完成遮擋部分的推理與重建。不僅如此，研究團隊還構建了涵蓋大多數(shù)日常運動的高難度多模態(tài)動態(tài)數(shù)據(jù)集，通過多模態(tài)數(shù)據(jù)提供的信息能夠讓神經(jīng)網(wǎng)絡在訓練時獲得足夠多的參考，從而實現(xiàn)了單RGB相機對人體動作的捕捉與驅動。這是更加貼近生活與消費級的“數(shù)字人”方案。孵化企業(yè)域動數(shù)字由信息學院學生黃程宇、梁瀚、林沛始創(chuàng)。公司對相關技術進行了整合，其打造的新型無穿戴動作捕捉與數(shù)字人產(chǎn)品克服了傳統(tǒng)動作捕捉方案中成本高、不便攜的缺點，被嗶哩嗶哩、芒果TV等平臺采用，將繼續(xù)推動消費級虛擬偶像、虛擬數(shù)字人等行業(yè)的發(fā)展。

部分數(shù)字人重建結果與數(shù)據(jù)集

面部是數(shù)字人最重要也是技術要求最高的部分之一。研究人員通過搭建主動式的復雜光場系統(tǒng)，采用光速變化的動態(tài)光照，進一步提高了數(shù)字人面部建模效果，恢復了高精度的臉部細節(jié)。高質量人臉模型能為后續(xù)單相機人臉重建、面部重打光技術、AI換臉技術的研發(fā)提供支持。孵化企業(yè)影眸科技由信息學院學生吳迪、張啟煊和張龍文始創(chuàng)。公司通過技術整合，正在為國內文化娛樂行業(yè)帶來全新的技術解決方案。

圖 | MARS實驗室全新臉部光場采集系統(tǒng)及重建效果

數(shù)字人手指與毛發(fā)的建模效果決定了數(shù)字人質量的上限，研究團隊結合預先定義的手部復雜參數(shù)模型與采集的MRI手部骨骼數(shù)據(jù)，完成了對復雜的手部骨骼的精確建模；利用神經(jīng)渲染（Neural Rendering）的方式，不僅能夠實時還原與渲染發(fā)毛邊緣半透明信息通道，并且在自由視角下保有拍攝時環(huán)境光的影響，讓渲染結果更加逼真。

圖|數(shù)字人手部骨骼估計效果圖

圖|毛發(fā)渲染結果效果圖

以上研究成果均發(fā)表在國際計算機視覺與模式識別會議（CVPR）、計算機視覺國際期刊（IJCV）、ACM Transactions on Graphics等國際旗艦期刊/會議，充分彰顯了上科大師生科研實力和學術潛力。上科大所孵化的創(chuàng)新企業(yè)將原創(chuàng)技術與影視、娛樂、媒體等各項應用場景結合，實現(xiàn)了技術突破、生態(tài)搭建與場地落地的產(chǎn)業(yè)鏈接，產(chǎn)生的疊加效應將加速人工智能技術落地。

此外，在ICCV 2021大會期間，信息學院高盛華教授與其他國際知名學者組織了一場專題研討會，就基于整體結構的三維重建方面進行了深入交流。研討會邀請了包括沙特阿卜杜拉國王科技大學的Peter Wonka以及德國慕尼黑工業(yè)大學的Angela Dai等多名國際知名學者參與討論溝通，搭建交流平臺的同時也充分展現(xiàn)了上科大的科研動態(tài)。信息學院多篇學術論文被此次大會接收。

上科大信息學院致力于建立具有全球影響力的新一代人工智能創(chuàng)新中心，以人工智能理論為核心，從基礎理論、關鍵技術、創(chuàng)新應用三個層面進行不斷拓展。近幾年來，人工智能領域科研成果頻頻被領域知名學術期刊/會議收錄發(fā)表，在全球科技舞臺上展現(xiàn)了上科大的科研成果，展示了上科大學子厚積薄發(fā)的科研實力。在學校大力推動學科交叉融合的氛圍中，信息學院積極地與其他各院所開展合作，致力于將AI技術應用到基礎學科的教學科研中，探索基于科技創(chuàng)新的解決方案。信息學院將與iHuman研究所、免疫化學研究所一起組隊進軍2021年蛋白質結構預測國際大賽。此外，信息學院已經(jīng)與創(chuàng)管學院開設了兩次《信息科學技術發(fā)展倫理與道德》課程，并取得了不錯的反響。當前，信息學院正積極與物質學院、創(chuàng)藝學院打造交叉課程，培養(yǎng)具有創(chuàng)新思維的跨學科人才。學院還將基于機器學習對大數(shù)據(jù)的分析和學習能力，與物質學院合作將AI技術應用于高性能多功能半導體材料的制備中，實現(xiàn)人工智能原子制造。未來，學院將繼續(xù)聚焦學術前沿與技術重點，深化融合，不斷創(chuàng)新，打造具有國際競爭力的人工智能創(chuàng)新高地。

圖 片 張啟煊

視 頻 林 沛

排 版 趙子豪

編 輯 高正純

高 瑄

今天“分享”“點贊”“在看”了嗎？