冰雪造夢(mèng)，歷程回看｜聲音學(xué)院實(shí)時(shí)交互特效團(tuán)隊(duì)幕后工作揭秘

2月4日，北京冬奧會(huì)開幕式上，鋪滿全場(chǎng)的LED地面屏幕顯示交互技術(shù)震撼全場(chǎng)。

這是由童雷老師負(fù)責(zé)、聲音學(xué)院師生組成的冬奧會(huì)開閉幕式實(shí)時(shí)交互特效團(tuán)隊(duì)，根據(jù)總導(dǎo)演的虛擬冰面反射設(shè)想，在短短半年的時(shí)間里不斷交流修正，最終向全世界觀眾展示了《致敬人民》與《雪花》兩個(gè)風(fēng)格獨(dú)特的節(jié)目。

在面積超過一萬(wàn)平米的巨幅舞臺(tái)上展現(xiàn)出了交互特效的藝術(shù)魅力。團(tuán)隊(duì)成員雖然人數(shù)不多，但卻在極短時(shí)間內(nèi)完成了節(jié)目的美術(shù)效果設(shè)計(jì)、并完成了從坐標(biāo)采集直到渲染畫面播出的全鏈路系統(tǒng)集成設(shè)計(jì)及其工程部署。在此期間，自主完成了渲染坐標(biāo)系的標(biāo)定與轉(zhuǎn)換、信號(hào)鏈路延時(shí)與同步性測(cè)試、超高分辨率信號(hào)拼接傳輸?shù)汝P(guān)鍵環(huán)節(jié)的方案設(shè)計(jì)與實(shí)施工作。

01

團(tuán)隊(duì)人員

團(tuán)隊(duì)由來自聲音學(xué)院的7名師生組成：

童雷，實(shí)時(shí)交互特效項(xiàng)目負(fù)責(zé)人；

韓柯，交互視效導(dǎo)演；

臧可，項(xiàng)目實(shí)施統(tǒng)籌；

馬少典，系統(tǒng)架構(gòu)工程師；

江祥盈，影像處理工程師；

徐子凡，特效算法工程師；

崔高歌，系統(tǒng)優(yōu)化與測(cè)試工程師。

聲音學(xué)院16屆校友向玉劍 ，為視頻文件轉(zhuǎn)碼批處理開發(fā)了腳本。此外，聲音學(xué)院的 張朝馨 和 動(dòng)畫學(xué)院的 孫舟 同學(xué)，在項(xiàng)目推進(jìn)過程中，致力于場(chǎng)景仿真建模以及數(shù)據(jù)格式轉(zhuǎn)換機(jī)制等課題，也貢獻(xiàn)了他們的智慧。

02

歷程回看

7.19

北京電影學(xué)院

距離2022北京冬奧會(huì)倒計(jì)時(shí)200天，當(dāng)晚北京冬奧會(huì)開閉幕式總導(dǎo)演、我校著名校友張藝謀導(dǎo)演和冬奧組委開閉幕式部常宇部長(zhǎng)，到北京電影學(xué)院就冬奧會(huì)開閉幕式科技創(chuàng)新項(xiàng)目進(jìn)行實(shí)地考察及方案論證，重點(diǎn)觀看了團(tuán)隊(duì)的技術(shù)方案演示。

左右滑動(dòng)查看更多

9.11

聲音學(xué)院未來視聽聯(lián)合實(shí)驗(yàn)室

室內(nèi)搭建動(dòng)作捕捉環(huán)境，由冀子蒙、付小童、孫睿佳、王羲瑞 、孟憲澤等同學(xué)協(xié)力搭建實(shí)驗(yàn)環(huán)境，并充當(dāng)志愿者，錄制早期的動(dòng)作捕捉素材，提供給人工智能算法進(jìn)行訓(xùn)練與驗(yàn)證。

左右滑動(dòng)查看更多

10.27

北京電影學(xué)院懷柔新校區(qū)

模擬鳥巢看臺(tái)機(jī)位，采集志愿者隊(duì)列模擬數(shù)據(jù)。借助新校區(qū)場(chǎng)地優(yōu)勢(shì)，在宿舍樓平臺(tái)架設(shè)圖像捕捉設(shè)備，錄制操場(chǎng)上志愿者隊(duì)列的圖像，帶回實(shí)驗(yàn)室用于項(xiàng)目初期的算法與工程方案研究。

志愿者配合測(cè)試素材錄制。視頻為人群視角跟拍。項(xiàng)目成員馬少典引導(dǎo)學(xué)生志愿者，仿照開幕式進(jìn)場(chǎng)運(yùn)動(dòng)員的多種不同隊(duì)列疏密和行進(jìn)速度，錄制了大量仿真數(shù)據(jù)以供AI系統(tǒng)學(xué)習(xí)訓(xùn)練。

左右滑動(dòng)查看更多

11.10

Intel實(shí)驗(yàn)室：圖像捕捉相機(jī)實(shí)驗(yàn)室測(cè)試

進(jìn)行相機(jī)的標(biāo)定原理測(cè)試。準(zhǔn)確的標(biāo)定是動(dòng)作捕捉系統(tǒng)精密工作的重要基礎(chǔ)。照片展示了設(shè)備投入使用初期，在室內(nèi)地面上使用投影機(jī)打出小型“棋盤格”的小規(guī)模相機(jī)標(biāo)定驗(yàn)證工作。

12.3

鳥巢實(shí)地系統(tǒng)測(cè)試

在場(chǎng)地極其受限的情況下，項(xiàng)目組成員攜帶了最簡(jiǎn)化的采集與服務(wù)器系統(tǒng)，進(jìn)入鳥巢實(shí)地環(huán)境，臨時(shí)搭建測(cè)試系統(tǒng)。完成了近兩周的實(shí)地系統(tǒng)測(cè)試。系統(tǒng)測(cè)試包括人工智能識(shí)別系統(tǒng)的優(yōu)化，以及節(jié)目美術(shù)方案優(yōu)化調(diào)整兩方面。

左右滑動(dòng)查看更多

12.9

北京電影學(xué)院薊門校區(qū)A619：

采集服務(wù)器與矩陣設(shè)備集成測(cè)試

以A619作為實(shí)驗(yàn)基地，項(xiàng)目組成員開展了大量的系統(tǒng)集成性能測(cè)試工作。包括系統(tǒng)集成后的整體延時(shí)和穩(wěn)定性指標(biāo)。這些指標(biāo)的嚴(yán)苛把控，直接決定了最終節(jié)目效果的成敗。照片中，徐子凡和崔高歌正在分析各設(shè)備間的連接方案，并討論系統(tǒng)集成后可能存在的各項(xiàng)風(fēng)險(xiǎn)。

12.12

北京電影學(xué)院薊門校區(qū)A619：

采集服務(wù)器系統(tǒng)穩(wěn)定性測(cè)試

圖中為童雷老師，正在調(diào)整渲染服務(wù)器與采集服務(wù)器配置，以便驗(yàn)證服務(wù)器穩(wěn)定性。

12.15

鳥巢建筑物制高點(diǎn)

項(xiàng)目組成員攀爬到鳥巢頂層，實(shí)地踏勘機(jī)位選擇。

12.22

北京電影學(xué)院薊門校區(qū)A619：

采集服務(wù)器系統(tǒng)摳像性能測(cè)試

圖中為韓柯老師，正在調(diào)整服務(wù)器摳像屬性，以確保特效畫面與鳥巢主系統(tǒng)的匹配情況。

12.25

北京電影學(xué)院薊門校區(qū)A619：

節(jié)目素材疊合關(guān)系討論

項(xiàng)目組成員圍繞特效素材不同層次之間的遮擋疊加關(guān)系，充分溝通，消除對(duì)素材結(jié)構(gòu)的理解偏差。

北京電影學(xué)院薊門校區(qū)A236：

節(jié)目素材轉(zhuǎn)碼工藝討論與實(shí)驗(yàn)

面對(duì)相對(duì)緊張的輸出檔期安排，項(xiàng)目組成員集體討論可行的素材物料輸出格式以及相應(yīng)工藝。由于鳥巢地屏對(duì)播放素材的分辨率、碼率、壓縮率等要求非常嚴(yán)苛，項(xiàng)目組集中精力研究了用于轉(zhuǎn)碼導(dǎo)出的工藝優(yōu)化。

左右滑動(dòng)查看更多

1.8

鳥巢機(jī)房：

“輪滑”確定表演軌跡節(jié)目特效算法優(yōu)化

1.12

鳥巢導(dǎo)演休息室：

“和平鴿”交互粒子效果設(shè)計(jì)討論

正式聯(lián)排演練開始前，開幕式視覺藝術(shù)總設(shè)計(jì)師蔡國(guó)強(qiáng)老師與童雷老師討論新確定的粒子效果方案。

1.13

鳥巢四層控制席與導(dǎo)演指揮席

團(tuán)隊(duì)共同探討和平鴿節(jié)目效果。

左右滑動(dòng)查看更多

1.18

鳥巢演出控制指揮中心：

“和平鴿”節(jié)目效果帶演員彩排測(cè)試

和平鴿節(jié)目的創(chuàng)意設(shè)計(jì)基本確定，配合導(dǎo)演設(shè)計(jì)，項(xiàng)目組不斷修改粒子生成參數(shù)，微調(diào)優(yōu)化最終的美術(shù)效果。在該過程中，針對(duì)舞臺(tái)的燈光環(huán)境、演員的調(diào)度設(shè)計(jì)等綜合因素，對(duì)采集與渲染各系統(tǒng)進(jìn)行微調(diào)優(yōu)化，爭(zhēng)取最好的視覺效果。

1.20

鳥巢機(jī)房

崔高歌和徐子凡正在操作素材轉(zhuǎn)碼，并進(jìn)行物料IO管理。

左右滑動(dòng)查看更多

2.4

鳥巢：開幕式前最后一次系統(tǒng)標(biāo)定

系統(tǒng)標(biāo)定是整個(gè)交互特效系統(tǒng)精準(zhǔn)工作的重要基礎(chǔ)，照片記錄了正式演出前的最后一次標(biāo)定過程。由系統(tǒng)輸出的棋盤格校準(zhǔn)程序，顯示在鳥巢近萬(wàn)平米的巨幅顯示屏上。打出該棋盤格，標(biāo)志著實(shí)時(shí)捕捉與特效渲染系統(tǒng)正式進(jìn)入工作狀態(tài)。

在上述工作推進(jìn)的過程中，聲音學(xué)院實(shí)時(shí)交互特效團(tuán)隊(duì)歷時(shí)半年時(shí)間，在鳥巢中連續(xù)工作近3個(gè)多月，攻克了多個(gè)技術(shù)難點(diǎn)：例如捕捉對(duì)象坐標(biāo)數(shù)據(jù)格式的定義與優(yōu)化、特效序列的底層算法優(yōu)化、巨幅特種LED屏的色彩管理與校準(zhǔn)，并實(shí)現(xiàn)了大批量高分辨率視頻素材的批量轉(zhuǎn)碼等工藝優(yōu)化。此外還借助了場(chǎng)景仿真與鏡頭視角重建技術(shù)，輔助進(jìn)場(chǎng)設(shè)備的安裝規(guī)劃，并對(duì)潛在問題作出預(yù)警。團(tuán)隊(duì)首次將交互實(shí)時(shí)特效應(yīng)用于大型綜合舞臺(tái)表演，擴(kuò)展了傳統(tǒng)舞臺(tái)美術(shù)的表達(dá)方式，賦予了AI技術(shù)新的美學(xué)內(nèi)涵。

聲音學(xué)院師生積極投身冬奧相關(guān)工作，用藝術(shù)與技術(shù)服務(wù)國(guó)家重大戰(zhàn)略，在冬奧開幕式現(xiàn)場(chǎng)留下了電影人堅(jiān)守的身影。

（工作臺(tái)工作圖片由北京電影學(xué)院師生組成的冬奧會(huì)紀(jì)錄片團(tuán)隊(duì)提供，特此感謝）

編輯：SJR

圖文說明：MSD

審稿：ZJQ