手持一部5G手機(jī),點(diǎn)開應(yīng)用程序,手指觸動(dòng)屏幕的瞬間,國(guó)家體育館里冰球賽場(chǎng)的實(shí)時(shí)畫面就像電影《黑客帝國(guó)》中子彈時(shí)間的特技般沖擊你的眼球。

  不論在哪個(gè)角落,只需在5G環(huán)境下,自由交互式技術(shù)可實(shí)時(shí)提供冬奧賽場(chǎng)的比賽畫面,并實(shí)現(xiàn)任意視角的自由觀賽。4月3日正是“相約北京”冰上項(xiàng)目測(cè)試時(shí)間,在北京大學(xué)前沿計(jì)算研究中心采訪的科技日?qǐng)?bào)記者親身感受了一次“異地自主觀賽”的神奇。

  國(guó)家重點(diǎn)研發(fā)計(jì)劃“科技冬奧”重點(diǎn)專項(xiàng)——冰雪項(xiàng)目交互式多維度觀賽體驗(yàn)技術(shù)與系統(tǒng)項(xiàng)目負(fù)責(zé)人、北京大學(xué)博雅特聘教授陳寶權(quán)告訴記者,如果項(xiàng)目成果在冬奧會(huì)期間得以應(yīng)用,屆時(shí)即便不在冬奧比賽現(xiàn)場(chǎng),新型觀賽技術(shù)也能讓觀眾體驗(yàn)別致的“身臨其境”,甚至?xí)仍诂F(xiàn)場(chǎng)獲得更自由的觀賽體驗(yàn)。

  5G高速公路上的“花式”飆車

  直播延時(shí)30秒,畫面實(shí)現(xiàn)1080P高清圖像,在自由交互觀賽的多功能體驗(yàn)中,上述鏡頭效果得以實(shí)現(xiàn),是5G網(wǎng)絡(luò)與8K技術(shù)提供了基礎(chǔ)支撐。

  “就像在5G高速公路上進(jìn)行‘花式’飆車!标悓殭(quán)表示,與傳統(tǒng)單獨(dú)視點(diǎn)的視頻傳輸相比,自由交互的多視點(diǎn)傳輸在數(shù)據(jù)容量上是數(shù)倍甚至數(shù)量級(jí)的提高。

  在國(guó)家體育館內(nèi),項(xiàng)目組實(shí)現(xiàn)40余個(gè)相機(jī)的陣列分布、四分之三場(chǎng)地視頻覆蓋,“多媒體鏈路和編解碼傳輸,都是在8K分辨率下進(jìn)行的!薄白杂梢暯恰毕到y(tǒng)課題負(fù)責(zé)人盛驍杰告訴記者,隨著視點(diǎn)自由度的提高,瞬間傳播的數(shù)據(jù)量變得巨大,對(duì)分辨率的要求自然就會(huì)提高。

  2021年的春節(jié)聯(lián)歡晚會(huì)實(shí)現(xiàn)8K高清試播,從內(nèi)容編解碼到信號(hào)傳輸實(shí)現(xiàn)了革命式變化。

  自由交互式觀賽則實(shí)現(xiàn)了另一種革命式變化——利用8K能力,在內(nèi)容上提供了一個(gè)交互式自由視點(diǎn)的展示與觀看。

  “聰明大腦”設(shè)計(jì)一條高效計(jì)算的便捷傳輸路

  從場(chǎng)館圖像數(shù)據(jù)采集到街道任意角落實(shí)時(shí)觀看,一個(gè)端到端的解決方案清晰可見,這正是整個(gè)項(xiàng)目的難點(diǎn)和亮點(diǎn)。

  現(xiàn)場(chǎng)圖像拍攝后送往云端,場(chǎng)館與比賽信息被三維重建,再通過編碼與解碼提供給觀眾“自由視點(diǎn)”觀看體驗(yàn)。然而,只有40余臺(tái)相機(jī)分布在210米的U形場(chǎng)地內(nèi),每臺(tái)相機(jī)間隔近5米,將如何提供全場(chǎng)域的無縫自由視點(diǎn)?

  項(xiàng)目組為其配置一個(gè)“聰明大腦”。首先,通過三維重建讓新視點(diǎn)的合成變得可能;然后,自適應(yīng)編碼與傳輸技術(shù),根據(jù)用戶視點(diǎn)改變的意圖來預(yù)測(cè)下一步趨勢(shì),進(jìn)行有針對(duì)性的計(jì)算與數(shù)據(jù)傳送!巴ㄟ^實(shí)時(shí)預(yù)測(cè),避免了簡(jiǎn)單粗暴的計(jì)算與數(shù)據(jù)傳輸,也保證了8K數(shù)據(jù)的高效供給用在流暢觀看這個(gè)剛性需求的‘刀刃’上!标悓殭(quán)說。

  除此之外,在自由觀賽的時(shí)候,往往會(huì)有精彩的進(jìn)球瞬間和猛烈的肢體碰撞不經(jīng)意間溜進(jìn)你的視線。這是因?yàn),在賽事轉(zhuǎn)播前,針對(duì)比賽的競(jìng)技特點(diǎn),系統(tǒng)對(duì)場(chǎng)景進(jìn)行了推演預(yù)判,一個(gè)鏡頭軌跡的規(guī)劃早早布置在系統(tǒng)之內(nèi)!皵(shù)字孿生推演系統(tǒng)就像比賽現(xiàn)場(chǎng)的導(dǎo)演一樣!标悓殭(quán)表示,系統(tǒng)會(huì)在隨機(jī)變化的冰球比賽中計(jì)算有效的視點(diǎn)軌跡并合成相應(yīng)視點(diǎn)內(nèi)容,將比賽最精彩的鏡頭實(shí)時(shí)計(jì)算出來推送給觀眾。

  直通尋常百姓的最后一公里

  “無特殊的裝備,也無專用帶寬,僅憑5G手機(jī)配合5G網(wǎng)絡(luò),用戶就可以實(shí)現(xiàn)高質(zhì)量的交互式觀賽,使交互式VR技術(shù)直通到尋常百姓的手中!笔Ⅱ斀苓M(jìn)一步介紹項(xiàng)目的特點(diǎn):數(shù)字化制作的內(nèi)容可以有機(jī)地融合到比賽場(chǎng)景當(dāng)中,實(shí)現(xiàn)賽事內(nèi)容的增強(qiáng)。

  進(jìn)球軌跡以一條紅線展示,運(yùn)動(dòng)員的姓名直接顯示于他的頭頂……在傳統(tǒng)轉(zhuǎn)播中以單頁插播方式提示的信息,現(xiàn)在可以直接嵌入到實(shí)時(shí)動(dòng)態(tài)的場(chǎng)景之中。

  走進(jìn)百姓應(yīng)用的最后一公里,內(nèi)容的高效生成是關(guān)鍵。陳寶權(quán)表示,項(xiàng)目組將在冬奧開幕前最后10個(gè)月左右的時(shí)間,聚焦冬奧場(chǎng)景現(xiàn)實(shí)需求,抓緊技術(shù)攻關(guān),不斷提高在轉(zhuǎn)播呈現(xiàn)與交互使用上提供優(yōu)質(zhì)內(nèi)容輸出的能力。