手持一部5G手機,點開應用程序,手指觸動屏幕的瞬間,國家體育館里冰球賽場的實時畫面就像電影《黑客帝國》中子彈時間的特技般沖擊你的眼球。

  不論在哪個角落,只需在5G環(huán)境下,自由交互式技術可實時提供冬奧賽場的比賽畫面,并實現(xiàn)任意視角的自由觀賽。4月3日正是“相約北京”冰上項目測試時間,在北京大學前沿計算研究中心采訪的科技日報記者親身感受了一次“異地自主觀賽”的神奇。

  國家重點研發(fā)計劃“科技冬奧”重點專項——冰雪項目交互式多維度觀賽體驗技術與系統(tǒng)項目負責人、北京大學博雅特聘教授陳寶權告訴記者,如果項目成果在冬奧會期間得以應用,屆時即便不在冬奧比賽現(xiàn)場,新型觀賽技術也能讓觀眾體驗別致的“身臨其境”,甚至會比在現(xiàn)場獲得更自由的觀賽體驗。

  5G高速公路上的“花式”飆車

  直播延時30秒,畫面實現(xiàn)1080P高清圖像,在自由交互觀賽的多功能體驗中,上述鏡頭效果得以實現(xiàn),是5G網(wǎng)絡與8K技術提供了基礎支撐。

  “就像在5G高速公路上進行‘花式’飆車!标悓殭啾硎,與傳統(tǒng)單獨視點的視頻傳輸相比,自由交互的多視點傳輸在數(shù)據(jù)容量上是數(shù)倍甚至數(shù)量級的提高。

  在國家體育館內(nèi),項目組實現(xiàn)40余個相機的陣列分布、四分之三場地視頻覆蓋,“多媒體鏈路和編解碼傳輸,都是在8K分辨率下進行的。”“自由視角”系統(tǒng)課題負責人盛驍杰告訴記者,隨著視點自由度的提高,瞬間傳播的數(shù)據(jù)量變得巨大,對分辨率的要求自然就會提高。

  2021年的春節(jié)聯(lián)歡晚會實現(xiàn)8K高清試播,從內(nèi)容編解碼到信號傳輸實現(xiàn)了革命式變化。

  自由交互式觀賽則實現(xiàn)了另一種革命式變化——利用8K能力,在內(nèi)容上提供了一個交互式自由視點的展示與觀看。

  “聰明大腦”設計一條高效計算的便捷傳輸路

  從場館圖像數(shù)據(jù)采集到街道任意角落實時觀看,一個端到端的解決方案清晰可見,這正是整個項目的難點和亮點。

  現(xiàn)場圖像拍攝后送往云端,場館與比賽信息被三維重建,再通過編碼與解碼提供給觀眾“自由視點”觀看體驗。然而,只有40余臺相機分布在210米的U形場地內(nèi),每臺相機間隔近5米,將如何提供全場域的無縫自由視點?

  項目組為其配置一個“聰明大腦”。首先,通過三維重建讓新視點的合成變得可能;然后,自適應編碼與傳輸技術,根據(jù)用戶視點改變的意圖來預測下一步趨勢,進行有針對性的計算與數(shù)據(jù)傳送。“通過實時預測,避免了簡單粗暴的計算與數(shù)據(jù)傳輸,也保證了8K數(shù)據(jù)的高效供給用在流暢觀看這個剛性需求的‘刀刃’上!标悓殭嗾f。

  除此之外,在自由觀賽的時候,往往會有精彩的進球瞬間和猛烈的肢體碰撞不經(jīng)意間溜進你的視線。這是因為,在賽事轉播前,針對比賽的競技特點,系統(tǒng)對場景進行了推演預判,一個鏡頭軌跡的規(guī)劃早早布置在系統(tǒng)之內(nèi)!皵(shù)字孿生推演系統(tǒng)就像比賽現(xiàn)場的導演一樣!标悓殭啾硎,系統(tǒng)會在隨機變化的冰球比賽中計算有效的視點軌跡并合成相應視點內(nèi)容,將比賽最精彩的鏡頭實時計算出來推送給觀眾。

  直通尋常百姓的最后一公里

  “無特殊的裝備,也無專用帶寬,僅憑5G手機配合5G網(wǎng)絡,用戶就可以實現(xiàn)高質(zhì)量的交互式觀賽,使交互式VR技術直通到尋常百姓的手中!笔Ⅱ斀苓M一步介紹項目的特點:數(shù)字化制作的內(nèi)容可以有機地融合到比賽場景當中,實現(xiàn)賽事內(nèi)容的增強。

  進球軌跡以一條紅線展示,運動員的姓名直接顯示于他的頭頂……在傳統(tǒng)轉播中以單頁插播方式提示的信息,現(xiàn)在可以直接嵌入到實時動態(tài)的場景之中。

  走進百姓應用的最后一公里,內(nèi)容的高效生成是關鍵。陳寶權表示,項目組將在冬奧開幕前最后10個月左右的時間,聚焦冬奧場景現(xiàn)實需求,抓緊技術攻關,不斷提高在轉播呈現(xiàn)與交互使用上提供優(yōu)質(zhì)內(nèi)容輸出的能力。