央廣網(wǎng)上海9月21日消息（記者傅聞捷 通訊員龔凡）“從上海中心的合適位置，整個(gè)外灘的人流細(xì)節(jié)都能看得一清二楚�！弊審�(fù)旦大學(xué)微電子學(xué)院/工程與應(yīng)用技術(shù)研究院教授曾曉洋“夸下海口”的不是望遠(yuǎn)鏡，不是攝像頭，而是由其領(lǐng)導(dǎo)的團(tuán)隊(duì)自主研發(fā)的五億級(jí)像素云相機(jī)系統(tǒng)�；谶@一系統(tǒng)研發(fā)的五億像素智能視頻瞭望相機(jī)亮相2019年中國(guó)國(guó)際工業(yè)博覽會(huì)。
這一團(tuán)隊(duì)由復(fù)旦大學(xué)微電子學(xué)院副教授范益波作為圖像、智能與電子系統(tǒng)技術(shù)負(fù)責(zé)人，長(zhǎng)春光機(jī)所研究員黃瑋作為光機(jī)系統(tǒng)技術(shù)負(fù)責(zé)人，復(fù)旦大學(xué)微電子學(xué)院副研究員荊明娥作為圖像算法技術(shù)負(fù)責(zé)人。
目前，先進(jìn)的單反相機(jī)分辨率可達(dá)千萬(wàn)像素級(jí)別，對(duì)圖像的刻畫(huà)已經(jīng)非常細(xì)致。五億級(jí)像素相機(jī)拍出照片會(huì)是什么樣？人眼能分辨的極限像素是1.2億，五億級(jí)的超高像素意味著相機(jī)能捕獲極其細(xì)致入微的圖像細(xì)節(jié)，即便在能容納幾萬(wàn)人的偌大體育場(chǎng)，拍攝一副全景照片也可以獲得每張人臉的清晰圖像。如果加上人工智能的助力，這款相機(jī)還能進(jìn)行海量數(shù)據(jù)人臉等目標(biāo)的檢測(cè)與識(shí)別，瞬間發(fā)現(xiàn)特定目標(biāo)。
拍得廣，看得清，找得準(zhǔn)，這款不一般的“高能”相機(jī)，或?qū)⑺⑿氯藗儗?duì)傳統(tǒng)相機(jī)的認(rèn)知。
打破定式，不對(duì)焦也能看得清
要使被拍攝物成像清晰，傳統(tǒng)相機(jī)的聚焦操作是必不可少的關(guān)鍵環(huán)節(jié)�！翱吹们搴涂吹脧V對(duì)傳統(tǒng)相機(jī)來(lái)說(shuō)是一對(duì)矛盾，如兩千萬(wàn)像素全部分配到一萬(wàn)個(gè)人身上，每個(gè)人像就只有20個(gè)像素，一定無(wú)法看清楚人體目標(biāo)了。”曾曉洋說(shuō)，既想看得清，又想看得遠(yuǎn)，還要看得廣，在現(xiàn)有的相機(jī)條件下，根本就是一個(gè)悖論。“但如果相機(jī)的像素能達(dá)到兩億、五億或者十億呢？那么即使是十萬(wàn)個(gè)人也能拍得清楚了�！�
當(dāng)下，覆蓋地域廣、涵蓋目標(biāo)多的高像素照片是怎樣產(chǎn)出的呢？后期處理是現(xiàn)行的唯一途徑：針對(duì)目標(biāo)物體進(jìn)行多次拍攝，再依靠后期圖像處理與拼接技術(shù)將這些單幅圖像逐一拼接，合“多”為“一”。但這種方法的劣勢(shì)顯而易見(jiàn)，既費(fèi)時(shí)間（幾小時(shí)到幾天時(shí)間），也要消耗大量能量�！氨热鐝母呖者M(jìn)行拍攝，現(xiàn)在普遍使用無(wú)人機(jī)，但無(wú)人機(jī)的續(xù)航時(shí)間有限，按照現(xiàn)在的拍攝方式，人們獲取超高清晰圖像非常困難�！痹鴷匝蠼榻B，目前使用的衛(wèi)星實(shí)時(shí)導(dǎo)航所依據(jù)的路況地圖都是靠后期“P”出來(lái)的，難度很大，成本極高。
“超遠(yuǎn)距離拍攝”“超高清細(xì)節(jié)”“超快速成像”，這三個(gè)條件要想同時(shí)“成立”，還得從大幅提高相機(jī)像素入手。不對(duì)焦也能拍得清楚，五億級(jí)像素云相機(jī)系統(tǒng)的出現(xiàn)，從技術(shù)層面打破了傳統(tǒng)拍照的定式規(guī)則，實(shí)現(xiàn)了“不可能”。
硬件升級(jí)，芯片創(chuàng)新實(shí)現(xiàn)顛覆性改變
幾年前，在軍方的資助下，美國(guó)研發(fā)出世界上第一臺(tái)億級(jí)像素相機(jī)，其運(yùn)用的“陣列外拼接成像原理”將千萬(wàn)級(jí)像素照片進(jìn)行軟件拼接，CMOS圖像傳感器呈陣列式分布，相互錯(cuò)開(kāi)、互補(bǔ)排列，最終通過(guò)后續(xù)軟件圖像拼接得到完整的大視場(chǎng)超高分辨率視頻和圖像。但高像素光學(xué)鏡頭的陣列排布大大增加了相機(jī)體積�！绊樦@個(gè)思路，當(dāng)像素提升到五億級(jí)時(shí)，尤其是需要視頻圖像時(shí)，相機(jī)系統(tǒng)體積會(huì)變得非常大，并且實(shí)時(shí)視頻拼接基本上不可能實(shí)現(xiàn)�！痹鴷匝笳J(rèn)為，這個(gè)方案潛力有限，“走不遠(yuǎn)”。
什么才是“有后勁”“能發(fā)展”的思路？經(jīng)過(guò)長(zhǎng)時(shí)間的研究，曾曉洋團(tuán)隊(duì)實(shí)現(xiàn)了一種創(chuàng)新性的億極像素成像技術(shù)�！巴瑯舆�是拼接成像原理，但我們使用了創(chuàng)新的共心復(fù)合尺度的光學(xué)成像方案，將陣列式的光學(xué)成像鏡頭大幅縮減為‘一’，采用兩級(jí)分光成像來(lái)進(jìn)行多路CMOS圖像傳感器成像�！边@樣，也對(duì)分光系統(tǒng)的精度提出了很高要求，不同光路對(duì)目標(biāo)進(jìn)行成像，如果精度 “差之毫厘”，拼接后圖像則“謬以千里”。
除了超高分辨率的照片，對(duì)這款高性能的云相機(jī)來(lái)說(shuō)，拍同樣分辨率的實(shí)時(shí)視頻也“不在話(huà)下”。實(shí)時(shí)視頻對(duì)相機(jī)的計(jì)算速度和運(yùn)行效率都提出了更高的要求：每次成像都是上百?gòu)埱f(wàn)級(jí)像素的照片高精度無(wú)縫拼接而成，而連續(xù)視頻應(yīng)該在每秒25幀畫(huà)面，這相當(dāng)于在一秒鐘之內(nèi)把拼接成像過(guò)程重復(fù)至少25次。顯然，這種情況下，相機(jī)系統(tǒng)的計(jì)算量大到人們難以想象的程度。目前，曾曉洋團(tuán)隊(duì)研發(fā)的三/五億像素的云相機(jī)系統(tǒng)實(shí)現(xiàn)了“共心復(fù)合尺度光學(xué)成像”和“硬件億級(jí)像素實(shí)時(shí)視頻圖像拼接”，十億級(jí)及以上像素的云相機(jī)系統(tǒng)關(guān)鍵技術(shù)也處于攻關(guān)狀態(tài)。
“平時(shí)在APP上追劇，視頻分辨率一般是1080P，超級(jí)會(huì)員能看到4K高清，再高分辨率也看不了了，網(wǎng)絡(luò)帶寬跟不上。而我們?cè)葡鄼C(jī)的像素分辨率是五億，這可是4K的百倍。”
“超高的分辨率同時(shí)意味著超大的數(shù)據(jù)量，但目前無(wú)線(xiàn)傳輸系統(tǒng)的數(shù)據(jù)帶寬成為瓶頸問(wèn)題。解決這一問(wèn)題的辦法就是及時(shí)找到超高清圖像中的感興趣目標(biāo)部分�！痹鴷匝笳f(shuō)，要把需要傳輸?shù)臄?shù)據(jù)量降下來(lái)，傳輸效率提上去，就得提高相機(jī)系統(tǒng)實(shí)時(shí)識(shí)別目標(biāo)的能力，針對(duì)特定目標(biāo)智能地進(jìn)行尋找、鎖定和識(shí)別。“而這就像在一倉(cāng)庫(kù)的糧食里面，有一粒是壞的，我們想把那粒壞的找出來(lái)，這太不容易了，所以要有智能化的方法�！睂⒎秶s小，再將特定區(qū)域特定目標(biāo)的相關(guān)影像進(jìn)行傳輸就容易得多了�！凹饶苓h(yuǎn)視，也得有準(zhǔn)頭�！�
“世界首款海量數(shù)據(jù)視頻圖像硬件拼接專(zhuān)用芯片”、“人工智能處理硬件加速引擎專(zhuān)用芯片”，這兩款自主創(chuàng)新的芯片正是曾曉洋團(tuán)隊(duì)讓五億級(jí)像素云相機(jī)系統(tǒng)能拍照、拍視頻，能“有準(zhǔn)頭”的“獨(dú)門(mén)武器”�！肮慕迪聛�(lái)、體積小下來(lái)全靠芯片技術(shù)，把上述兩款芯片做出來(lái)是實(shí)現(xiàn)我們整個(gè)系統(tǒng)技術(shù)突破的核心。”曾曉洋說(shuō)，這也是復(fù)旦大學(xué)承接該項(xiàng)目的主要原因，是我們專(zhuān)用集成電路與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室的使命所在。
工業(yè)量產(chǎn)，“神奇盒子”大有所為
將億級(jí)像素相機(jī)系統(tǒng)獲取到的海量視頻圖像數(shù)據(jù)都放在“云端”統(tǒng)一的數(shù)據(jù)中心，全世界的人們都有機(jī)會(huì)登陸來(lái)獲得超高清晰的圖像視頻數(shù)據(jù)，這也就是曾曉洋團(tuán)隊(duì)“云相機(jī)”概念的出發(fā)點(diǎn)。
五億級(jí)像素云相機(jī)的出現(xiàn)，將會(huì)給人們的生活帶來(lái)哪些便利？曾曉洋介紹，這款相機(jī)系統(tǒng)在國(guó)防、安防和民用等領(lǐng)域都具有廣泛的應(yīng)用前景。
就大城市安防應(yīng)用而言，傳統(tǒng)的安防監(jiān)控系統(tǒng)把城市區(qū)域分割成了一個(gè)又一個(gè)的小方塊，遍布大街小巷的攝像頭對(duì)每一個(gè)小區(qū)域進(jìn)行實(shí)時(shí)監(jiān)控，就是因?yàn)橐粋�(gè)個(gè)“小炮筒”的分散，傳統(tǒng)安防監(jiān)控系統(tǒng)很難對(duì)街道、機(jī)場(chǎng)、地鐵等視域?qū)掗煹墓矆?chǎng)所中的車(chē)流、人流等進(jìn)行整體性的評(píng)估和預(yù)判。而五億級(jí)像素云相機(jī)系統(tǒng)的加入可有效解決這個(gè)傳統(tǒng)安防監(jiān)控方案的痛點(diǎn)。“假如在上海中心合適位置布置我們的五億級(jí)像素云相機(jī)系統(tǒng)，可以實(shí)時(shí)掌握整個(gè)外灘的大人流分布情況，從而極大助力在特殊時(shí)期警力更有針對(duì)性的安排，更有效地防范意外事件的發(fā)生。”
與此同時(shí)，曾曉洋提到，因?yàn)椤俺h(yuǎn)距離”“高清成像”的特性，出于保護(hù)個(gè)人隱私的考慮，超高像素云相機(jī)的出現(xiàn)也對(duì)相關(guān)法律法規(guī)的跟進(jìn)提出了要求�！昂Ａ恳曨l圖像數(shù)據(jù)的獲取都得有監(jiān)管，畢竟強(qiáng)有力的安防和個(gè)人隱私的保護(hù)得有平衡�！�
國(guó)產(chǎn)自主創(chuàng)新的五億級(jí)像素云相機(jī)系統(tǒng)是復(fù)旦大學(xué)和中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所協(xié)同創(chuàng)新的最新科研成果，也是兩個(gè)單位、兩個(gè)國(guó)家重點(diǎn)實(shí)驗(yàn)室團(tuán)隊(duì)緊密合作的結(jié)果。2017年10月，億級(jí)像素的云相機(jī)系統(tǒng)研發(fā)成功，獲取了超過(guò)三億像素的超高清視頻圖像。這款相機(jī)外形類(lèi)似和日常使用的投影儀，“盒子”樣的“軀干”上探出了一個(gè)“鏡頭”的“腦袋”。目前，三/五億級(jí)像素云相機(jī)已投入工業(yè)量產(chǎn)，它們作為五億級(jí)像素相機(jī)的“探路者”和“試驗(yàn)田”，率先在各個(gè)相關(guān)領(lǐng)域發(fā)揮作用。
