《科學(xué)》刊文稱AI某些領(lǐng)域的核心研究一直停滯不前
人工智能核心創(chuàng)新觸及天花板?
“目前人工智能論文數(shù)量激增,泥沙俱下,導(dǎo)致部分論文質(zhì)量不高,但這并不能說明人工智能發(fā)展停滯不前,而是表明目前有更多的研究人員投入到了這個(gè)火熱的研究方向。”
最近幾年,在人工智能領(lǐng)域,從基礎(chǔ)算法到落地應(yīng)用研究成果不斷涌現(xiàn),其中致力于人工智能落地的應(yīng)用成果尤其突出,目前人工智能許多子領(lǐng)域的系統(tǒng)在性能上已經(jīng)滿足了具體應(yīng)用場景的落地要求。
但這能說明人工智能領(lǐng)域的核心創(chuàng)新存在明顯進(jìn)步嗎?近日,《科學(xué)》雜志刊登的一篇標(biāo)題為《人工智能某些領(lǐng)域的核心進(jìn)展一直停滯不前》的文章,對目前人工智能的研究成果提出了質(zhì)疑。作者馬修·赫特森指出,研究員聲稱的核心創(chuàng)新只是對原算法的微改進(jìn),新技術(shù)與多年前的舊算法在性能上相差不大。
近幾年人工智能領(lǐng)域快速發(fā)展,其應(yīng)用場景不斷拓寬,為何該論文卻認(rèn)為人工智能某些領(lǐng)域的核心進(jìn)展停滯不前?當(dāng)前人工智能的核心創(chuàng)新是否已經(jīng)觸及了“天花板”?就此,科技日報(bào)記者采訪了有關(guān)專家。
AI核心研究是否取得突破進(jìn)展存爭議
具體來說,《科學(xué)》雜志上刊登的這篇文章指出的現(xiàn)象主要有哪些呢?
該文章引用了近期在神經(jīng)網(wǎng)絡(luò)推薦算法、對抗性訓(xùn)練、自然語言模型等領(lǐng)域的批判性論文,指出這些年來一些人工智能算法發(fā)展中面臨的問題。
作者馬修·赫特森認(rèn)為,當(dāng)前部分子領(lǐng)域算法核心的改進(jìn)并未取得突破進(jìn)展。同時(shí),當(dāng)前多數(shù)論文傾向于提出新算法而不是在舊算法上調(diào)優(yōu),這樣做的主要原因是更容易發(fā)表論文,盡管在舊算法上調(diào)優(yōu)的效果和新算法的效果相差無幾。
“目前人工智能論文數(shù)量激增,泥沙俱下,導(dǎo)致部分論文質(zhì)量不高,選題跟風(fēng)甚至論文灌水的現(xiàn)象確實(shí)存在,但這并不能說明人工智能發(fā)展停滯不前,而是表明目前有更多的學(xué)者和研究人員投入到了這個(gè)火熱的研究方向。”微眾銀行人工智能首席科學(xué)家范力欣在接受科技日報(bào)記者采訪時(shí)表示。
范力欣強(qiáng)調(diào),尤其需要指出的是,年輕學(xué)子中的佼佼者,包括博士、學(xué)士甚至高中生,都有了登上人工智能頂會頂刊嶄露頭角的機(jī)會。面對這樣的形勢,以偏概全地以“核心研究停滯不前”來總結(jié)是不合適的。
事實(shí)上,近幾年,人工智能某些領(lǐng)域的創(chuàng)新,包括算法核心創(chuàng)新,還是取得了較為明顯的進(jìn)步。
如在自然語言處理領(lǐng)域,《科學(xué)》雜志這篇報(bào)道中提到的長短期記憶網(wǎng)絡(luò)(LSTM)是1997年提出的,而當(dāng)前,Transformer架構(gòu)在速度和性能方面,比長短期記憶網(wǎng)絡(luò)要更優(yōu)越;預(yù)訓(xùn)練模型方面,以BERT為代表的預(yù)訓(xùn)練模型不僅在很多任務(wù)上獲得成功,更帶來了自然語言處理研究和應(yīng)用范式的變化。更重要的是這些改進(jìn)已經(jīng)在相對比較公認(rèn)的數(shù)據(jù)集上測試過,有的還在實(shí)際的產(chǎn)業(yè)應(yīng)用中獲得成功。
對此,南京大學(xué)人工智能學(xué)院教授俞揚(yáng)也指出,近幾年人工智能國際頂級會議的投稿數(shù)量持續(xù)上漲,如近期神經(jīng)信息處理系統(tǒng)大會會議的投稿接近一萬篇,其中技術(shù)“催熟”、審稿隨機(jī)的現(xiàn)象確實(shí)存在。同時(shí),革新性的工作往往容易遭受質(zhì)疑,在海量投稿中真正的技術(shù)進(jìn)步也容易被淹沒。
核心創(chuàng)新要瞄準(zhǔn)“痛點(diǎn)”
當(dāng)前,在人工智能領(lǐng)域“洶涌”的浪潮中,研究人員的成果如何稱得上核心創(chuàng)新、突破進(jìn)展?
“能夠克服以往的局限,在我看來就是突破?朔木窒拊疥P(guān)鍵、越深刻、越普適,突破就越巨大!庇釗P(yáng)舉例說,例如,以往在國際象棋上戰(zhàn)勝人類的搜索算法,無法擴(kuò)展到搜索空間更加巨大的圍棋上,而廣為人知的阿爾法圍棋便利用機(jī)器學(xué)習(xí)技術(shù)減少了巨大的搜索空間,從而取得成功。
范力欣認(rèn)為,雖然人工智能領(lǐng)域的研究很火熱,但該領(lǐng)域現(xiàn)在仍然處于積累實(shí)踐觀察的初級階段,F(xiàn)在的核心創(chuàng)新, 就是通過觀察與分析新的現(xiàn)象,不斷提升現(xiàn)有方法的實(shí)際性能,并收集數(shù)據(jù)、證據(jù)。長期大量的觀測后,真正有價(jià)值的是無數(shù)小的觀察結(jié)果。
那對算法進(jìn)行創(chuàng)新需要哪些條件?“首先是要找準(zhǔn)問題,特別是關(guān)注制約算法性能的‘瓶頸’問題,這也是目前人工智能算法改進(jìn)最難的!睆B門大學(xué)人工智能系副教授陳毅東說。
找到問題之后,需要提出合適的應(yīng)對方法。一方面,新方法可以來源于對目標(biāo)任務(wù)領(lǐng)域知識的結(jié)合,這需要研究者對目標(biāo)任務(wù)和相關(guān)領(lǐng)域知識有全面的把握;另一方面,新方法還可以來源于其他學(xué)科,仿生技術(shù)就是常用的方式,這需要研究者對跨學(xué)科知識有一定的涉獵。
“除此以外,由于現(xiàn)實(shí)條件的限制,如數(shù)據(jù)、算力等,算法改進(jìn)要成功還需要根據(jù)現(xiàn)實(shí)條件進(jìn)行各種折中和裁剪。這又需要研究者具有相當(dāng)?shù)墓こ棠芰蛯?shí)踐經(jīng)驗(yàn)!标愐銝|說。
科技日報(bào)記者了解到,2015年誕生的阿爾法圍棋組成部分中,搜索樹方法發(fā)表于2006年,策略梯度強(qiáng)化學(xué)習(xí)發(fā)表于2000年,卷積神經(jīng)網(wǎng)絡(luò)的提出則更早!翱茖W(xué)發(fā)展常常是證偽的過程,而不是一次性提出一個(gè)開創(chuàng)性的新理論。只有集量變?yōu)橘|(zhì)變, 才能為即將到來的理論突破打下堅(jiān)實(shí)可靠的基礎(chǔ)!狈读π勒f。
“人工智能基礎(chǔ)研究要取得突破,很有可能需要做長期并且有爭議的工作!庇釗P(yáng)指出,如何為這樣的研究工作、研究者提供足夠的生存空間,對熱點(diǎn)之外的研究方向有獨(dú)立清晰的判斷力,尤其是在人工智能熱浪一波接一波的環(huán)境下保持對基礎(chǔ)研發(fā)的投入,可能是為推動人工智能基礎(chǔ)研發(fā)、產(chǎn)生原創(chuàng)性基礎(chǔ)成果需要考慮的重要問題。
還無法做到全領(lǐng)域創(chuàng)新評價(jià)標(biāo)準(zhǔn)統(tǒng)一
根據(jù)上述論文的觀察,不少研究工作都夸大了其改進(jìn)的效果,而其中的根源問題之一,是當(dāng)前人工智能相關(guān)領(lǐng)域的創(chuàng)新評價(jià)標(biāo)準(zhǔn)不統(tǒng)一,那么目前有無解決措施?
事實(shí)上,當(dāng)前有不少解決途徑,如代碼開源、公開模型、公開實(shí)驗(yàn)結(jié)果等手段,都能夠加強(qiáng)研究工作的可復(fù)現(xiàn)性和可對比性。
不過,作為一個(gè)還在不斷發(fā)展變化的領(lǐng)域,新問題、新領(lǐng)域、新現(xiàn)象、新關(guān)注點(diǎn)層出不窮,全領(lǐng)域范圍要做到評價(jià)標(biāo)準(zhǔn)統(tǒng)一十分困難。但在一些已經(jīng)成形的領(lǐng)域,有組織地制定統(tǒng)一評價(jià)標(biāo)準(zhǔn)是有可能而且很必要的。
陳毅東認(rèn)為,首先制定評測標(biāo)準(zhǔn)需要一定站位高度,也面臨相當(dāng)?shù)碾y度和工作量,還需要根據(jù)研究前沿的變化不斷進(jìn)行調(diào)整更新。因此,必須有組織地開展,建議可以由相關(guān)學(xué)會的專委會、學(xué)術(shù)與產(chǎn)業(yè)聯(lián)盟有組織地引導(dǎo)領(lǐng)域?qū)W者、產(chǎn)業(yè)界研究人員來共同完成。
“其次,真實(shí)的場景和數(shù)據(jù)往往來源于產(chǎn)業(yè)界,建議學(xué)術(shù)界和產(chǎn)業(yè)界更加密切地配合,共同研討相關(guān)領(lǐng)域的前沿動態(tài)、發(fā)展方向和應(yīng)用痛點(diǎn),制定相應(yīng)的標(biāo)準(zhǔn)數(shù)據(jù)集、搭建平臺,并面向科研開放數(shù)據(jù)、接口甚至計(jì)算資源!标愐銝|說。
從應(yīng)用的角度看,當(dāng)前人工智能技術(shù)仍然處于積累實(shí)踐觀察的初級階段,面臨著在許多實(shí)際環(huán)境條件下無法奏效的困境。
近期的學(xué)術(shù)會議在論文的評價(jià)標(biāo)準(zhǔn)上,也越來越強(qiáng)調(diào)研究工作的可復(fù)現(xiàn)性。俞揚(yáng)建議,要把基礎(chǔ)研究與國內(nèi)的實(shí)際生產(chǎn)需求結(jié)合,一方面在特別的需求牽引下容易產(chǎn)生原創(chuàng)成果;另一方面,來自實(shí)際需求的正反饋容易形成閉環(huán)激勵(lì),有利于不斷創(chuàng)新,形成自主技術(shù)體系。
“實(shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn),任何算法是否是真正的創(chuàng)新都要接受實(shí)踐的檢驗(yàn)。堅(jiān)持不懈就會收獲美好的結(jié)果, 我個(gè)人是持樂觀態(tài)度的。文章作者其實(shí)也認(rèn)同這一點(diǎn), 提出各種方法必須經(jīng)過嚴(yán)格的驗(yàn)證, 只是文章中沒有全面反映現(xiàn)在人工智能發(fā)展的總體態(tài)勢,存在以偏概全誤導(dǎo)公眾的可能!狈读π勒f。 (記者 謝開飛 馬愛平 通 訊 員 歐陽桂蓮)