5月13日,在北京舉辦的“騰訊云原生智能數(shù)據(jù)湖”發(fā)布會上,騰訊云首次對外展示完整云端數(shù)據(jù)湖產品圖譜,并推出兩款“開箱即用”數(shù)據(jù)湖產品,數(shù)據(jù)湖計算服務DLC和數(shù)據(jù)湖構建DLF。
騰訊云大數(shù)據(jù)產品中心副總經理雷小平表示:“伴隨著企業(yè)對于數(shù)據(jù)洞察敏捷度要求的不斷提升,騰訊云正在不斷探索更智能、更靈活、更高性價比的大數(shù)據(jù)工具。我們看到,數(shù)據(jù)湖架構已經成為在數(shù)據(jù)智能時代的新趨勢,而云是數(shù)據(jù)湖最佳的實踐場所。騰訊云原生智能數(shù)據(jù)湖將助力各行各業(yè)解決多元化數(shù)據(jù)分析場景的新需求,更好地激發(fā)大數(shù)據(jù)在企業(yè)數(shù)字化升級過程中的價值!
六大層級產品構筑全方位數(shù)據(jù)湖服務
云原生數(shù)據(jù)湖可以賦予客戶更高的數(shù)據(jù)敏捷度、更優(yōu)的數(shù)據(jù)存儲分析成本,以及更極致的資源彈性能力,在打破數(shù)據(jù)孤島、實現(xiàn)多元化數(shù)據(jù)分析等方面具有獨特優(yōu)勢。
騰訊云此次展示的完整云原生數(shù)據(jù)湖產品矩陣包括數(shù)據(jù)湖存儲、數(shù)據(jù)湖算力調度、數(shù)據(jù)湖大數(shù)據(jù)分析、數(shù)據(jù)湖AI能力、以及數(shù)據(jù)湖應用和云上基礎服務六個層面,提供一體化的全方位服務。
騰訊云原生智能數(shù)據(jù)湖產品圖譜
數(shù)據(jù)湖存儲以對象存儲COS服務為核心,理論上可以存儲任意規(guī)模的異構數(shù)據(jù),具有高可靠性和高持久性,同時也支持將其他云端數(shù)據(jù)設施作為數(shù)據(jù)湖的存儲服務。在數(shù)據(jù)湖算力調度方面,基于騰訊云彈性容器服務EKS,開放的容器化的分析架構讓數(shù)據(jù)分析功能可組合性更強,擴展性更強,資源利用率更高。
在數(shù)據(jù)分析層,騰訊云數(shù)據(jù)湖既提供半托管的泛Hadoop服務,滿足用戶自定義需求,也提供全托管的數(shù)據(jù)服務,便于用戶獲取海量數(shù)據(jù)的洞察力。此外,用戶還可利用騰訊云提供的數(shù)據(jù)協(xié)作工具對計算服務進行編排和調用,大幅度提升企業(yè)數(shù)據(jù)的便捷性和敏捷度。
值得一提的是,針對越來越多的音視圖文數(shù)據(jù),騰訊云數(shù)據(jù)湖包含豐富的AI服務,為圖像處理、音頻處理、自然語言處理、視頻處理等提供有力的數(shù)據(jù)支撐。在數(shù)據(jù)應用服務中,騰訊云推出基于數(shù)據(jù)湖的數(shù)據(jù)應用服務,比如企業(yè)畫像、聯(lián)邦計算、商業(yè)智能分析等。
最后,云原生的基礎服務為騰訊云數(shù)據(jù)湖體系提供了有力的保障。
雷小平表示,這六大層面基本涵蓋了客戶的諸多需求,此外,騰訊云還在不斷的研發(fā)更多的數(shù)據(jù)湖產品,以完善云原生智能數(shù)據(jù)湖矩陣。
兩款“開箱即用”數(shù)據(jù)湖新品 消除數(shù)據(jù)孤島
為了幫助客戶快速構建和分析數(shù)據(jù)湖,騰訊云此次正式推出兩款開箱即用的數(shù)據(jù)湖產品:數(shù)據(jù)湖計算服務(Data Lake Compute,簡稱DLC)和數(shù)據(jù)湖構建(Data Lake Formation ,簡稱DLF)。
數(shù)據(jù)湖計算服務作為敏捷高效的的數(shù)據(jù)湖分析引擎,采用無服務器架構設計,用戶無需關注底層架構或維護計算資源,使用標準SQL即可完成對象存儲服務及其它云端數(shù)據(jù)設施的聯(lián)合分析。此外,用戶無需進行傳統(tǒng)的數(shù)據(jù)分層建模,大幅縮減了海量數(shù)據(jù)分析的準備時間,有效提升了企業(yè)數(shù)據(jù)敏捷度。
數(shù)據(jù)湖構建則能幫助用戶快速高效的構建企業(yè)數(shù)據(jù)湖技術架構,包括統(tǒng)一元數(shù)據(jù)管理、多源數(shù)據(jù)入湖、任務編排、權限管理等數(shù)據(jù)湖構建工具。同時,借助數(shù)據(jù)湖構建,用戶可以極大提高數(shù)據(jù)入湖準備的效率,方便地管理散落各處的孤島數(shù)據(jù)。
雷小平表示,基于這兩款數(shù)據(jù)湖產品,相比于本地自建大數(shù)據(jù)集群,數(shù)據(jù)湖構建時間減少了60%,數(shù)據(jù)分析計算性能提升35.5%,云端數(shù)據(jù)湖架構投入使用后可使存算數(shù)據(jù)量增長75%,配合其他大數(shù)據(jù)服務,在業(yè)務峰值期可以節(jié)約30%的硬件資源,以及一半的大數(shù)據(jù)工程師和運維工程師。
三大趨勢催生國內首個云原生智能數(shù)據(jù)湖
騰訊云此次推出云原生智能數(shù)據(jù)湖的背后,是數(shù)智時代的數(shù)據(jù)分析新趨勢,包括以云計算為中心、以數(shù)據(jù)驅動業(yè)務及可組合式數(shù)據(jù)架構。
預計到2021年低,云將承載80%的應用開發(fā)和部署。與此同時,數(shù)據(jù)驅動業(yè)務的浪潮席卷了各行各業(yè),據(jù)知名咨詢機構統(tǒng)計,到2025年全球數(shù)據(jù)總量將超過160ZB,全球數(shù)據(jù)總量的近20%將成為影響日常生活的關鍵數(shù)據(jù),近10%將變?yōu)槌P鍵數(shù)據(jù)。
為此,企業(yè)迫切需要可以利用多個數(shù)據(jù)源、使用不同的大數(shù)據(jù)分析技術,快速構建靈活友好的數(shù)據(jù)架構,解決多元化分析場景的數(shù)據(jù)需求。
“面對這些變化,騰訊云原生智能數(shù)據(jù)湖應勢而生。”雷小平認為:“云原生智能數(shù)據(jù)湖,能夠很好的擴展計算和存儲資源,同時能極大地降低運維管理難度,實現(xiàn)業(yè)務靈活部署。”
騰訊云云原生智能數(shù)據(jù)湖具備更高的數(shù)據(jù)敏捷度、更優(yōu)的數(shù)據(jù)性價比、更強的數(shù)據(jù)智能化能力,可以更好地激發(fā)數(shù)據(jù)業(yè)務價值。同時,它天然具備云服務的眾多優(yōu)勢,包括多租戶的權限管控、存儲計算資源彈性伸縮、底層資源免運維、云端服務高可用高可靠、僅需按照使用量付費等。
在應用方面,騰訊云正在積極推動數(shù)據(jù)湖在政務、工業(yè)、零售等領域的大規(guī)模落地。騰訊云數(shù)據(jù)湖體系已服務眾多內外部客戶,其整體算力彈性資源池已達500萬核,存儲數(shù)據(jù)超過100PB,每日分析任務數(shù)達1500萬,每日實時計算次數(shù)超過萬億,能支持上億維度的數(shù)據(jù)訓練。
業(yè)內人士認為:“作為數(shù)智時代的新引擎,云原生智能數(shù)據(jù)湖能夠為用戶帶來更多的可能性,挖掘更大的數(shù)據(jù)潛能。在新一輪的產業(yè)互聯(lián)網浪潮中,政企都需要掛上新引擎,實現(xiàn)更好的數(shù)智化轉型!