中國大大數據及時闡發技能改革打破最新動向:做到毫秒級響應

尋夢新聞LINE@每日推播熱門推薦文章,趣聞不漏接❤️

加入LINE好友

業內專家說,1:1.4的內存占比,這是國際領先的內存壓縮技術,比其他同類產品少2-3倍的內存消耗,也是優秀的內存數據庫執行引擎,執行TPC-H標準測試比spark快8倍以上,具有國際ISO標準的流數據SQL處理引擎,可支持對流關聯分析和流數據與歷史數據關聯分析。其技術應用價值在於,大數據實時分析、交互式查詢,支持新一代商業智能軟件自助分析、自定義報表快速展示、上鑽、下鑽、切片等功能快速做到;聯邦功能可關聯多種數據源形成數據湖,消除數據孤島;通過標準SQL處理流數據等。

在國際主流的TPCH上進行測試(TPCH是國際上認定的分析性數據庫測試的標準)的結果表明,通過在5 台單機 2 路 8 核 256GB 內存服務器組成的集群上進行測試:在同樣環境下,對同樣生成100G的數據,進行總體數據的查詢顯示,rapidsDB執行時間為186.3秒,國際上主流的內存數據庫greenplum與spark的執行時間分別為3376.09秒和1528.67秒, 測試結果要比spark快8倍,相比其他的產品更具有優勢。

據領銜研發這款產品的柏睿數據董事長兼CTO劉睿民披露,目前國際主流數據庫產品性能均已進入到TB級分析能力時代,核心技術向高性能、高吞吐、高並發、低延時、按需在線靈活擴展等特性進化,要求能夠對大規模(即海量)、上百個維度的多源異構數據進行實時加速分析。而與甲骨文、SAP、微軟等國際著名數據庫廠商相比,目前中國的數據庫產品技術在自主創新基礎上的突破和對國際同行的超越,已勢不可擋。

據了解,這款產品的研發團隊底層基因是一個純技術團隊,對於數據庫核心在內的所有組件(執行引擎和存儲引擎)及整體架構均是自主設計和自主研發可控:即從數據應用層、解析層、優化層、執行層到存儲引擎的五層均是完全自主,在代碼編寫和數據保護層面都具有完全自主可控權。

劉睿民表示,能夠做到國產數據庫自主研發離不開我們的核心團隊在這個領域的深耕與探索,並積累了大量的技術和服務經驗。有資料顯示,該技術團隊來源於惠普實驗室,其核心技術架構師均師從數據庫鼻祖圖靈獎獲得者Jim Gray。劉睿民說,他希望能夠帶領這個團隊走向世界,成為一個響當當的有核心技術、靠技術驅動的企業級數據庫服務商。

業內人士說,中國在近年來的全球大數據革命浪潮中湧現了一批從底層數據庫、大數據應用、數據可視化等廠商。大數據技術在各行業的應用越來越普遍,但是基於完全自主研發的自主可控產品卻寥寥無幾,尤其是在底層核心基礎軟件上,更是屢被歐美國家卡脖子,核心技術一直無法取得大的突破。而解決關鍵核心技術卡脖子問題無捷徑可走,只有修煉內功,做到核心技術的自主研發,用實力完成趕超。

柏睿數據方面表示,作為一家成長在大數據和人工智能時代的中國高科技公司,其基於完全自主研發的安全可靠全內存分布式數據庫、流數據庫、數據庫內人工智能庫等核心產品在中國經受住銀行業、工業、運輸業、零售業和電信等領域海量實時數據的分析考驗。尤其在金融領域中,針對100TB級的數據量全內存分布式數據庫RapidsDB v4.0可以做到秒級響應,這樣的數據規模,北美的企業是不可企及的,而對於OLTP企業更是難以望其項背,同樣對於專攻於OLAP on Hadoop的企業來說,也是不敢挑戰的。而柏睿數據憑借紮實的研發與堅定的理想信念,致力於為政府和企業的數字化轉型及國民產業升級,提供大數據實時分析技術、產品及整體解決方案,深度參與數字中國建設。

有關技術專家認為,本次會上,柏睿數據帶來的全內存分布式數據庫RapidsDB v4.0,作為中國完全自主研發且擁有自主知識產權、全球領先的一款TB級分析型數據庫軟件產品,其所具有的高性能、高吞吐、高並發、低延時、按需在線靈活擴展等特性,能夠對大規模、上百個維度的多源異構數據進行實時加速分析,面向政府和企業都有十分廣闊的應用空間,而且伴隨大數據時代不斷演進,數據產生的速度越來越快、數據類型越來越複雜,其領先性和重要性會愈加凸顯。

責任編輯:徐蕓茜 主編:商灝

About 尋夢園
尋夢園是台灣最大的聊天室及交友社群網站。 致力於發展能夠讓會員們彼此互動、盡情分享自我的平台。 擁有數百間不同的聊天室 ,讓您隨時隨地都能找到志同道合的好友!