火山引擎ByteHouse助力車企實(shí)現(xiàn)高性能數(shù)據(jù)分析
新能源汽車市場正在迎來飛速發(fā)展時期。根據(jù) IDC 預(yù)測,中國乘用車市場中,新能源車市場規(guī)模將在2028年超過2300萬輛,年復(fù)合增長率為22.8%。
一套高可靠、高性能、高可用的數(shù)據(jù)分析系統(tǒng)對于新能源車及時發(fā)現(xiàn)和解決問題、保障車輛安全、提升產(chǎn)品質(zhì)量都具有重要意義。
行業(yè)上曾有過電池溫度過高,超過安全閾值,導(dǎo)致車輛事故的新聞報道。實(shí)時車輛信號數(shù)據(jù)分析系統(tǒng)則能實(shí)時監(jiān)測電池溫度、電流、電壓等信號數(shù)據(jù)。當(dāng)溫度異常升高時,系統(tǒng)能夠立即向車主發(fā)出警報,提醒車主采取措施,比如降低車速或盡快找到安全地點(diǎn)停車。同樣,相關(guān)數(shù)據(jù)也會被實(shí)時傳輸回車輛制造商的服務(wù)器。制造商的技術(shù)團(tuán)隊可以迅速分析數(shù)據(jù),判斷是否是個別車輛的故障,還是存在批次性的產(chǎn)品質(zhì)量問題。
為了支撐車輛數(shù)據(jù)系統(tǒng)對實(shí)時性的要求,車企在底層數(shù)據(jù)引擎選型上往往傾向于能對大規(guī)模數(shù)據(jù)、復(fù)雜場景的分析型數(shù)據(jù)庫。作為火山引擎推出的一款定位于OLAP的分析型數(shù)據(jù)庫,ByteHouse因其高性能、極致分析能力,進(jìn)入某新能源車企的視野。
通過選取某一輛車一天的樣例數(shù)據(jù),車企模擬了近千億條數(shù)據(jù)進(jìn)行測試。在單表點(diǎn)查、單表聚合、關(guān)聯(lián)聚合等查詢場景中,基于相同SQL查詢,相比于市場同類型產(chǎn)品,ByteHouse性能提升至少4倍。
據(jù)介紹,ByteHouse的高性能主要來源于其在復(fù)雜查詢、寬表查詢等場景中的系列優(yōu)化措施。在復(fù)雜查詢上,ByteHouse推出了一系列自研優(yōu)化器,包括RBO(基于規(guī)則的優(yōu)化能力)、CBO(基于代價的優(yōu)化能力)、分布式計劃生成等,能夠準(zhǔn)確的計算出效率最大化執(zhí)行路徑,大幅度降低用戶查詢時間。除此之外,ByteHouse還從Exchange、Runtime Filter以及并行化重構(gòu)等方向進(jìn)行了優(yōu)化。在寬表查詢場景中,ByteHouse主要通過全局字典、Zero copy以及UncompressedCache 來實(shí)現(xiàn)性能提升。
在此前發(fā)布的性能白皮書中,ByteHouse通過SSB、TPC-H 和 TPC-DS三種數(shù)據(jù)集測試結(jié)果展示了其性能硬實(shí)力。以性能著稱的某開源OLAP作為基準(zhǔn)測試產(chǎn)品,ByteHouse在不同查詢項上都有顯著的性能提升。以TPC-H 數(shù)據(jù)集舉例,在相同硬件和軟件環(huán)境下, ByteHouse 查詢效率高于本次基準(zhǔn)測試產(chǎn)品幾十倍。
通過一系列技術(shù)優(yōu)化手段,ByteHouse實(shí)現(xiàn)性能進(jìn)一步提升,縮短查詢執(zhí)行時間、優(yōu)化資源利用,能應(yīng)對更復(fù)雜的查詢場景,為用戶提供更流暢的數(shù)據(jù)分析體驗,應(yīng)用于互聯(lián)網(wǎng)、游戲、金融、汽車、氣象等領(lǐng)域,助推數(shù)智化轉(zhuǎn)型升級。(作者:李偉)