小米汽車正式接入VLM視覺語言大模型
近日,小米汽車官方發(fā)布,小米SU7 1.4.5 OTA已開始推送,共13項新增功能,26項體驗優(yōu)化。
尤為值得關注的是,此次更新,小米SU7正式接入VLM視覺語言大模型,系統(tǒng)可識別復雜道路環(huán)境和特殊交通規(guī)則區(qū)域,并通過文字和語音提示。
具體來看,接入VLM視覺語言大模型后,對于復雜道路環(huán)境下應對能力有所提升。據(jù)小米汽車介紹,系統(tǒng)將能識別施工區(qū)域、昏暗小路、大面積的積水路段等復雜道路環(huán)境和公交車道等特殊交通規(guī)則區(qū)域,并通過文字和語音提示。
為進一步提升端到端系統(tǒng)決策的準確性和靈活性,目前,行業(yè)里流行的做法是端到端+VLM架構。
因為駕駛時需要多模態(tài)的感知交互系統(tǒng),用戶的視覺、聽覺以及周圍環(huán)境的變化,甚至個人情感的波動,都與駕駛行為密切相關,所以在端到端+VLM的技術架構中,端到端系統(tǒng)負責處理感知、決策和執(zhí)行的全過程,而VLM則作為輔助系統(tǒng),提供對復雜交通場景的理解和語義解析。
這種架構下,兩個模型相對獨立工作,VLM主要在特定情況下為端到端系統(tǒng)提供建議或補充信息。
此外,此次小米SU7的OTA,在城市領航輔助方面,對車輛、行人速度與軌跡檢測,改善縱向加減速體驗,并提升整體安全性,對紅綠燈檢測穩(wěn)定性、路口車道選擇邏輯、正逆車道判別、臨停車與排隊車判別邏輯等方面,做了進一步的優(yōu)化。
小米SU7還新增了轉向燈自動關閉功能,幫助駕駛員在車輛完成變道動作后,自動關閉轉向燈。當車輛檢測到對相同方向即將再次變道或轉彎時,轉向燈將不會熄滅。新增遙控智能泊出功能,可在車外通過小米汽車APP智能泊車輔助-遙控泊車功能泊出車輛。
在小米澎湃智能座艙方面,其中亮點是小米SU7充電地圖煥新升級。小米汽車與蔚來、小鵬、理想達成充電補能網(wǎng)絡合作,搜索充電時可展示合作場站動態(tài)數(shù)據(jù),包括忙閑狀態(tài)、功率、價格時段、停車費用等。充電地圖中新增多項充電篩選,可根據(jù)偏好篩選個人喜好的場站,包括優(yōu)選、空閑較多、免費停車、功率范圍等。
手車互聯(lián)方面,小米澎湃智能座艙也新增了一些功能體驗,在掃碼登錄頁面,持續(xù)搜索已連接的藍牙鑰匙,可免掃碼快速登錄。小米手機在手車互聯(lián)狀態(tài)下,視頻通話可使用車機前攝像頭。
駕駛體驗方面,新增惡劣路況駕駛提醒,識別道路狀態(tài),當用戶在惡劣路況開啟Boost功能時,大屏提醒駕駛員注意安全駕駛,方向盤轉向過大時,無法開啟Boost功能。還有轉向影像內的轉向方向指引,幫助用戶快速判斷視角,以及電動尾翼記憶功能,增加電動尾翼開關設置項記憶功能。
隨著汽車智能化競爭的日益白熱化,車企們對端到端+VLM自動駕駛技術以及智能座艙領域的探索與創(chuàng)新正在加速,每一分細節(jié)的打磨,每一次技術的跨越,都是決勝未來的籌碼。