• 全國(guó)都能開的無(wú)圖NOA將于7月內(nèi)向理想AD Max全量用戶推送
• 7月內(nèi)推送全自動(dòng)AES和全方位低速AEB
• 發(fā)布基于端到端模型、VLM視覺(jué)語(yǔ)言模型和世界模型的全新自動(dòng)駕駛技術(shù)架構(gòu)
• 開啟端到端+VLM的早鳥計(jì)劃

2024年7月5日，理想汽車在2024智能駕駛夏季發(fā)布會(huì)宣布將于7月內(nèi)向全量理想AD Max用戶推送“全國(guó)都能開”的無(wú)圖NOA，并將于7月內(nèi)推送全自動(dòng)AES（自動(dòng)緊急轉(zhuǎn)向）和全方位低速AEB（自動(dòng)緊急制動(dòng)）。同時(shí)，理想汽車發(fā)布了基于端到端模型、VLM視覺(jué)語(yǔ)言模型和世界模型的全新自動(dòng)駕駛技術(shù)架構(gòu)，并開啟新架構(gòu)的早鳥計(jì)劃。

智能駕駛產(chǎn)品方面，無(wú)圖NOA不再依賴高精地圖或先驗(yàn)信息，在全國(guó)范圍內(nèi)的導(dǎo)航覆蓋區(qū)域均可使用，并借助時(shí)空聯(lián)合規(guī)劃能力帶來(lái)更絲滑的繞行體驗(yàn)。無(wú)圖NOA也具備超遠(yuǎn)視距導(dǎo)航選路能力，在復(fù)雜路口依然可以順暢通行。同時(shí)，無(wú)圖NOA充分考慮用戶心理安全邊界，用分米級(jí)微操帶來(lái)默契安心的智駕體驗(yàn)。此外，即將推送的AES功能可以實(shí)現(xiàn)不依賴人輔助扭力的全自動(dòng)觸發(fā)，規(guī)避更多高危事故風(fēng)險(xiǎn)。全方位低速AEB則再次拓展主動(dòng)安全風(fēng)險(xiǎn)場(chǎng)景，有效減少低速挪車場(chǎng)景的高頻剮蹭事故發(fā)生。

自動(dòng)駕駛技術(shù)方面，新架構(gòu)由端到端模型、VLM視覺(jué)語(yǔ)言模型和世界模型共同構(gòu)成。端到端模型用于處理常規(guī)的駕駛行為，從傳感器輸入到行駛軌跡輸出只經(jīng)過(guò)一個(gè)模型，信息傳遞、推理計(jì)算和模型迭代更高效，駕駛行為更擬人。VLM視覺(jué)語(yǔ)言模型具備強(qiáng)大的邏輯思考能力，可以理解復(fù)雜路況、導(dǎo)航地圖和交通規(guī)則，應(yīng)對(duì)高難度的未知場(chǎng)景。同時(shí)，自動(dòng)駕駛系統(tǒng)將在基于世界模型構(gòu)建的虛擬環(huán)境中進(jìn)行能力學(xué)習(xí)和測(cè)試。世界模型結(jié)合重建和生成兩種路徑，構(gòu)建的測(cè)試場(chǎng)景既符合真實(shí)規(guī)律，也兼具優(yōu)秀的泛化能力。

理想汽車產(chǎn)品部高級(jí)副總裁范皓宇表示：“理想汽車始終堅(jiān)持和用戶共同打磨產(chǎn)品體驗(yàn)，從今年5月推送首批千名體驗(yàn)用戶，到6月將體驗(yàn)用戶規(guī)模擴(kuò)展至萬(wàn)人以上，我們已經(jīng)在全國(guó)各地積累了超百萬(wàn)公里的無(wú)圖NOA行駛里程。無(wú)圖NOA全量推送后，24萬(wàn)名理想AD Max車主都將用上當(dāng)前國(guó)內(nèi)領(lǐng)先的智能駕駛產(chǎn)品，這是一項(xiàng)誠(chéng)意滿滿的重磅升級(jí)?！?/p>

理想汽車智能駕駛研發(fā)副總裁郎咸朋表示：“從2021年啟動(dòng)全棧自研，到今天發(fā)布全新的自動(dòng)駕駛技術(shù)架構(gòu)，理想汽車的自動(dòng)駕駛研發(fā)從未停止探索的腳步。我們結(jié)合端到端模型和VLM視覺(jué)語(yǔ)言模型，帶來(lái)了業(yè)界首個(gè)在車端部署雙系統(tǒng)的方案，也首次將VLM視覺(jué)語(yǔ)言模型成功部署在車端芯片上，這套業(yè)內(nèi)領(lǐng)先的全新架構(gòu)是自動(dòng)駕駛領(lǐng)域里程碑式的技術(shù)突破?！?/p>

無(wú)圖NOA四項(xiàng)能力提升，全國(guó)道路高效通行

將于7月內(nèi)推送的無(wú)圖NOA帶來(lái)四項(xiàng)重大能力升級(jí)，全面提升用戶體驗(yàn)。首先，得益于感知、理解和道路結(jié)構(gòu)構(gòu)建能力的全面提升，無(wú)圖NOA擺脫了對(duì)先驗(yàn)信息的依賴。用戶在全國(guó)范圍內(nèi)有導(dǎo)航覆蓋的城市范圍內(nèi)均可使用NOA，甚至可以在更特殊的胡同窄路和鄉(xiāng)村小路開啟功能。

其次，基于高效的時(shí)空聯(lián)合規(guī)劃能力，車輛對(duì)道路障礙物的避讓和繞行更加絲滑。時(shí)空聯(lián)合規(guī)劃實(shí)現(xiàn)了橫縱向空間的同步規(guī)劃，并通過(guò)持續(xù)預(yù)測(cè)自車與他車的空間交互關(guān)系，規(guī)劃未來(lái)時(shí)間窗口內(nèi)的所有可行駛軌跡。基于優(yōu)質(zhì)樣本的學(xué)習(xí)，車輛可以快速篩選最優(yōu)軌跡，果斷而安全地執(zhí)行繞行動(dòng)作。

在復(fù)雜的城市路口，無(wú)圖NOA的選路能力也得到顯著提升。無(wú)圖NOA采用BEV視覺(jué)模型融合導(dǎo)航匹配算法，實(shí)時(shí)感知變化的路沿、路面箭頭標(biāo)識(shí)和路口特征，并將車道結(jié)構(gòu)和導(dǎo)航特征充分融合，有效解決了復(fù)雜路口難以結(jié)構(gòu)化的問(wèn)題，具備超遠(yuǎn)視距導(dǎo)航選路能力，路口通行更穩(wěn)定。

同時(shí)，無(wú)圖NOA重點(diǎn)考慮用戶心理安全邊界，用分米級(jí)的微操能力帶來(lái)更加默契、安心的行車體驗(yàn)。通過(guò)激光雷達(dá)與視覺(jué)前融合的占用網(wǎng)絡(luò)，車輛可以識(shí)別更大范圍內(nèi)的不規(guī)則障礙物，感知精度也更高，從而對(duì)其他交通參與者的行為實(shí)現(xiàn)更早、更準(zhǔn)確的預(yù)判。得益于此，車輛能夠與其他交通參與者保持合理距離，加減速時(shí)機(jī)也更加得當(dāng)，有效提升用戶行車時(shí)的安全感。

主動(dòng)安全能力進(jìn)階，覆蓋場(chǎng)景再拓展

在主動(dòng)安全領(lǐng)域，理想汽車建立了完備的安全風(fēng)險(xiǎn)場(chǎng)景庫(kù)，并根據(jù)出現(xiàn)頻次和危險(xiǎn)程度分類，持續(xù)提升風(fēng)險(xiǎn)場(chǎng)景覆蓋度，即將在7月內(nèi)為用戶推送全自動(dòng)AES和全方位低速AEB功能。

為了應(yīng)對(duì)AEB也無(wú)法規(guī)避事故的物理極限場(chǎng)景，理想汽車推出了全自動(dòng)觸發(fā)的AES自動(dòng)緊急轉(zhuǎn)向功能。在車輛行駛速度較快時(shí)，留給主動(dòng)安全系統(tǒng)的反應(yīng)時(shí)間極短，部分情況下即使觸發(fā)AEB，車輛全力制動(dòng)仍無(wú)法及時(shí)剎停。此時(shí)，AES功能將被及時(shí)觸發(fā)，無(wú)需人為參與轉(zhuǎn)向操作，自動(dòng)緊急轉(zhuǎn)向，避讓前方目標(biāo)，有效避免極端場(chǎng)景下的事故發(fā)生。

全方位低速AEB則針對(duì)泊車和低速行車場(chǎng)景，提供了360度的主動(dòng)安全防護(hù)。在復(fù)雜的地庫(kù)停車環(huán)境中，車輛周圍的立柱、行人和其他車輛等障礙物都增加了剮蹭風(fēng)險(xiǎn)。全方位低速AEB能夠有效識(shí)別前向、后向和側(cè)向的碰撞風(fēng)險(xiǎn)，及時(shí)緊急制動(dòng)，為用戶的日常用車帶來(lái)更安心的體驗(yàn)。

自動(dòng)駕駛技術(shù)突破創(chuàng)新，雙系統(tǒng)更智能

理想汽車的自動(dòng)駕駛?cè)录夹g(shù)架構(gòu)受諾貝爾獎(jiǎng)得主丹尼爾·卡尼曼的快慢系統(tǒng)理論啟發(fā)，在自動(dòng)駕駛領(lǐng)域模擬人類的思考和決策過(guò)程，形成更智能、更擬人的駕駛解決方案。

快系統(tǒng)，即系統(tǒng)1，善于處理簡(jiǎn)單任務(wù)，是人類基于經(jīng)驗(yàn)和習(xí)慣形成的直覺(jué)，足以應(yīng)對(duì)駕駛車輛時(shí)95%的常規(guī)場(chǎng)景。慢系統(tǒng)，即系統(tǒng)2，是人類通過(guò)更深入的理解與學(xué)習(xí)，形成的邏輯推理、復(fù)雜分析和計(jì)算能力，在駕駛車輛時(shí)用于解決復(fù)雜甚至未知的交通場(chǎng)景，占日常駕駛的約5%。系統(tǒng)1和系統(tǒng)2相互配合，分別確保大部分場(chǎng)景下的高效率和少數(shù)場(chǎng)景下的高上限，成為人類認(rèn)知、理解世界并做出決策的基礎(chǔ)。

理想汽車基于快慢系統(tǒng)系統(tǒng)理論形成了自動(dòng)駕駛算法架構(gòu)的原型。系統(tǒng)1由端到端模型實(shí)現(xiàn)，具備高效、快速響應(yīng)的能力。端到端模型接收傳感器輸入，并直接輸出行駛軌跡用于控制車輛。系統(tǒng)2由VLM視覺(jué)語(yǔ)言模型實(shí)現(xiàn)，其接收傳感器輸入后，經(jīng)過(guò)邏輯思考，輸出決策信息給到系統(tǒng)1。雙系統(tǒng)構(gòu)成的自動(dòng)駕駛能力還將在云端利用世界模型進(jìn)行訓(xùn)練和驗(yàn)證。

高效率的端到端模型

端到端模型的輸入主要由攝像頭和激光雷達(dá)構(gòu)成，多傳感器特征經(jīng)過(guò)CNN主干網(wǎng)絡(luò)的提取、融合，投影至BEV空間。為提升模型的表征能力，理想汽車還設(shè)計(jì)了記憶模塊，兼具時(shí)間和空間維度的記憶能力。在模型的輸入中，理想汽車還加入了車輛狀態(tài)信息和導(dǎo)航信息，經(jīng)過(guò)Transformer模型的編碼，與BEV特征共同解碼出動(dòng)態(tài)障礙物、道路結(jié)構(gòu)和通用障礙物，并規(guī)劃出行車軌跡。

多任務(wù)輸出在一體化的模型中得以實(shí)現(xiàn)，中間沒(méi)有規(guī)則介入，因此端到端模型在信息傳遞、推理計(jì)算、模型迭代上均具有顯著優(yōu)勢(shì)。在實(shí)際駕駛中，端到端模型展現(xiàn)出更強(qiáng)大的通用障礙物理解能力、超視距導(dǎo)航能力、道路結(jié)構(gòu)理解能力，以及更擬人的路徑規(guī)劃能力。

高上限的VLM視覺(jué)語(yǔ)言模型

VLM視覺(jué)語(yǔ)言模型的算法架構(gòu)由一個(gè)統(tǒng)一的Transformer模型組成，將Prompt（提示詞）文本進(jìn)行Tokenizer（分詞器）編碼，并將前視相機(jī)的圖像和導(dǎo)航地圖信息進(jìn)行視覺(jué)信息編碼，再通過(guò)圖文對(duì)齊模塊進(jìn)行模態(tài)對(duì)齊，最終統(tǒng)一進(jìn)行自回歸推理，輸出對(duì)環(huán)境的理解、駕駛決策和駕駛軌跡，傳遞給系統(tǒng)1輔助控制車輛。

理想汽車的VLM視覺(jué)語(yǔ)言模型參數(shù)量達(dá)到22億，對(duì)物理世界的復(fù)雜交通環(huán)境具有強(qiáng)大的理解能力，即使面對(duì)首次經(jīng)歷的未知場(chǎng)景也能自如應(yīng)對(duì)。VLM模型可以識(shí)別路面平整度、光線等環(huán)境信息，提示系統(tǒng)1控制車速，確保駕駛安全舒適。VLM模型也具備更強(qiáng)的導(dǎo)航地圖理解能力，可以配合車機(jī)系統(tǒng)修正導(dǎo)航，預(yù)防駕駛時(shí)走錯(cuò)路線。同時(shí)，VLM模型可以理解公交車道、潮汐車道和分時(shí)段限行等復(fù)雜的交通規(guī)則，在駕駛中作出合理決策。

重建生成結(jié)合的世界模型

理想汽車的世界模型結(jié)合了重建和生成兩種技術(shù)路徑，將真實(shí)數(shù)據(jù)通過(guò)3DGS（3D高斯濺射）技術(shù)進(jìn)行重建，并使用生成模型補(bǔ)充新視角。在場(chǎng)景重建時(shí)，其中的動(dòng)靜態(tài)要素將被分離，靜態(tài)環(huán)境得到重建，動(dòng)態(tài)物體則進(jìn)行重建和新視角生成。再經(jīng)過(guò)對(duì)場(chǎng)景的重新渲染，形成3D的物理世界，其中的動(dòng)態(tài)資產(chǎn)可以被任意編輯和調(diào)整，實(shí)現(xiàn)場(chǎng)景的部分泛化。相比重建，生成模型具有更強(qiáng)的泛化能力，天氣、光照、車流等條件均可被自定義改變，生成符合真實(shí)規(guī)律的新場(chǎng)景，用于評(píng)價(jià)自動(dòng)駕駛系統(tǒng)在各種條件下的適應(yīng)能力。

重建和生成兩者結(jié)合所構(gòu)建的場(chǎng)景為自動(dòng)駕駛系統(tǒng)能力的學(xué)習(xí)和測(cè)試創(chuàng)造了更優(yōu)秀的虛擬環(huán)境，使系統(tǒng)具備了高效閉環(huán)的迭代能力，確保系統(tǒng)的安全可靠。