去年年底馬斯克的 FSD V12 全球直播，重新訓練的系統完全沒有給這位科技頂流一點面子。

      在全球觀眾的見證下，特斯拉試圖闖一次陣仗最大的紅燈，來告訴所有人：端到端自動駕駛，其實沒有那么容易。

     「是技術進步，還是一意孤行」，在一個傳統分模塊的技術棧面前顯而易見的 Bug 出現了之后，也就有了討論的空間。

      但是，好在 FSD V12 并沒有停滯不前，這些討論并不會傳到技術開拓者的耳朵里。

      FSD V12.3 發布，馬斯克宣布北美車主可以試用一個月。

      事情開始發生變化，由「端到端是一條死路」，變成了「路況還是簡單，有本事到國內來試試」。

      進入 2024 年，國內廠商突然然開始著手宣傳端到端，各大廠商都有意無意地透露，自己正在這個方向上押重注。

      - 3 月 17 日，在汽車百人會上，二線智能駕駛廠商元戎啟行突然宣布，元戎啟行是國內第一家能夠將端到端模型成功上車的人工智能企業；

      - 4 月 24 日 ADS 2.0 升級為乾崑 3.0，技術轉向 GOD/PDP 網絡全新架構，對外稱是端到端架構；

      - 5 月 20 日，小鵬汽車舉辦了以「開啟AI智駕時代」為主題的AI DAY發布會，宣布端到端大模型已經量產上車；

      - 5 月 22 日，傳出消息，小米汽車原圖森未來首席科學家王乃巖即將帶領團隊加入小米汽車，負責端到端自動駕駛團隊，而王乃巖樂于表達，在知乎上也曾多次抨擊端到端自動駕駛；

      就像 2021 年 BEV 浪潮一樣，各大廠商再次在自動駕駛路線上達成了一致。

      那么什么是端到端自動駕駛，先進在何處，真的能幫助我們獲得更好的自動駕駛體驗嗎？

01 什么是端到端自動駕駛

      經典的自動駕駛系統有著相對統一的系統架構：

      - 探測（detection）；

      - 跟蹤（tracking）；

      - 靜態環境建圖（mapping）；

      - 高精地圖定位；

      - 目標物軌跡預測；

      - 本車軌跡規劃；

      - 運動控制。

      幾乎所有的自動駕駛系統都離不開這些子系統，在常規的技術開發中，這些模塊分別由不同的團隊分擔，各自負責自己模塊的結果輸出。

      這樣的好處是，每一個子系統都能夠有足夠好的可解釋性，在開發時能夠獨立優化。

      與此同時，為了保證整體自動駕駛的性能，每一個模塊都需要保證給出穩定的表現。

      如果將這些系統簡單分為兩部分，可以是感知系統和規劃控制系統：

      其實最主要的特征是：感知得到結果之后，將結果傳遞給規劃控制系統。

      為了讓系統表現足夠好，其實暗含了兩個條件：

      - 感知的結果足夠正確

      - 規劃控制獲得的信息足夠豐富

      很遺憾，這兩條都難以保證，為何？

      規劃控制所有從感知得到的信息，都是感知工程師基于現有的資源定義好的，這里的資源包括：標注的能力、獲取相應數據的能力，甚至工程師們對駕駛的理解。

      舉一個非常簡單的例子，一般來說我們開車時候發現前車打轉向燈，我們會相對開始警覺，并且給前車足夠的空間進入本車道，但是由于團隊限于資源，并沒有識別前車轉向的信號。

      這個「前車打開轉向燈」的信息，對于規劃控制來說，它就是丟失了。

     「因此發現轉向燈信號，并且提前做出反應」，這個策略就成了一個不可能完成的任務。

      這就引出了模塊化自動駕駛的弊端：信息的有損傳遞。

      下游任務得到的信息是不充分的，就相當于有兩個駕駛員，其中主駕眼睛被蒙住，只負責操作；另一個坐在副駕駛，由他來告訴主駕駛前方發生了什么。

      而信息的傳遞方式是兩個駕駛員都能理解的，我們可以稱之為：信息的顯式表達。

      舉個例子，駕駛的語境中前方目標的識別，就是高度抽象的顯式表達，一輛車被抽象成、速度、位置、尺寸、加速度等。

      這種表達是人為用經驗抽象出來并且傳遞給下游。

      但是「被誤解是表達者的宿命」，人和人之間的信息傳遞一定是有損的，所以這種開車方式很難達到非常好的體驗。

      優秀的分模塊系統就相當于兩個駕駛員有了足夠的駕駛默契，但是絕對不能與一個有足夠駕駛經驗的司機對比。

      既然信息顯示表達傳遞會有損耗，那該怎么做？

      這里有個概念是：信息的隱式表達。

      我們常常看到一些論文提到 Feature 層，這是一些信息在神經網絡中的某一層的特征表達，是在訓練過程中，網絡自行學到的重要信息。但是這些信息不是靠人為定義確定的，我們的經驗并不能完全理解，但是神經網絡能夠理解，自動選擇重要的信息。

      回到自動駕駛語境中，那就是如果信息的表達是有損耗的，那么就不表達了，直接將用神經網絡里的信號與下游對接起來。

      這其實就是 CVPR 2023 年 Best Paper UniAD 的思路：分模塊端到端。

分模塊端到端

      模塊與模塊之間的信息傳遞不再是開發工程師能夠直接閱讀并且理解的內容，而是直接將幾個模塊連接起來，然后在訓練中進行全局優化。

      由此產生了區別于傳統自動駕駛技術棧最重要的結構特征：全局可導并且可以全局訓練。

      UniAD

      這里我們簡單看一下UniAD 的思路，從結構上看，如果不考慮各模塊之間的連接，可能會認為這就是一個傳統的大力飛磚，所有的模塊都用 Transformer 進行改造的系統。因為依然可以很明顯的看到 BEV freature 層、MapFormer（建圖）、TrackFormer（跟蹤）等模塊。

      但是，其實最重要的改進并不是如此，而是各個模塊之間的連接方式，并不是像我們傳統技術棧一樣，用初級工程師甚至駕駛員完全能夠理解的方式進行連接的，而是通過神經網絡的方式進行連接。

當然由于開環評測方式（并不是實際運行結果，與環境并沒有交互）過于單一。業內也有學者對其提出批評，認為由于 UniAD 主要在 Nuscenes 上進行開環評測，導致大部分的軌跡，模型只要輸出合適的直行命令即可獲得較好的結果，并且甚至還設計了一個新的模型，將感知結果完全丟失，只留下自車和周圍車輛的軌跡，也能獲得不錯的結果。

      VAD

      這篇論文發表在 2023 年的 ECCV 上，相較于 UniAD ，摒棄了傳統技術棧中的柵格化表征，對整個駕駛場景進行矢量化建模，同樣與 UniAD 一致，VAD 基于統一的 Transformer 結構。

       - 動態目標信息由 Vectorized Motion Transformer 提取，實現動態目標檢測和矢量化的軌跡預測；

       - 靜態地圖由 Vectorized Map Transformer 提取；

       - Planning Transformer 以隱式的動靜態場景特征作為輸入，并且獲得相應的規劃信息。

      從結構來看，OCC 的模塊被完全拋棄了。

      對此論文中也有解釋，OCC 的模塊一定程度上作為后處理兜底的任務，具有較大的算力開銷，而 VAD 選擇在訓練階段引入更多約束，降低對后處理兜底的需求。

      于此同時，VAD 也在 Carla（一種被學界廣泛使用的自動駕駛模擬器）中進行了評測，也獲得了非常好的結果。

      從這兩篇論文中我們不難看出，學界對于端到端自動駕駛的態度應該是可連接并且全局可以進行共同優化訓練的端到端，而非一個完全的純黑盒網絡，還是從原有的自動駕駛技術棧進行改進而來，這實際上與大模型無關，也與 nWorld Model 也并沒有產生實際的聯系。

       那么既然定義清楚了，業內是否都有必要切換呢？切換的難度在什么地方？

02 端到端自動駕駛會帶來什么

      全局可導并且全局優化是端到端結構上的特點，這種特點能帶來什么呢？

    「Scaling Law」

      這是一個非常流行的詞匯，從 ChatGPT 3.5 橫空出世，震驚之余人們總結出來的經驗，通俗的說法即：數據驅動，大力出奇跡。

      這也是 OpenAI 奉為圭臬的開發準則，事實證明這條路確實能夠產生出來目前最優秀的人工智能產品，ChatGPT4、Sora，都遵循這條規則。

      而自動駕駛現有的技術棧每個模塊之間是不可連接的，每個模塊之間是靠人為和規則進行連接的，無法完全靠數據進行全局訓練，那么 Scaling Rule 至少在目前在自動駕駛界是無效的。

      而端到端自動駕駛在一定程度上就給了 Scaling Law 發揮的余地，這符合目前人工智能的大趨勢。

      在傳統的技術棧解決問題上，不論多么復雜的 Corner Case 都需要工程師們，用非常抽象的方式將場景描述清楚，收集數據然后標注，解決問題，然后驗證。

      但是實際上場景浩如煙海，很多任務非常瑣碎，以單點突破的方式幾乎沒有可能完全解決。

      所以有些公司的場景待解決庫里面會將重點的安全問題先處理，而小頻率的體驗問題會之后處理，而這些小頻率的體驗問題，可能就決定了，這個場景的處理是否類人。

      例如，紅綠燈前的減速度是否絲滑，是否是根據當時的車道線和交通參與者做的實時判斷？

      6 月 7 日，在上海人工智能實驗室主辦的端到端研討會上，前段時間離職加入小米的消息引發廣泛關注的王乃巖提出：

      端到端可以將很瑣碎的任務，用人類的駕駛習慣進行統一的監督，降低開發成本，與可解釋的傳統技術棧結合，可能可以帶領我們走向 L4 甚至 L5。

03 端到端自動駕駛的難點

      我們都知道神經網絡是黑盒系統，目前其實也沒有辦法去控制神經網絡內部發生了什么，而這天然與自動駕駛要求的安全性和可靠性相悖。

      在傳統的技術棧中，如果遇到了一個問題，是可以通過分模塊的方式找到出問題的部分，例如感知層給的目標的位置不對、規劃給的軌跡不好。

      但是端到端系統這些方式就失效了。

      更好的問題歸因優化和驗證系統迫在眉睫。

如何找到合適的數據

      我們可以將同樣基本是黑盒的感知系統推廣到整個自動駕駛系統上。

      以前感知如果出了問題應該怎么做，這里舉一個非常典型的 Corner Case， 公交車上廣告牌的人形圖案，這個問題特斯拉、理想都爆出過誤識別新聞。

      應該如何解決這個問題？

      挖掘足夠的的公交車上廣告牌的人形圖案數據，扔給神經網絡進行訓練，不斷優化感知系統，規劃和控制部分可以保持不變。

      那么再進一步，已經是端到端系統了，如果現在結果是車輛誤剎。

      那么問題的歸因就成了一個巨大的問題，因為沒有辦法馬上知道，是因為這個人形圖案帶來的 BUG，也就無法去對應尋找數據。

      即使找到了對應的問題，尋找特定的數據也是巨大工程，需要在數據閉環系統中找到相似的人形公交視頻和人類駕駛數據，再進入端到端系統進行訓練。

      那么新的問題又出現了，如何驗證問題已經修復并且性能不回退呢？

      如何驗證端到端自動駕駛系統

      我們知道傳統的自動駕駛技術棧通過仿真虛擬進行大規模驗證得出結論后，可以上車進行實車測試。

      而這里最重要的區別是，仿真的驗證。

      在傳統的技術棧中，可以將每個模塊分開來驗證的，感知和規劃可以分別用數據在云上大規模驗證，每個團隊都會有一個數據庫，每次新系統上線會將數據喂到新系統里面進行大規模驗證。

      這是之前的經驗。

      但是這里有兩個問題：

      - 大部分團隊的驗證方式是開環驗證，也就是并沒有與環境產生任何交互，只驗證輸入和輸出鏈路。
      - 大部分團隊對感知的驗證還無法用純虛擬的方式進行，需要實車數據才可以完成。

      而這與端到端自動駕駛是相悖的。

      端到端駕駛系統在上車跑之前，必須要用虛擬的方式全局驗證通過，否則上車跑通無異于天方夜譚。

      那么就涉及到一個非常好的可以模擬所有感知輸出的自動駕駛模擬器，而且能夠在這個模擬器里面模仿所有的交通參與者的交互信息。

      即為了保證系統在真實世界的安全性，我們需要在虛擬世界中將系統充分驗證。

      前文提到的 Carla 在一定程度上可以滿足學界的需求，但是場景的單一和渲染的質量，離業界的要求依然想去甚遠。

      其實不難看到，端到端自動駕駛依然依賴原有的自動駕駛開發工具鏈，優秀的數據閉環工具用來收集數據，優秀的自動駕駛仿真系統用來驗證，而這大部分團隊幾乎都沒有。

      從這個角度來看，端到端自動駕駛無法進行彎道超車。

寫在最后

      雖然著名反 OpenAI 人工智能專家楊樂昆認為，現有的 LLM 盡管在自然語言處理、對話交互、文本創作等領域表現出色，但其仍只是一種「統計建模」技術。

      通過學習數據中的統計規律來完成相關任務，本質上并非具備真正的「理解」和「推理」能力。

      而這個理論似乎放在端到端自動駕駛上也成立，相似的是最近港大的著名學者馬毅提出：如果相信只靠 Scaling Laws 能實現 AGI，你該改行了。

      那么似乎我們也可以說：如果相信只靠端到端就能實現 L5，那么你該改行了。

      不過，我們目前看到最有希望的一條路已經擺在了我們面前，雖然這條路看不到是否能夠通向終點，這條路似乎也沒有那么簡單，路上充滿了很多不確定性，抵觸的聲音不絕于耳。

      但是特斯拉已經向我們示范了這條路的巨大潛力。

      所以，我們為什么不去嘗試呢？

轉自焉知汽車