特斯拉自動(dòng)駕駛的重大彩蛋出現(xiàn)了。

國(guó)外黑客大神 GreenTheOnly 在特斯拉 FSD Beta 的代碼中發(fā)現(xiàn)了一段隱藏代碼。據(jù)了解，這段代碼可以開(kāi)啟一個(gè)全新的模式「Elon Mode」（埃隆模式，代碼以馬斯克名字命名）。

如果車輛時(shí)速在60km/h以下，開(kāi)啟這一模式，車輛可以實(shí)現(xiàn) L3 級(jí)自動(dòng)駕駛，無(wú)需雙手把持方向盤(pán)。

(資料圖片僅供參考)

可以說(shuō)，特斯拉在技術(shù)上已經(jīng)有能力實(shí)現(xiàn) L3 級(jí)自動(dòng)駕駛。只是，目前其仍沒(méi)有拿到政府的相關(guān)批準(zhǔn)。

在自動(dòng)駕駛領(lǐng)域，特斯拉一騎絕塵。

但是，領(lǐng)先地位的鑄就并非朝夕。

復(fù)盤(pán)特斯拉自動(dòng)駕駛發(fā)展歷程，實(shí)際上不亞于看了一篇逆襲「爽文」。即使是特斯拉，也經(jīng)歷了從落后，到追趕超越，再到稱王加冕，自我超越的五個(gè)時(shí)期。

2016 年，在 Mobileye 首先官宣「分手」后，特斯拉便開(kāi)始自研算法。期間有一段時(shí)間，其算法表現(xiàn)甚至不如 Mobileye。

直到 2020 年，重構(gòu)算法后，特斯拉才確立了行業(yè)領(lǐng)頭羊的地位。

在這一時(shí)期涌現(xiàn)的BEV、Transfomer、自動(dòng)標(biāo)注等技術(shù)，現(xiàn)如今已經(jīng)成為如今行業(yè)普遍延用的技術(shù)路線。

但特斯拉并未止步，又對(duì)算法進(jìn)行了升級(jí)，比如時(shí)序信息的加入，升級(jí)到占用網(wǎng)絡(luò)。

自始至終，特斯拉追求的就不是「武林第一」的頭銜。

特斯拉的目標(biāo)只有一個(gè)：在純視覺(jué)方案下，如何用算法刻畫(huà)真實(shí)的物理世界，以實(shí)現(xiàn)自動(dòng)駕駛。

總結(jié)來(lái)看，堅(jiān)持視覺(jué)方案，特斯拉從「第一性原則」出發(fā)，針對(duì)算法問(wèn)題進(jìn)行持續(xù)迭代，使算法更趨向于理解真實(shí)世界。

01 、自研算法誕生前夜，特斯拉與 Mobileye 分手

2016 年 5 月 7 日，一場(chǎng)發(fā)生于美國(guó)的車禍引起了全球的關(guān)注。

一輛 Model S（2015 年款）在使用 Autopilot 狀態(tài)下，攔腰撞向了一輛垂直方向開(kāi)來(lái)的白色掛車，事故導(dǎo)致了一人死亡。

彼時(shí)，這起事故被媒體冠以「全球首宗自動(dòng)駕駛致命事故」的標(biāo)題經(jīng)大肆報(bào)道。

在鋪天蓋地的報(bào)道之下，特斯拉的Autopilot 成了眾矢之的。

特斯拉和 Mobileye 的合作開(kāi)始于2014 年。

2014 年 10 月，特斯拉發(fā)布第一代硬件Hardware 1.0，軟硬件均由 Mobileye提供，自動(dòng)駕駛芯片是 Mobileye 的 EyeQ3。

而在上述事故發(fā)生的兩個(gè)月后，2016 年 7 月，Mobileye 宣布了和特斯拉終止合作。供應(yīng)商搶先聲明雙方合作破裂，這在汽車市場(chǎng)來(lái)說(shuō)頗為罕見(jiàn)。

對(duì)于分手原因，彼時(shí)雙方各執(zhí)一詞。

在特斯拉看來(lái)，Mobileye 的黑盒模式是雙方分手的原因所在。

特斯拉曾在一份文件中直言：黑盒模式之下，Mobileye 難以跟上特斯拉產(chǎn)品的發(fā)展步伐。

而 Mobileye 則表示：因?yàn)樘厮估淖詣?dòng)駕駛功能「超過(guò)了安全的底線」，因此才終止了雙方的合作。

實(shí)際上，雙方的分手早有預(yù)兆。

2015 年，特斯拉就開(kāi)始布局自研自動(dòng)駕駛軟硬件，Mobileye 被棄用只是時(shí)間問(wèn)題。

2015 年 4 月，特斯拉組建了基于計(jì)算機(jī)視覺(jué)感知的軟件算法小組 Vision，準(zhǔn)備自研軟件。

同年，特斯拉還從 AMD 挖來(lái)了傳奇芯片設(shè)計(jì)師 Jim Keller。隨后，在 2016 年，特斯拉開(kāi)始組建芯片研發(fā)團(tuán)隊(duì)，并由 Jim Keller 擔(dān)任 Autopilot 負(fù)責(zé)人。

和眾多俗套的情愛(ài)故事一樣，與 Mobileye 分手之后，特斯拉也經(jīng)歷了短暫的低谷和失落。

但在隨后的日子里，失意的特斯拉最終成長(zhǎng)為自動(dòng)駕駛領(lǐng)域領(lǐng)頭羊。

02、2016 年-2018 年特斯拉初出茅廬

在告別了 Mobileye 之后，特斯拉選擇全棧自研自動(dòng)駕駛算法，自立自強(qiáng)。

在自動(dòng)駕駛軟硬件發(fā)展思路上，馬斯克為特斯拉制定了「硬件先行，軟件更新」的思路。

硬件方面，2016 年 10 月，特斯拉還發(fā)布了第二代硬件Hardware 2.0。自動(dòng)駕駛芯片由英偉達(dá)提供，配置 8 個(gè)攝像頭+12 個(gè)遠(yuǎn)程超聲波雷達(dá)+1 個(gè)前置毫米波雷達(dá)，并且這一套配置延續(xù)到了 Hardware3.0。

算法方面，特斯拉延用了業(yè)內(nèi)常規(guī)的骨干網(wǎng)結(jié)構(gòu)；使用 2D 檢測(cè)器進(jìn)行特征提??；以人工對(duì)數(shù)據(jù)進(jìn)行標(biāo)注。

整體來(lái)看，這一套自動(dòng)駕駛算法還比較原始，相對(duì)傳統(tǒng)。

值得一提的是，在這一時(shí)期，特斯拉自動(dòng)駕駛算法仍處于技術(shù)追趕階段。

從硬件配置來(lái)看，盡管 HW2.0 優(yōu)于此前 Mobileye 提供的的 HW1.0，但受限于軟件算法，彼時(shí)特斯拉的自動(dòng)駕駛能力和 Mobileye 有著較大差距。

盡管2016 年 10 月，特斯拉推出了HW2.0，但在空跑了大半年后，直到2017 年 3 月，Model3/Y 才開(kāi)始能夠真正用上 Autopilot 功能。

在算法能力追上 Mobileye 后，特斯拉發(fā)現(xiàn)，當(dāng)前使用的算法存在著諸多不足。其中，最為明顯的是效率問(wèn)題。

在那一時(shí)期，自動(dòng)駕駛的目標(biāo)檢測(cè)普遍遵循一個(gè)通用的網(wǎng)絡(luò)結(jié)構(gòu)：Input → backbone→neck →head →Output

主干網(wǎng)絡(luò) backbone為特征提取網(wǎng)絡(luò)，主要用于識(shí)別圖像中的多個(gè)對(duì)象；

neck 則主要負(fù)責(zé)提取更為精細(xì)的特征；

而在經(jīng)過(guò)特征提取之后，檢測(cè)頭 head 則為提供了輸入的特征圖表示，比如檢測(cè)對(duì)象，實(shí)例分割等。

值得一提的是，當(dāng)時(shí)業(yè)內(nèi)自動(dòng)駕駛視覺(jué)神經(jīng)網(wǎng)絡(luò)都只有一個(gè) head。

但是，在自動(dòng)駕駛的場(chǎng)景中，往往需要在一個(gè)神經(jīng)網(wǎng)絡(luò)中同時(shí)完成多項(xiàng)任務(wù)，比如車道線檢測(cè)，人物檢測(cè)與追蹤，信號(hào)燈檢測(cè)等。

這就使得原有算法出現(xiàn)了「腦袋不夠用」的情況。

因此，在 2018 年，特斯拉開(kāi)始了對(duì)自動(dòng)駕駛算法的第一次革新，瞄準(zhǔn)自動(dòng)駕駛網(wǎng)絡(luò)結(jié)構(gòu)及效率。

03、2018 年-2019 年算法利刃初成

在這次算法革新中，特斯拉構(gòu)建了多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)架構(gòu)HydraNet，并使用了特征提取網(wǎng)絡(luò) BiFPN。

這使得特斯拉算法效率得到了提升。其中，最具特色的為 HydraNet。

Hydra 一詞源于傳說(shuō)中的生物「九頭蛇」，因而 HydraNet 也被稱為「九頭蛇網(wǎng)絡(luò)」。

以「九頭蛇」命名的原因在于，HydraNet 結(jié)構(gòu)能夠完成多頭任務(wù)，而非此前的單一檢測(cè)。

相較于此前算法，HydraNet 能夠減少重復(fù)的卷積計(jì)算，減少主干網(wǎng)絡(luò)計(jì)算數(shù)量，還能夠?qū)⑻囟ㄈ蝿?wù)從主干中解耦出來(lái)，進(jìn)行單獨(dú)微調(diào)。

不過(guò)，此次革新更多是一次算法的「微調(diào)」，并沒(méi)有達(dá)到重構(gòu)和跨越性的程度。

在融合方式上，特斯拉采用的仍是后融合策略，數(shù)據(jù)進(jìn)行人工標(biāo)注，且自動(dòng)駕駛算法仍舊是小模型，與后續(xù)算法革新相比，并沒(méi)有太大的突破。

這一時(shí)期，在改良了傳統(tǒng)算法之后，特斯拉還對(duì)硬件進(jìn)行了新一輪的更新。

在歷經(jīng)四年研發(fā)后，2019 年 4 月，特斯拉發(fā)布了 Hardware 3.0 系統(tǒng)。其中最大的亮點(diǎn)是特斯拉采用了自研的FSD 芯片。

特斯拉 FSD 芯片算力達(dá)72TOPS，遠(yuǎn)高于當(dāng)時(shí)市面上的自動(dòng)駕駛芯片。同時(shí)，F(xiàn)SD 芯片以兩塊 NUD 為主，圖片處理效率更高，且不裝配激光雷達(dá)。

新硬件的發(fā)布，為特斯拉算法的下一次迭代提供了可能。

在完成硬件準(zhǔn)備的前期工作之后，特斯拉開(kāi)始了對(duì)自動(dòng)駕駛算法的史詩(shī)級(jí)重構(gòu)。

04、2020 年特斯拉自動(dòng)駕駛一騎絕塵

2020 年 8 月，馬斯克在推特上發(fā)文稱，Autopilot 團(tuán)隊(duì)正對(duì)軟件的底層代碼進(jìn)行重寫(xiě)和深度神經(jīng)網(wǎng)絡(luò)重構(gòu)；全新的訓(xùn)練計(jì)算機(jī) Dojo正在開(kāi)發(fā)。

馬斯克的一封推文激起浪千重。市場(chǎng)對(duì)特斯拉自動(dòng)駕駛算法的發(fā)展方向投以關(guān)注。

在他看來(lái)，對(duì) AP 的重寫(xiě)，不是對(duì)現(xiàn)有結(jié)構(gòu)的優(yōu)化，而是一場(chǎng)「量子式躍遷」。

縱覽特斯拉自研算法近十年歷程，2020 年可以說(shuō)是其最為璀璨的一年。

在這一場(chǎng)行業(yè)重構(gòu)中，特斯拉帶來(lái)的一系列技術(shù)方向被自動(dòng)駕駛行業(yè)延用至今，如 BEV+Transformer 的組合，特征級(jí)融合取代了后融合，數(shù)據(jù)自我標(biāo)注取代人工標(biāo)注等。

如果說(shuō) 2020 年自動(dòng)駕駛江湖是群雄逐鹿時(shí)期，那么，自 2020 年之后，這片江湖便進(jìn)入了特斯拉時(shí)代。

(1）BEV+Transformer，自動(dòng)駕駛進(jìn)入大模型時(shí)代

在特斯拉的這場(chǎng)技術(shù)重構(gòu)中，最為引人注目的便是于 2020 年引入的 BEV+Transfomer 架構(gòu)。

在特斯拉看來(lái)，過(guò)去自動(dòng)駕駛依靠「2D 圖像+ CNN」便企圖實(shí)現(xiàn)全自動(dòng)駕駛是不太可能的。

主要原因在于，攝像頭采集的數(shù)據(jù)是 2D 圖像，但自動(dòng)駕駛需要面對(duì)的卻是三維真實(shí)世界。

以二維數(shù)據(jù)解決三維問(wèn)題，不大現(xiàn)實(shí)。

純視覺(jué)路線之下，攝像頭拍攝的 2D 圖像如何「升維」到 3D，成了特斯拉需要思考的問(wèn)題。

在特斯拉看來(lái)，2D 圖像「升維」的最佳表達(dá)方式是：BEV（鳥(niǎo)瞰圖）。BEV 視角，形成車身自坐標(biāo)系的好處在于兩方面：

一是將不同視角在 BEV 下統(tǒng)一表達(dá)是很自然的描述，有利于后續(xù)規(guī)劃控制模塊任務(wù)；

二是 BEV 視角解決了圖像視角下的尺度和遮擋問(wèn)題。

但緊接著問(wèn)題就來(lái)了：如何實(shí)現(xiàn) 2D 向 3D 的轉(zhuǎn)換，以引入 BEV？

D 圖像是照片，存在近大遠(yuǎn)小的問(wèn)題。而解決「近大遠(yuǎn)小」問(wèn)題的傳統(tǒng)轉(zhuǎn)變方法是依靠 IPM（逆透視變幻），進(jìn)行先 2D 再 3D 的正向開(kāi)發(fā)。

IPM，簡(jiǎn)而言之，就是利用照相機(jī)成像過(guò)程中坐標(biāo)轉(zhuǎn)換的公式，在已知照片的光圈，焦距等條件下，去「算出」3D 坐標(biāo)數(shù)據(jù)，對(duì) 2D 的圖像進(jìn)行「3D 復(fù)原」。

但是，和課堂上的算數(shù)題一樣，這樣的計(jì)算需要以各種「完美」假設(shè)為前提。比如，地面是「完美」水平的，相機(jī)和地面不存在相對(duì)運(yùn)動(dòng)等。

也即是說(shuō)，只要車輛有任何一點(diǎn)顛簸，道路有一點(diǎn)不平，就會(huì)打破這個(gè)假設(shè)，導(dǎo)致最終的成像結(jié)果失真。

另外，在一系列卷積，提取特征，融合之后，得到的感知結(jié)果，再投影到 BEV 空間中，精度很差，尤其是遠(yuǎn)距離的區(qū)域。

以此來(lái)看，利用傳統(tǒng)方法，實(shí)現(xiàn)從 2D 到 3D 的「升維」，很難實(shí)現(xiàn)。

在這樣的情況下，特斯拉引入大模型 Transformer，進(jìn)行 3D 到 2D 的逆向開(kāi)發(fā)。

在這一方式中，特斯拉先在 BEV 空間層中初始化特征，再通過(guò)多層的 Transformer 和 2D 圖像特征進(jìn)行交互融合，最終得到 BEV 特征，也就是先 3D 再 2D，反向開(kāi)發(fā)，實(shí)現(xiàn) BEV 的轉(zhuǎn)換。

Transformer 是一種基于注意力機(jī)制（Attention）的神經(jīng)網(wǎng)絡(luò)模型。與傳統(tǒng)神經(jīng)網(wǎng)絡(luò) RNN 和 CNN不同，Transformer 不會(huì)按照串行順序來(lái)處理數(shù)據(jù)，而是通過(guò)注意力機(jī)制，去挖掘序列中不同元素的聯(lián)系及相關(guān)性。

這種機(jī)制背后，使得 Transformer 可以適應(yīng)不同長(zhǎng)度和不同結(jié)構(gòu)的輸入。

Transformer 的引入，使得 BEV 視角在自動(dòng)駕駛領(lǐng)域得以實(shí)現(xiàn)。

而 3D 空間的引入，使得自動(dòng)駕駛的思維方式，更接近于真實(shí)世界。

但是，在這一階段，BEV 空間仍是對(duì)瞬時(shí)的圖像片段進(jìn)行感知，缺乏時(shí)間序列信息，自動(dòng)駕駛?cè)晕催M(jìn)入 4D 空間。

（2）特征級(jí)融合取代后融合成為主流

BEV 即鳥(niǎo)瞰圖，「上帝視角」，車身自坐標(biāo)系。

若僅從定義來(lái)看，BEV 或許是特斯拉各類「燒腦」術(shù)語(yǔ)中最容易理解的。但這絲毫不影響 BEV 對(duì)自動(dòng)駕駛行業(yè)的價(jià)值和意義。

引入 BEV 視角后，給自動(dòng)駕駛帶來(lái)最直觀的變化是，推動(dòng) 2D 圖像向 3D 車身自坐標(biāo)系的轉(zhuǎn)變，方便后續(xù)的決策和控制。

但除此之外，BEV 還使得自動(dòng)駕駛從后融合（或稱「決策層融合」）向特征級(jí)融合（或稱「中融合」）方向邁進(jìn)。

同一物體在不同傳感器視角中的狀態(tài)

自動(dòng)駕駛的每一個(gè)傳感器，都在對(duì)周遭世界進(jìn)行感知。

每個(gè)攝像頭、雷達(dá)都包含了其對(duì)真實(shí)世界的理解，但由于角度，傳感器類型的不同，使得車輛沒(méi)辦法依靠一個(gè)傳感器完成對(duì)周遭世界的認(rèn)識(shí)。

因此，每個(gè)傳感器所感知的只是現(xiàn)實(shí)世界的其中一塊拼圖，要實(shí)現(xiàn)自動(dòng)駕駛，便需要完成拼圖拼湊。

而傳感器數(shù)據(jù)的融合則可以看成是拼圖的拼湊步驟。

所謂的后融合，便是由決策層域控制器進(jìn)行拼圖的拼湊。

后融合的好處非常明顯，傳感器「即插即用」，融合在域控制器決策層，對(duì)芯片算力要求較低。

后融合策略對(duì)車端算力要求僅在 100TOPS 以內(nèi)，作為參考，前融合卻需要500-1000TOPS 算力。

而特征級(jí)融合介于兩者之間，大約需要300-400TOPS。

因此，在自動(dòng)駕駛的早期，由于門檻低，后融合策略受到了自動(dòng)駕駛供應(yīng)商、車企的歡迎。

但是，后融合策略容易產(chǎn)生信息失真，造成錯(cuò)誤決策。

后融合策略下，低置信度信息會(huì)被過(guò)濾掉，產(chǎn)生原始數(shù)據(jù)的丟失，并且可能誤差疊加，導(dǎo)致信息「失真」。

尤其是在惡劣天氣下，這樣的情況更為明顯。這就有可能造成決策層錯(cuò)誤決策。相較于后融合策略，特征級(jí)融合本質(zhì)上更接近于傳感器的原始數(shù)據(jù)。因此，其準(zhǔn)確度必然會(huì)更高。

除此之外，在 BEV 空間層進(jìn)行特征級(jí)融合，還具有多種好處，更是后續(xù)行業(yè)革新的方向：

跨攝像頭融合和多模融合更易實(shí)現(xiàn)。大多數(shù)行業(yè)公司采用的是異構(gòu)傳感器（攝像頭、激光雷達(dá)、毫米波雷達(dá)等）的感知方案。而 BEV 空間能夠統(tǒng)一傳感器數(shù)據(jù)維度，更容易實(shí)現(xiàn)特征融合。

時(shí)序融合更易實(shí)現(xiàn)。

可「腦補(bǔ)」出遮擋區(qū)域的目標(biāo)。

更方便端到端做優(yōu)化。

得益于此，BEV 架構(gòu)也成了國(guó)內(nèi)自動(dòng)駕駛公司延用的基本方向。

（3）數(shù)據(jù)從人工標(biāo)注轉(zhuǎn)向自我標(biāo)注

在自動(dòng)駕駛?cè)Γ幸痪涿裕簲?shù)據(jù)決定了算法的上限，模型只是不停的逼近這個(gè)上限。

數(shù)據(jù)燃料在自動(dòng)駕駛算法訓(xùn)練中的地位可見(jiàn)一斑。

為了確保投喂給算法的數(shù)據(jù)正確而有益，過(guò)去自動(dòng)駕駛行業(yè)往往都采取人工標(biāo)注的方式。

特斯拉也不例外。

在 2018 年時(shí)，特斯拉選擇和第三方公司合作，但這樣的方式標(biāo)注效率很低，并且溝通的成本很高。

為了實(shí)現(xiàn)標(biāo)注效率和質(zhì)量的提升，特斯拉自建了標(biāo)注團(tuán)隊(duì)，人員規(guī)模一度超過(guò) 1000 人。

但是，自建標(biāo)注團(tuán)隊(duì)也隨之帶來(lái)了新問(wèn)題。

隨著自動(dòng)駕駛數(shù)據(jù)的進(jìn)一步擴(kuò)大，所需的標(biāo)注人員數(shù)量也在進(jìn)一步增長(zhǎng)，這意味著成本水漲船高。

鑒于高成本，低效率的屬性，人工標(biāo)注自然地成為了特斯拉的「眼中刺」。

在 BEV+Transfomer 引入后，特斯拉的數(shù)據(jù)標(biāo)注效率得到了一定提升。在引入 BEV 空間層前，標(biāo)注人員需要標(biāo)記 8 張 2D 圖像，而在 BEV 空間層下，僅需要進(jìn)行一次 3D 空間中的標(biāo)注便可完成。

但是，由于人類標(biāo)注員對(duì)于語(yǔ)義信息更擅長(zhǎng)，而計(jì)算機(jī)對(duì)幾何，重建，三角化，跟蹤更加擅長(zhǎng)。

這使得 BEV 下，數(shù)據(jù)標(biāo)注是一種「半自動(dòng)」?fàn)顟B(tài)，需要人工和計(jì)算機(jī)進(jìn)行協(xié)作。

同時(shí)，盡管標(biāo)注的效率有所增加，但在數(shù)據(jù)的指數(shù)級(jí)增長(zhǎng)下，仍舊捉襟見(jiàn)肘。

顯然，自動(dòng)標(biāo)注才是效率、效果、成本三方矛盾的最終破局方法。

為此，在 2020 年開(kāi)始，特斯拉研發(fā)并使用了數(shù)據(jù)自動(dòng)標(biāo)注系統(tǒng)。

特斯拉數(shù)據(jù)標(biāo)注的思路非常簡(jiǎn)單：用更多的數(shù)據(jù)訓(xùn)練更大的模型，再用「大模型」的數(shù)據(jù)訓(xùn)練車端「小模型」。

在車輛行駛過(guò)程中，攝像頭收集的路面信息，打包上傳到服務(wù)器的離線神經(jīng)網(wǎng)絡(luò)大模型，由大模型進(jìn)行預(yù)測(cè)性標(biāo)注，再反饋給車端各個(gè)傳感器。

由于傳感器視角不同，當(dāng)預(yù)測(cè)的標(biāo)注結(jié)果在 8 個(gè)傳感器均呈現(xiàn)一致時(shí)，則這一標(biāo)注成功。

而這一過(guò)程，也即是車載模型對(duì)服務(wù)器的大模型進(jìn)行自動(dòng)標(biāo)注系統(tǒng)的蒸餾。

同時(shí)，車輛也在充當(dāng)特斯拉「眾包地圖」采集車的角色。

當(dāng)不同的車輛走在同一段路時(shí)，離線大模型將記錄同一段路不同的標(biāo)注結(jié)果。

當(dāng)數(shù)據(jù)標(biāo)注系統(tǒng)將不同車輛，不同時(shí)間，不同天氣狀況下的標(biāo)注結(jié)果疊加后，得到了一個(gè)具備高度一致性的標(biāo)注結(jié)果，這也意味著，特斯拉得到了自己的「高精地圖」。

052021 年-2022 年劍指端到端大模型

BEV+Transfomer 架構(gòu)的引入，可以說(shuō)是一場(chǎng)行業(yè)重構(gòu)。

這一「黃金組合」在自動(dòng)駕駛領(lǐng)域有著諸多優(yōu)勢(shì)，是過(guò)去算法所不具備的。

但是，BEV+Transfomer 在推出之初，也并非完美無(wú)瑕。

隨著自動(dòng)駕駛的進(jìn)一步發(fā)展，面臨場(chǎng)景逐漸多樣化，coner case 越來(lái)越多，這便對(duì)自動(dòng)駕駛算法的泛化能力提出了新的要求。

在隨后的兩年時(shí)間里，為了讓算法更接近人類的思考方式，特斯拉對(duì) BEV+Transformer 架構(gòu)進(jìn)行了改良。

其中，最主要的兩個(gè)改良是時(shí)序信息的增加和占用網(wǎng)絡(luò)的應(yīng)用。

雖然 2020 年，特斯拉利用 BEV 解決了 2D 向 3D 轉(zhuǎn)換的空間問(wèn)題，但卻仍未引入時(shí)序信息。

也即是說(shuō)，在上一個(gè)版本中，BEV 仍然是對(duì)瞬時(shí)的圖像片段進(jìn)行感知，缺乏時(shí)空記憶力，汽車只能根據(jù)當(dāng)前時(shí)刻感知到的信息進(jìn)行判斷。

時(shí)序信息的缺席，讓自動(dòng)駕駛潛藏了極大的安全風(fēng)險(xiǎn)。

例如在行車過(guò)程中，如果有行人正在穿過(guò)馬路，過(guò)程中被靜止的障礙物遮擋，如果汽車僅有瞬時(shí)感知能力，由于在感知時(shí)刻行人正好被汽車遮擋，則無(wú)法識(shí)別到行人，可能威脅駕乘人員和行人的安全。

人類司機(jī)在面對(duì)類似場(chǎng)景時(shí)，則會(huì)根據(jù)之前時(shí)刻看到行人在穿越馬路的記憶，能夠意識(shí)到行人被車輛遮擋，且有繼續(xù)穿越馬路的意圖，從而選擇減速或者剎車避讓。

如何給自動(dòng)駕駛增加「記憶」功能便顯得尤為關(guān)鍵。

因此，自動(dòng)駕駛感知網(wǎng)絡(luò)也需要擁有類似的記憶能力，能夠記住之前某一時(shí)間段的數(shù)據(jù)特征，從而推演目前場(chǎng)景下可能性最大的結(jié)果，而不僅僅是基于當(dāng)前時(shí)刻看到的場(chǎng)景進(jìn)行判斷。

為了解決這一問(wèn)題，特斯拉感知網(wǎng)絡(luò)架構(gòu)引入了時(shí)空序列特征層，使用視頻片段，而不是圖像來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，為自動(dòng)駕駛增添了短時(shí)記憶能力。

除了引入時(shí)序網(wǎng)絡(luò)外，在 2022 年，特斯拉對(duì) BEV 進(jìn)行了升級(jí)——引入占用網(wǎng)絡(luò)。

在過(guò)去，自動(dòng)駕駛算法和人作比較，往往顯得呆板、過(guò)于機(jī)械。

在傳統(tǒng)的自動(dòng)駕駛算法中，大多是依靠大數(shù)據(jù)喂養(yǎng)，得出「經(jīng)驗(yàn)」，然后識(shí)別物體，再進(jìn)行決策。

也即是說(shuō)，算法需要經(jīng)歷，感知，辨識(shí)，決策，執(zhí)行這樣的思考流程。

但在現(xiàn)實(shí)世界里，真實(shí)的路況下，實(shí)際情況是錯(cuò)綜復(fù)雜的，存在著大量的極端情況（corner case），要讓算法認(rèn)全所有事物，顯然不太現(xiàn)實(shí)，且效率不高。

以「二仙橋大爺」為例，若自動(dòng)駕駛遇上了如此「超載」的車輛，算法將其識(shí)別為一般的三輪車，并判斷路況，但對(duì)車后拖載的貨物，既不顯示，也不識(shí)別。

當(dāng)自動(dòng)駕駛的車輛進(jìn)行超車變道時(shí)，就容易發(fā)生剮蹭等事故，潛藏一定風(fēng)險(xiǎn)。

為了解決這類問(wèn)題，特斯拉將 BEV 升級(jí)到了占用網(wǎng)絡(luò)（occupancy network）。

在 2D 圖像世界中，一個(gè)物體由無(wú)數(shù)個(gè)像素點(diǎn)組成。

而在占用網(wǎng)絡(luò)之下，3D 的真實(shí)世界則是由無(wú)數(shù)個(gè)微小立方體——體素堆疊組成。

占用網(wǎng)絡(luò)，將原本的 BEV 空間，分割成無(wú)數(shù)的體素，再通過(guò)預(yù)測(cè)每個(gè)體素是是否被占用。

簡(jiǎn)單來(lái)說(shuō)，不考慮這個(gè)物體到底是什么，只考慮體素是否被占用。這使得非典型但卻存在的事物能夠直接表示出來(lái)，增加了算法的泛化能力和對(duì)現(xiàn)實(shí)世界的認(rèn)知。

實(shí)際上，占用網(wǎng)絡(luò)的體素，充當(dāng)了激光雷達(dá)點(diǎn)陣的作用。而占用網(wǎng)絡(luò)最直接的效果便是實(shí)現(xiàn)了「?jìng)渭す饫走_(dá)」的效果。

時(shí)序信息的增加，升級(jí)占用網(wǎng)絡(luò)，使得特斯拉自動(dòng)駕駛算法的泛化能力得到了提升。

而借助于算法提升，特斯拉 FSD 更能刻畫(huà)真實(shí)的物理世界，進(jìn)而才有可能實(shí)現(xiàn)端到端模型。

06、未來(lái)，自動(dòng)駕駛將走向何方

在自動(dòng)駕駛領(lǐng)域，特斯拉毫無(wú)疑問(wèn)是領(lǐng)頭羊。

在確定純視覺(jué)路線后，特斯拉在自動(dòng)駕駛算法上進(jìn)行了四次迭代更新。除了第一次是為追趕行業(yè)發(fā)展以外，其余更新均引領(lǐng)行業(yè)的發(fā)展。

特斯拉能夠走在行業(yè)前列，除了優(yōu)秀的團(tuán)隊(duì)以外，更在于整體的思路設(shè)計(jì)秉持「第一性原理思維」。

所謂的「第一性原理思維」，即一種刨根問(wèn)底、追究最原始假設(shè)和最根本性規(guī)律的思維習(xí)慣。

「物理學(xué)教會(huì)你根據(jù)第一性原理做出推理，而不是通過(guò)類比進(jìn)行推理。類比式推理就是幾乎絲毫不差地模仿或模擬他人?！柜R斯克曾如此說(shuō)到。

在特斯拉自動(dòng)駕駛迭代思維上，第一性原理思維滲透在了方方面面：

算效率不高，HEAD 部分不夠用？開(kāi)發(fā)了九頭蛇網(wǎng)絡(luò)結(jié)構(gòu)；

小模型無(wú)法實(shí)行并行計(jì)算，泛化能力不強(qiáng)，BEV 無(wú)法精確實(shí)現(xiàn)？引入大模型 Transfomer，逆向開(kāi)發(fā)；

現(xiàn)有芯片的構(gòu)成冗余，不適配純視覺(jué)路線需求，且成本高？自研 FSD 芯片；

數(shù)據(jù)標(biāo)注成本高，數(shù)據(jù)訓(xùn)練量不足？建設(shè)超算中心 DOJO，實(shí)現(xiàn)數(shù)據(jù)自我標(biāo)注，同時(shí)虛擬場(chǎng)景訓(xùn)練算法，提高自動(dòng)駕駛能力等等。

在錨定純視覺(jué)路線后，特斯拉均在算法迭代中，針對(duì)各種問(wèn)題，發(fā)現(xiàn)短板，并加以解決。

而這，正是特斯拉執(zhí)牛耳的關(guān)鍵。

同時(shí)，鑒于特斯拉的行業(yè)領(lǐng)導(dǎo)地位，研究其自動(dòng)駕駛算法迭代歷程后，也能讓外界窺見(jiàn)自動(dòng)駕駛行業(yè)的未來(lái)。

（1）「輕地圖，重感知」成行業(yè)主流方向

在過(guò)去，自動(dòng)駕駛行業(yè)，往往采取高精地圖方案，輔助實(shí)現(xiàn)自動(dòng)駕駛。

高精地圖能夠提供超視距、厘米級(jí)相對(duì)定位及導(dǎo)航信息，在數(shù)據(jù)和算法尚未成熟到脫圖之前，能夠成為整機(jī)廠的「拐杖」，幫助自動(dòng)駕駛的落地。

但是，和其優(yōu)點(diǎn)一樣，高精地圖的缺點(diǎn)也非常明顯：

需要圖商采集更新，無(wú)法實(shí)時(shí)更新；

制圖資質(zhì)受到嚴(yán)格管理，信息采集面臨一定法規(guī)風(fēng)險(xiǎn)；

成本昂貴高昂。

在這樣的情況下，特斯拉構(gòu)建了自己的「高精地圖」。

通過(guò) BEV 空間層，特斯拉將不同視角的攝像頭采集到 2D 圖像統(tǒng)一轉(zhuǎn)換到 BEV 視角，車輛形成自車坐標(biāo)系。

同時(shí)，引入服務(wù)器的離線神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)數(shù)據(jù)自動(dòng)標(biāo)注，確保標(biāo)注效果，且在無(wú)數(shù)「眾包采集車」的幫助下，疊加標(biāo)注結(jié)果，得出道路信息標(biāo)注的「唯一解」。

BEV、Transfomer、引入時(shí)序信息、數(shù)據(jù)自動(dòng)標(biāo)注等等，一系列技術(shù)加持之下，特斯拉才得以實(shí)現(xiàn)「無(wú)圖」。

國(guó)內(nèi)市場(chǎng)，「輕地圖，重感知」也成為了行業(yè)發(fā)展的主流方向。

2022 年 4 月，毫末智行提出要做「重感知、輕地圖」的城市智能駕駛，開(kāi)始降低方案中高精地圖的權(quán)重，乃至做到無(wú)需高精地圖；

2022 年年底，小鵬發(fā)布了第二代智能輔助駕駛系統(tǒng) XNGP，并對(duì)外宣布將擺脫高精地圖限制；

2022 年下半年，華為余承東表示：「自動(dòng)駕駛未來(lái)不應(yīng)過(guò)分依賴于高精地圖、車路協(xié)同?！?/p>

今年 5 月，蔚來(lái)發(fā)布了 Banyan 2.0.0 系統(tǒng)，完成了向 BEV 感知路線的切換；

國(guó)內(nèi)一眾廠商深受特斯拉路線影響，延用 BEV 架構(gòu)，開(kāi)始對(duì)高精地圖動(dòng)刀，「重感知，輕地圖」路線成為了市場(chǎng)主流發(fā)展方向。

特斯拉的 BEV+Transformer 方案為行業(yè)的「脫圖」提供了技術(shù)上的可行性。

從特斯拉路線經(jīng)驗(yàn)來(lái)看，如果要以純算法，實(shí)現(xiàn)擺「脫圖」，或許需要車企同時(shí)具備以下兩個(gè)條件：

引入 BEV 架構(gòu)，實(shí)現(xiàn)異構(gòu)傳感器的融合，生成活地圖；具備超算中心，或離線服務(wù)器的大模型，能夠?qū)崿F(xiàn)自動(dòng)標(biāo)注及仿真訓(xùn)練；

目前，「輕地圖」路線大多仍是通過(guò)軟硬件結(jié)合的方式，降低高精地圖需求，本質(zhì)上仍然是「多傳感器+高精地圖」路線。

從行業(yè)發(fā)展趨勢(shì)來(lái)看，國(guó)內(nèi)車企也在向「云端大模型+BEV」的路線靠攏，以期實(shí)現(xiàn)「脫圖」。

6 月 17 日，在理想汽車家庭科技日上，理想副總裁兼自動(dòng)駕駛負(fù)責(zé)人郎咸朋便對(duì)外公布了理想汽車的 NPN 網(wǎng)絡(luò)。

郎咸朋介紹稱，在車輛行經(jīng)一段路時(shí)，NPN 網(wǎng)絡(luò)將道路信息特征進(jìn)行提取后，存儲(chǔ)于云端。

而當(dāng)車輛再次行駛到該路口時(shí)，再將儲(chǔ)存的道路特征拿出來(lái)，與車端模型進(jìn)行特征層融合，以此解決道路信息的遮擋問(wèn)題。

當(dāng) NPN 網(wǎng)絡(luò)對(duì)同一路段堆疊大量標(biāo)注結(jié)果后，最終便達(dá)到了「高精地圖」的效果。

理想汽車的「NPN 網(wǎng)絡(luò)+BEV」實(shí)際上延用的就是特斯拉的「離線大模型+BEV」的技術(shù)路線。

（2）升級(jí)到占用網(wǎng)絡(luò)，實(shí)現(xiàn)去「激光雷達(dá)」

在 2022 年的 AI day 上，特斯拉將 BEV 升級(jí)到了占用網(wǎng)絡(luò)。

占用網(wǎng)絡(luò)顯著的特點(diǎn)是，拋棄了過(guò)去算法需要先識(shí)別、判斷物體，再進(jìn)行決策的思路。

在面對(duì)訓(xùn)練中沒(méi)有出現(xiàn)過(guò)的物體時(shí)，如側(cè)翻的白色大卡車，垃圾桶出現(xiàn)在路中央，傳統(tǒng)視覺(jué)算法是無(wú)法檢測(cè)的。

而占用網(wǎng)絡(luò)，則用體素的概念，僅僅是判斷該空間有沒(méi)有物體，而不去深究物體是什么。

這大幅提升了模型的泛化能力，有助于城市 NOA 的實(shí)現(xiàn)。

從特斯拉 AI Day 演示效果來(lái)看，特斯拉通過(guò)鳥(niǎo)瞰圖、占用檢測(cè)和體素分類使純視覺(jué)方案已經(jīng)達(dá)到「偽激光雷達(dá)」效果。

值得注意的是，在特斯拉發(fā)布的最新硬件HW4.0中，預(yù)留了4D 毫米波雷達(dá)接口。這預(yù)示著特斯拉或?qū)⒅貑⒑撩撞ɡ走_(dá)，以彌補(bǔ)純視覺(jué)算法在高程信息感知上的不足。

從成本來(lái)看，公開(kāi)報(bào)道顯示，4D 毫米波雷達(dá)價(jià)格僅約為高線束激光雷達(dá)的 1/10。

（3）AI 大模型卷入自動(dòng)駕駛，超算中心成標(biāo)配

今年 5 月，馬斯克發(fā)推文稱，FSD11.透露稱，FSD V12 版本將完全實(shí)現(xiàn)端到端。

什么是端到端？

目前，自動(dòng)駕駛模型架構(gòu)將駕駛目標(biāo)分為感知、規(guī)劃、控制三大模塊。

但是，這和人類駕駛行為有著根本的不同。

人類司機(jī)在看到視覺(jué)信息后，不會(huì)對(duì)所看到的物體進(jìn)行數(shù)據(jù)分析，而是基于經(jīng)驗(yàn)，在「黑盒」?fàn)顟B(tài)下完成駕駛決策，并協(xié)調(diào)手、腳執(zhí)行任務(wù)。

而端到端模型更為貼近人的駕駛決策行為。

攝像頭采集到外界的視頻數(shù)據(jù)后，算法直接輸出的是方向盤(pán)轉(zhuǎn)角多少度的控制決策，不存在單獨(dú)的「圖像識(shí)別檢測(cè)」任務(wù)。

端到端模型的決策在「黑盒」?fàn)顟B(tài)下進(jìn)行，通過(guò)賦予數(shù)據(jù)，使算法積攢「經(jīng)驗(yàn)」，使得其決策和執(zhí)行同步進(jìn)行。

在理想狀態(tài)下，「黑盒」?fàn)顟B(tài)下的端到端大模型實(shí)際比基于規(guī)則設(shè)定的傳統(tǒng)小模型更為安全。

比起傳統(tǒng)的設(shè)定規(guī)則，參數(shù)對(duì)算法結(jié)構(gòu)進(jìn)行「補(bǔ)丁」式矯正，只要投喂的正確案例足夠多，那么 AI 大模型模型所需要的時(shí)間必然小于傳統(tǒng)規(guī)則。

而經(jīng)過(guò)足夠的數(shù)據(jù)和案例的投喂，端到端模型的泛化能力也必然強(qiáng)于傳統(tǒng)的自動(dòng)駕駛算法。

為了使得大模型落地，海量的數(shù)據(jù)投喂成了廠商必然選擇。

毫末智行 CEO 顧維灝就曾公開(kāi)表示，要使由數(shù)據(jù)驅(qū)動(dòng)的 Transformer 大模型量變引起質(zhì)變需要 1 億公里的里程數(shù)據(jù)。

這一海量數(shù)據(jù)顯然無(wú)法單獨(dú)依靠某個(gè)廠家通過(guò)銷售車輛完成。在這樣的情況下，超算中心便成了 AI 大模型落地的標(biāo)配。

超算中心對(duì)大模型的助力主要體現(xiàn)在數(shù)據(jù)標(biāo)注和仿真訓(xùn)練上。

特斯拉 2022 年發(fā)布的超算中心 Dojo 便是如此。

特斯拉 Dojo 的功能，能夠利用海量的視頻數(shù)據(jù)，做「無(wú)人監(jiān)管」的標(biāo)注和仿真訓(xùn)練。

特斯拉打樣在前，國(guó)內(nèi)不少?gòu)S商也緊隨其后。在 2022 年以后，超算中心開(kāi)始活躍在自動(dòng)駕駛領(lǐng)域。

2022 年 8 月，基于阿里云智能計(jì)算平臺(tái)，小鵬推出了扶搖超算中心，每秒浮點(diǎn)運(yùn)算達(dá) 60 億次，專用于自動(dòng)駕駛模擬訓(xùn)練。

同時(shí)，小鵬還推出了全自動(dòng)標(biāo)注系統(tǒng)，將標(biāo)注效率提升近 4.5 萬(wàn)倍，以前 2000 人一年的標(biāo)注量，現(xiàn)在 16.7 天可以完成。

今年 1 月，毫末智行和火山引擎聯(lián)合打造了MANA OASIS 智算中心，用于自動(dòng)標(biāo)注及仿真訓(xùn)練。

據(jù)悉，MANA OASIS 智算中心，每秒浮點(diǎn)運(yùn)算達(dá) 67 億次，存儲(chǔ)帶寬每秒 2T，通信帶寬每秒 800G。

除了小鵬和毫末以外，跟隨特斯拉步伐，國(guó)內(nèi)車企設(shè)立的超算中心還有：吉利設(shè)立了星瑞智算中心；智己汽車的云上數(shù)據(jù)超級(jí)工廠等。

可以說(shuō)，在自動(dòng)駕駛領(lǐng)域，特斯拉引領(lǐng)著行業(yè)的發(fā)展方向。

自 2020 年以來(lái)，特斯拉率先使用了 BEV、Transfomer 架構(gòu)、離線網(wǎng)絡(luò)大模型，隨后，國(guó)內(nèi)眾多車企才開(kāi)始紛紛跟進(jìn)。

而近一段時(shí)間，「FSD 入華」的話題時(shí)常引發(fā)市場(chǎng)討論。

在熱議的背后，有觀點(diǎn)認(rèn)為，F(xiàn)SD 將是那條引起自動(dòng)駕駛行業(yè)優(yōu)勝劣汰的鯰魚(yú)。言外之意滿是對(duì)行業(yè)賽道參與者的擔(dān)憂。

這倒也不用過(guò)分憂慮。

正如前文所言，特斯拉也并非一開(kāi)始就是「江湖第一」。

在經(jīng)歷「被分手」后，特斯拉自動(dòng)駕駛算法經(jīng)歷了落后，到追趕，再到引領(lǐng)的不同時(shí)期，更多是帶有逆襲成分。

而逆襲的關(guān)鍵點(diǎn)在于：選好目標(biāo)，敢于「一條道走到黑」。

在過(guò)去一段時(shí)間里，市場(chǎng)對(duì)于特斯拉的純視覺(jué)方案并不看好。不少業(yè)內(nèi)觀點(diǎn)認(rèn)為，激光雷達(dá)是安全件，純視覺(jué)方案的自動(dòng)駕駛并不具備可行性。

但在確定純視覺(jué)路線以后，針對(duì)純視覺(jué)方案的各種問(wèn)題，特斯拉從第一性原理出發(fā)，思考確切問(wèn)題的根本，并提出解決方式。

最終的結(jié)果是，特斯拉成為自動(dòng)駕駛領(lǐng)頭羊。

目前，自動(dòng)駕駛也并未到?jīng)Q賽階段。對(duì)于國(guó)內(nèi)這一賽道的參與者，市場(chǎng)要有足夠信心。

畢竟，特斯拉 FSD 仍未入華，而賽道參與者的較量仍未真正開(kāi)始。

關(guān)鍵詞：