“毫末智行的智算中心‘雪湖·綠洲’(MANA OASIS)可以為自動駕駛技術(shù)的持續(xù)迭代提供充足動力,在MANA OASIS 加持下,毫末將實(shí)現(xiàn)算力充沛、數(shù)據(jù)充沛、時空無距,助力毫末奔跑進(jìn)入自動駕駛3.0時代。”在1月5日舉行的第七屆HAOMO AI DAY上,毫末智行CEO顧維灝在《走向大算力、大模型、大數(shù)據(jù),毫末的自動駕駛3.0時代》主題演講中,重磅宣布中國自動駕駛行業(yè)最大智算中心正式成立,并分享了在OASIS助力下,毫末數(shù)據(jù)智能體系MANA五大模型的最新成果。同時還首次公布了毫末城市NOH產(chǎn)品規(guī)劃:預(yù)計(jì)2024年上半年落地將達(dá)到100城,2025年邁向全無人駕駛。

(毫末智行CEO顧維灝在第七屆HAOMO AI DAY發(fā)表主題演講)

　　毫末發(fā)布中國自動駕駛行業(yè)最大智算中心,沖刺進(jìn)入自動駕駛3.0時代

　　“‘綠洲’是從毫末數(shù)據(jù)智能體系 MANA雪湖中孕育生長而出,綠洲原本是浩瀚沙漠中的片片沃土,水草豐茂,生機(jī)勃勃。毫末‘雪湖·綠洲’的名字意味著毫末擁有的超級計(jì)算、充沛的算力及數(shù)據(jù),一切生機(jī)勃勃,充滿期待。” 顧維灝在演講中對“綠洲”名字由來及含義進(jìn)行了解釋。同時在活動現(xiàn)場,顧維灝與火山引擎總裁譚待共同宣布中國自動駕駛行業(yè)最大智算中心——雪湖·綠洲(MANA OASIS)正式成立。

　　在現(xiàn)場,顧維灝詳細(xì)闡釋了建設(shè)MANA OASIS的底層邏輯。首先,自動駕駛對智算中心的第一要求肯定是算力。智算中心的超大算力代表了有多少的AI工程師在這個練武場中能夠做出什么大模型,能訓(xùn)練多少大模型。其次,智算中心對數(shù)以百億計(jì)的自動駕駛小文件數(shù)據(jù)隨機(jī)存儲的效率,決定了模型的訓(xùn)練效率。第三,大模型訓(xùn)練的大量交換數(shù)據(jù)要求高性能的存儲帶寬,讓大量數(shù)據(jù)在大模型中順暢流動。第四,海量數(shù)據(jù)的計(jì)算要求在多臺服務(wù)器協(xié)同工作,對智算中心集群的通訊帶寬提出了較高要求。第五,自動駕駛所需的大模型,會要求更好的并行計(jì)算框架,在訓(xùn)練的時候把硬件資源都利用起來。最后,新的人工智能算法層出不窮,要求通過智算中心能夠盡快引入新技術(shù)和新模型來實(shí)現(xiàn)技術(shù)的升級。

　　據(jù)介紹,MANA OASIS由毫末智行與火山引擎聯(lián)合打造,算力高達(dá)67億億次/秒,配備了存儲帶寬2T/秒的高性能存儲和通信帶寬800G/秒的高性能網(wǎng)絡(luò)。“毫末訓(xùn)練平臺部署到 OASIS上后,可以運(yùn)行包括云端大模型訓(xùn)練、車端模型訓(xùn)練、標(biāo)注、仿真等各類應(yīng)用。”顧維灝表示,基于火山引擎豐富的大數(shù)據(jù)積累和底層技術(shù),MANA OASIS實(shí)現(xiàn)的計(jì)算、存儲、通訊能力,可以讓GPU不再等待數(shù)據(jù),數(shù)據(jù)轉(zhuǎn)化成知識的速度也會更快。毫末數(shù)據(jù)、算力、訓(xùn)練效率也迎來全面提升。

(毫末智行智算中心“雪湖·綠洲”每秒浮點(diǎn)運(yùn)算達(dá)67億億次)

　　具體來看,在數(shù)據(jù)管理能力方面,為充分發(fā)揮智算中心價值,讓GPU持續(xù)飽和運(yùn)行,毫末歷經(jīng)2年研發(fā),建立了全套面向大規(guī)模訓(xùn)練的Data Engine,實(shí)現(xiàn)了百P數(shù)據(jù)篩選速度提升10倍、百億小文件隨機(jī)讀寫延遲小于500us。在算力優(yōu)化方面,毫末與火山引擎合作,部署了Lego高性能算子庫、ByteCCL通信優(yōu)化能力,以及大模型訓(xùn)練框架。軟硬一體,把算力優(yōu)化到極致。在訓(xùn)練效率方面,基于Sparse MoE,通過訓(xùn)練平臺的持續(xù)優(yōu)化,毫末可實(shí)現(xiàn)單機(jī)訓(xùn)練百億參數(shù)大模型,以及實(shí)現(xiàn)跨機(jī)共享expert的方法,完成千億參數(shù)規(guī)模大模型訓(xùn)練,訓(xùn)練成本降低到百卡周級別,訓(xùn)練效率提升100倍。

(MANA OASIS基礎(chǔ)能力展示)

　　“MANA OASIS可以為自動駕駛技術(shù)的持續(xù)迭代提供充足動力,在MANA OASIS加持下,毫末將實(shí)現(xiàn)算力充沛、數(shù)據(jù)充沛、時空無距,助力毫末奔跑進(jìn)入自動駕駛3.0時代。”顧維灝表示,在2022年9月舉行的第六屆HAOMO AI DAY上,毫末在業(yè)內(nèi)首提了自動駕駛3.0時代概念。毫末一直在為自動駕駛3.0時代做準(zhǔn)備,在感知、認(rèn)知、模式上,都是按照數(shù)據(jù)驅(qū)動方式建設(shè),沖刺進(jìn)入自動駕駛3.0時代。毫末智算中心的成立,將助力其加速這一進(jìn)程。

　　MANA五大模型全新亮相升級 HPilot未來三年迭代計(jì)劃公布

　　“在MANA OASIS上,我們目前有五個大模型來解決自動駕駛中的一些關(guān)鍵問題。”顧維灝現(xiàn)場分享了毫末最新研發(fā)的MANA五大模型,在應(yīng)對城市復(fù)雜路況上鎖提出的最新技術(shù)成果。

(MANA五大大模型助力自動駕駛能力發(fā)展)

　　首先是,視頻自監(jiān)督大模型,可以完成 4D Cip 的自動標(biāo)注;為了更低成本、更高效獲取更多高價值數(shù)據(jù),需要解決從離散幀自動化擴(kuò)充到 Cips形態(tài)的問題。毫末首先利用海量 videoCip,通過視頻自監(jiān)督方式,預(yù)訓(xùn)練出一個大模型,用少量人工標(biāo)注好的 Cip 數(shù)據(jù)進(jìn)行 Finetune(微調(diào)),訓(xùn)練檢測跟蹤模型,使得模型具備自動標(biāo)注的能力;然后,將已經(jīng)標(biāo)注好的千萬級單幀數(shù)據(jù)所對應(yīng)的原始視頻提取出來組織成Cip,其中 10%是標(biāo)注幀,90%是未標(biāo)注幀,再將這些 Cip 輸入到模型,完成對 90%未標(biāo)注幀的自動標(biāo)注,進(jìn)而實(shí)現(xiàn)所有單幀標(biāo)注向 Cip 標(biāo)注的 100%的自動轉(zhuǎn)化,同時降低 98%的 Cip 標(biāo)注成本。目前,視頻自監(jiān)督大模型已經(jīng)取得極佳的泛化效果,針對一些困難場景,都可以準(zhǔn)確完成自動標(biāo)注。

(視覺自監(jiān)督大模型,可以完成4D Cip的自動標(biāo)注)

　　其次,3D重建大模型,可實(shí)現(xiàn)數(shù)據(jù)“無中生有”,輕松獲得海量corner case。面對“完全從真實(shí)數(shù)據(jù)中積累的corner case困難且昂貴”的行業(yè)難題,毫末將NeRF技術(shù)應(yīng)用在自動駕駛場景重建和數(shù)據(jù)生成中,它通過改變視角、光照、紋理材質(zhì)的方法,生成高真實(shí)感數(shù)據(jù),例如通過視角變化可以模擬變道、繞行、調(diào)頭等各種主車行為,甚至模擬一些即將碰撞的高危險(xiǎn)性場景數(shù)據(jù)。顧維灝表示:“經(jīng)過大量實(shí)驗(yàn)我們發(fā)現(xiàn),通過這種方法生成的數(shù)據(jù)比人工顯式建模再渲染紋理的傳統(tǒng)方法效果更好,更適合自動駕駛需求。”目前毫末的成果是增加NeRF生成的數(shù)據(jù)之后可以將感知的錯誤率在原來的基礎(chǔ)上降低30%以上,并且整個數(shù)據(jù)生成過程基本不需要人工參與,可以實(shí)現(xiàn)全自動化。接下來,毫末將依托綠洲的計(jì)算能力,將過去積累的全部場景3D重建化。

(3D重建大模型,用更低成本解決數(shù)據(jù)分布問題,提升感知效果)

　　第三,多模態(tài)大模型,能夠精準(zhǔn)識別各類異形障礙物,讓車輛仿佛具備“火眼金睛”。在成功實(shí)現(xiàn)車道線和常見障礙物的精準(zhǔn)檢測后,針對城市多種異形障礙物的穩(wěn)定檢測問題,毫末正在思考和探索更加通用的解決方案。多模態(tài)大模型引入了激光雷達(dá)作為視覺監(jiān)督信號,直接使用視頻數(shù)據(jù)來推理場景的通用結(jié)構(gòu)表達(dá)。顧維灝在現(xiàn)場舉了兩個例子,一個是城市路口場景,一個是城市當(dāng)中非常常見的公交站點(diǎn)。得益于多模態(tài)大模型的幫助,毫末目前在異形物判斷和精細(xì)結(jié)構(gòu)的表達(dá)方面取得了巨大的進(jìn)步。通用結(jié)構(gòu)的檢測很好的補(bǔ)充了已有的語義障礙物檢測,對于提升在城市復(fù)雜工況下的通過性有非常大的幫助。

(多模態(tài)互監(jiān)督大模型,可以完成通用障礙物的識別)

　　第四,動態(tài)環(huán)境大模型,可以精準(zhǔn)預(yù)測道路的拓?fù)潢P(guān)系,讓車輛始終行駛在正確的道路中。在重感知技術(shù)路線下,毫末為了將對高精地圖的依賴度降到最低,面臨著“道路拓?fù)浣Y(jié)構(gòu)實(shí)時推斷”的挑戰(zhàn)。為此,毫末在BEV的feature map(特征圖)基礎(chǔ)上,以高精地圖作為引導(dǎo)信息,使用自回歸編解碼網(wǎng)絡(luò),將BEV特征,解碼為結(jié)構(gòu)化的拓?fù)潼c(diǎn)序列,實(shí)現(xiàn)車道拓?fù)漕A(yù)測,讓毫末的感知能力,能像人類一樣在標(biāo)準(zhǔn)地圖的導(dǎo)航提示下就可以實(shí)現(xiàn)對道路拓?fù)浣Y(jié)構(gòu)的實(shí)時推斷。顧維灝表示:“我們的算法在保定和北京85%的路口拓?fù)漕A(yù)測上,準(zhǔn)確率高達(dá)95%,即便是非常復(fù)雜、非常不規(guī)則的路口,我們也能準(zhǔn)確預(yù)測,可以說比老司機(jī)還老司機(jī)。”

(動態(tài)環(huán)境大模型,讓毫末進(jìn)一步使用重感知技術(shù),降低對高精地圖依賴)

　　最后是,人駕自監(jiān)督認(rèn)知大模型,可掌握高水平司機(jī)的開車技法,使得駕駛決策更聰明。在探索“使用大量人駕數(shù)據(jù),直接訓(xùn)練模型做出擬人化決策”方面,毫末為了讓模型能夠?qū)W習(xí)到高水平專業(yè)司機(jī)的優(yōu)秀開車方法,全新引入了用戶真實(shí)的接管數(shù)據(jù),同時用RLHF(從人類反饋中強(qiáng)化學(xué)習(xí))思路先訓(xùn)練一個reward model(獎勵模型),來挑選出更好的駕駛決策。通過這種方式,使毫末在掉頭、環(huán)島等公認(rèn)的困難場景中,通過率提升30%以上。這一方法與AGI(通用人工智能)領(lǐng)域爆火的ChatGPT的思路不謀而合,即通過人類行為反饋來選出最優(yōu)答案。

(人駕自監(jiān)督認(rèn)知大模型,毫末的駕駛策略更加擬人化,安全及順暢)

　　“在五大模型助力下,MANA最新的車端感知架構(gòu),實(shí)現(xiàn)了一個跨代升級。”顧維灝現(xiàn)場展示了大模型賦能下MANA最新的車端感知架構(gòu)變化,從過去分散的多個下游任務(wù)都集成到一起,形成一個更加端到端架構(gòu),包括局部路網(wǎng)、預(yù)測等任務(wù),均實(shí)現(xiàn)了跨代升級。這意味著毫末的感知能力更強(qiáng),產(chǎn)品力更強(qiáng),向全無人駕駛加速邁進(jìn)。

(MANA五大模型助力毫末感知架構(gòu)實(shí)現(xiàn)跨代升級)

　　“重感知的技術(shù)路線、大模型的技術(shù)應(yīng)用、用戶閉環(huán)的數(shù)據(jù)建設(shè)領(lǐng)先,這是毫末城市NOH率先實(shí)現(xiàn)‘進(jìn)城’的三大決定因素。”顧維灝在演講中首次分享毫末做到中國第一個可大規(guī)模落地的城市NOH的原因,并正式公布了毫末HPilot的迭代計(jì)劃:預(yù)計(jì)到2024年上半年,毫末將完成HPilot落地中國100個城市的計(jì)劃,實(shí)現(xiàn)點(diǎn)點(diǎn)互達(dá)。到2025年,更大規(guī)模全場景的NOH將更快落地,全無人駕駛即將來臨。

(毫末HPilot發(fā)展規(guī)劃)

　　安全是毫末自動駕駛永恒不變的主題 毫末自研AEB算法獲用戶及國際權(quán)威機(jī)構(gòu)認(rèn)可

　　   “安全是毫末自動駕駛永恒不變的主題,自動駕駛,安全先行。”顧維灝在現(xiàn)場多次強(qiáng)調(diào)了安全之于毫末的重要性,并重點(diǎn)分享了毫末自研的AEB算法在2022年的優(yōu)異表現(xiàn)。

　　“安全一直是我們產(chǎn)品的基礎(chǔ),AEB是汽車安全行駛的守門員,我們希望能夠給用戶帶來更加安全和舒適的駕乘體驗(yàn)。”顧維灝表示,在長城魏牌App上,大量真實(shí)用戶分享了駕車緊急情況下,毫末自研AEB算法緊急剎停,保障行車安全的經(jīng)歷,并反饋:AEB真是幫了大忙。

(毫末自研AEB受到用戶廣泛認(rèn)可)

　　用戶肯定的同時,毫末自研AEB算法也受到了國際權(quán)威機(jī)構(gòu)的認(rèn)可。顧維灝現(xiàn)場介紹“毫末自研AEB算法在2022年助力魏牌、歐拉、坦克總計(jì)四款車型拿到E-NCAP、ANCAP五星安全認(rèn)證,毫末也成為中國首個出海量產(chǎn)落地的自動駕駛公司。”

(毫末自研AEB受到國際權(quán)威機(jī)構(gòu)認(rèn)可)

　　上述成績的取得離不開日常的積累。顧維灝分享到,為了保障安全,毫末日常會開展大量的主動安全真實(shí)場景測試,包括在不同環(huán)境、不同速度、不同場景中的測試。例如在速度50～60km/h,車對車靜態(tài)正面碰撞測試、車對車靜態(tài)消失前車測試、行人橫穿碰撞測試、兒童鬼探頭碰撞測試場景等。此外,毫末還在日常大量模擬仿真測試保障安全,積累了完備的MIL、SIL、HIL的AEB驗(yàn)證系統(tǒng),超過12000個AEB場景庫,AEB道路驗(yàn)證達(dá)數(shù)億公里,AEB Logsim仿真平臺測試效率達(dá)到100萬公里/小時。

(毫末日常大量模擬仿真測試保障安全)

　　顧維灝在演講最后表示:“凡是經(jīng)歷,皆為饋贈。毫末最為制勝的武器,是毫末同學(xué)們在一起而形成的迎難而上的創(chuàng)業(yè)精神,這種無敵的創(chuàng)業(yè)精神是我們面對挑戰(zhàn),取得領(lǐng)先,不斷向前的最大法寶。毫末希望攜手更多同路人,一起做更多有意義的事情。”

　　“讓機(jī)器智能移動,給生活更多美好”這是毫末的愿景,也是第七屆HAOMO AI DAY的主題。本屆HAOMO AI DAY所展現(xiàn)的信心及技術(shù)前景,在嚴(yán)寒冬日里,以溫暖的力量,努力為行業(yè)點(diǎn)亮火種。2023年伊始,毫末將向新的三年全力邁進(jìn)。