4月14日，小鵬汽車在香港舉辦AI技術(shù)分享會(huì)，首次對(duì)外展示其正在研發(fā)的超大規(guī)模自動(dòng)駕駛大模型——“小鵬世界基座模型”，參數(shù)規(guī)模高達(dá)720億。這一模型將為小鵬汽車的“AI汽車”提供全新的智能大腦，并賦能其AI機(jī)器人、飛行汽車等業(yè)務(wù)。

小鵬世界基座模型以大語(yǔ)言模型為骨干網(wǎng)絡(luò)，通過(guò)海量?jī)?yōu)質(zhì)駕駛數(shù)據(jù)訓(xùn)練，具備視覺(jué)理解、鏈?zhǔn)酵评砗蛣?dòng)作生成能力。通過(guò)強(qiáng)大的強(qiáng)化學(xué)習(xí)訓(xùn)練，該模型不斷自我進(jìn)化，有望發(fā)展出超越人類的自動(dòng)駕駛技術(shù)。

小鵬汽車自動(dòng)駕駛負(fù)責(zé)人李力耘介紹，該模型的一大優(yōu)勢(shì)是具備鏈?zhǔn)酵评砟芰Γ–oT），能夠像人類一樣進(jìn)行復(fù)雜的常識(shí)推理，并將推理結(jié)果轉(zhuǎn)化為行動(dòng)，實(shí)現(xiàn)與物理世界的交互。未來(lái)，智能駕駛系統(tǒng)有望借助這一模型從“模仿人類”進(jìn)化到“超越人類”，處理全場(chǎng)景自動(dòng)駕駛問(wèn)題。

為了支持基座模型的研發(fā)，小鵬汽車早在去年就開始布局AI基礎(chǔ)設(shè)施，建成國(guó)內(nèi)汽車行業(yè)首個(gè)萬(wàn)卡智算集群，打造了一套名為“云端模型工廠”的生產(chǎn)流程。該工廠涵蓋了基座模型的預(yù)訓(xùn)練、后訓(xùn)練、模型蒸餾、車端模型訓(xùn)練等任務(wù)，實(shí)現(xiàn)了從云到端的高效生產(chǎn)。

目前，小鵬“云端模型工廠”擁有10 EFLOPS的算力，集群運(yùn)行效率常年保持在90%以上，從云到端的全鏈路迭代周期可達(dá)平均5天一次。此外，小鵬汽車自主開發(fā)了底層的數(shù)據(jù)基礎(chǔ)設(shè)施，使數(shù)據(jù)上傳規(guī)模提升22倍、訓(xùn)練中的數(shù)據(jù)帶寬提升15倍，模型訓(xùn)練速度提升了5倍。

在分享會(huì)上，小鵬汽車披露了基模研發(fā)的三個(gè)階段性成果：

驗(yàn)證規(guī)模法則：小鵬團(tuán)隊(duì)首次驗(yàn)證了規(guī)模法則在自動(dòng)駕駛領(lǐng)域持續(xù)生效，即參數(shù)規(guī)模和訓(xùn)練數(shù)據(jù)量越大，模型的能力越強(qiáng)。

基?？剀?/span>：小鵬汽車在后裝算力的車端成功實(shí)現(xiàn)基?？剀嚕禄Ｕ宫F(xiàn)出令人驚喜的基礎(chǔ)駕車技能。

啟動(dòng)72B參數(shù)基模訓(xùn)練：小鵬汽車已經(jīng)啟動(dòng)72B參數(shù)基模的訓(xùn)練，并搭建了針對(duì)強(qiáng)化學(xué)習(xí)的模型訓(xùn)練框架。

小鵬汽車去年就開始研發(fā)強(qiáng)化學(xué)習(xí)技術(shù)，用以提升基座模型的性能天花板。強(qiáng)化學(xué)習(xí)能夠幫助模型自我進(jìn)化，學(xué)會(huì)處理訓(xùn)練數(shù)據(jù)中沒(méi)有的長(zhǎng)尾問(wèn)題，做到極致安全的自動(dòng)駕駛。

同時(shí)，小鵬汽車已經(jīng)著手開發(fā)世界模型(World Model），作為“云端模型工廠”的重要一環(huán)，支持基座模型的性能優(yōu)化。這一實(shí)時(shí)建模和反饋系統(tǒng)能夠構(gòu)建一個(gè)閉環(huán)的反饋網(wǎng)絡(luò)，幫助基座模型不斷進(jìn)化，突破過(guò)去“模仿學(xué)習(xí)”的天花板。

基模研發(fā)是小鵬汽車“AI化”轉(zhuǎn)型的重要一步，小鵬汽車將繼續(xù)在自動(dòng)駕駛領(lǐng)域投入研發(fā)，推動(dòng)智能汽車技術(shù)的發(fā)展。關(guān)于小鵬世界基座研發(fā)和訓(xùn)練成果更多的細(xì)節(jié)，今年6月小鵬汽車將會(huì)在計(jì)算機(jī)視覺(jué)國(guó)際頂會(huì)CVPR上進(jìn)一步分享，值得期待。