[汽車之家資訊] 4月12日，蔚來NOMI GPT大模型正式上線，同步推送給搭載Banyan·榕 蔚來智能系統的車型。據了解，此次NOMI升級了基于全新技術架構，為NOMI量身打造NOMI GPT端云多模態大模型，包含自研多模態感知、自研認知中樞、情感引擎、多專家Agent，能夠打通蔚來產品、服務、社區，提供更高效、愉悅的AI服務。
據官方介紹，本次升級帶來了眾多基于大模型能力的新功能，NOMI現在可以回答關于科學、歷史、影視等不限領域的百科知識，提供富有情感的連續對話，還能根據用戶的簡單指令，智能生AI用車場景、氛圍燈組合以及呈現獨有的NOMI表情等。
『新一代車載人工智能NOMI技術框架』
NOMI GPT端云多模態大模型，包括自研的端云融合架構、多模態感知、認知中樞、情感引擎、記憶能力、NOMI GPT Agents(NIO Agents，User Agents，三方Agents)等，能夠靈活調用第三方 API，搭建AI Agent，打通蔚來產品、服務、社區，提供更高效、愉悅的AI用車體驗。
同時，讓NOMI具備“看得見，認得出”“聽得到，聽得懂”“知冷熱，有觸感”等能力，同時做到賬號隔離，敏感信息不出車，車載通信端到端加密，保障用戶隱私安全。據官方介紹，蔚來自研的端側多模態感知，擁有數十億參數，融合了圖像（視覺）、音頻（聽覺）、車身傳感器（觸覺）等多模感知，并像人類一樣，能將多維度感知用自然語言描述，從而更全面的感知艙內外的人和世界，提供更懂你、更高效、更保護隱私的智能體驗。基于端側多模感知，NOMI可以像朋友一樣，看見你的物品、著裝、狀態，甚至艙外的車輛、樓宇、動物植物，進而提供更懂你的服務、更有趣的溝通。值得一提的是，端側多模態感知內部測試中，預計今年內上車。
此外，NOMI將擁有更高效的信息認知能力，能在海量信息源中精準判斷用戶意圖與需求，無縫調度大模型架構內組件，實現“領會用戶意圖有默契，執行夠聰明，靈活不打擾”的優質用車體驗。蔚來自研的端云一體的認知中樞，能夠根據多維感知信息，通過推理分析形成復雜任務的處理能力，讓 NOMI真正成為貼心可靠的助手。認知中樞集成了行業最全知識庫，能夠從容調度執行各種任務，回答各種問題。
中樞包括中控分發，多模拒識，跨域繼承&跳轉，多Agent決策幾個部分；其中包含中控分發：NOMI會根據用戶所說的內容，結合對話上下文、感知以及狀態信息，智能地判斷調用任務型交互、問答閑聊、用車助手等，同時也能支持語義創建完整的快捷場景；多模拒識：依據文本，音頻以及圖像信息綜合決策是否是在和NOMI交互，目標是實現用戶在和NOMI交互時要有回復，用戶在和車里其他人聊天時NOMI不插嘴；跨域繼承&跳轉：結合用戶長上下文信息，幫助NOMI GPT靈活地在百科聊天以及任務中去做上下文理解及指代消解；多Agent決策：在前置分發信息不足無法明確時，調用多個Agent，根據前置信息以及Agent輸出信息最終決策給用戶的返回內容。蔚來首創了模態內外多維度對比學習技術（Interspeech 2023），并且首次將其工程化運用于NOMI對話系統中，包括多模拒識和調度分發，最終使得拒識得誤識別率和誤拒識率均控制在2%以內，調度分發單輪準確率達到98%+，長距離多輪分發準確率達到95%+。
此外，NOMI將擁有獨有情感引擎，其是NOMI實現擬人交互的關鍵，通過與用戶長期溝通與陪伴、記憶、學習，實現有個性的成長，讓NOMI不只是一個冰冷的“助手”，更是懂你的情感伙伴。同時，關于記憶方面，NOMI的記憶能力包括短期記憶和長期記憶，短期記憶可以讓NOMI記住用戶最近在聊的話題、用戶之前提到人和物，長期記憶讓NOMI能夠記住用戶和家人朋友，記住用戶的喜好，記住和用戶在一起點點滴滴。值得一提的是，情感引擎能夠幫助NOMI更快的學習成長，通過實時反饋、事后反思、人為訓練等方式，不斷變得更加聰明，不斷掌握新技能和新知識。情感引擎也在讓NOMI有更獨特的人設，包括性格、三觀、夢想等，讓NOMI的每一句對話、每一個表情，都符合NOMI的基本人設，但也會隨著陪伴時間的增長，而潛移默化地和用戶更加契合。
在感知、認知、決策等方面，官方將采用十億級參數模型，以毫秒級的速度響應用戶的訴求。同時也有百億千億級參數的通用生成模型，以秒級響應速度，作為NOMI開放域知識問答、復雜邏輯推理能力的支撐。
此外，NOMI GPT將擁有交互視窗，官方為NOMI GPT打造全新交互界面，可更加靈動的展示多種類型的生成內容。具體為思考狀態：新增‘思考中’、‘生成中’兩種狀態，NOMI思考狀態一目了然；標題展示：支持標題序號和加粗樣式。試試說「推薦5個北京適合遛娃的地方」；表格展示：支持表格展示樣式，試試說「把周杰倫每張專輯的發布時間列個表格給我」；關聯推薦：在生成結果下方，會展現更多關聯推薦的問法；停止生成：可隨時說「停止生成」或「別說了」等，來終止NOMI GPT生成。
NOMI知識豐富度與推理能力升級，為用戶解答疑惑、拓寬視野。其中，NOMI支持包括科學、歷史、文學、藝術、影視等不限領域的百科知識問答；支持景點推介、游玩攻略、行程建議等出行場景問答；提升理解、推理與創作能力，能夠進行學習、創作、咨詢等個人問答等。
值得一提的是，此次官方針對NOMI表情互動體驗也進行升級，包含精準表情：增加更多趣玩表情互動指令。比如「做個鬼臉」、「看蝴蝶」、「吹蒲公英」、「吹彩色紙屑」、「摸小狗」、「看流星」、「數星星」等，可精準觸發對應的表情；支持任意描述的表情指令「做一個xx的表情」，或者「表演一個xx的樣子」，提供趣味回復和靈活匹配的表情。比如「做一個中了大獎的表情」、「做一個給老婆表白的表情」、「表演一個蝙蝠俠的樣子」；支持表情九連拍，可以通過「你有哪些表情」觸發一連串的表情表演。
當然，在氛圍營造方面，NOMI支持營造任意的氛圍。只需要說「來個XX的氛圍」，NOMI會基于大模型強大的推理能力，在16,777,216種氛圍燈搭配中，找到最適合用戶表達的氛圍搭配。比如：場景氛圍：「來個二人世界的氛圍」「調成哄娃睡覺的氛圍」「來個全家去春游的氛圍」；心情氛圍：「來個元氣滿滿去上班的氛圍」「來個加班很晚很疲憊的氛圍」；世界氛圍：「營造一個北極光的氛圍」「來個法蘭西的氛圍」「來個上海的氛圍」。
在其它方面，NOMI支持查詢車輛信息、用車知識、指示燈等，幫助新老用戶更深入的了解和使用車輛。車輛信息查詢：「我這輛車有多長」「ET7和ET5誰更寬」「這輛車涉水深度是多少」；用車知識查詢：「兒童座椅怎么裝」「怎么重啟車機」「發生了剮蹭怎么辦」；指示燈查詢：「儀表上有個紅圈里面有個P是啥」「儀表有個小旗子邊上有個加號是啥」「儀表有個綠色小蝴蝶是什么意思」。
跟隨245 NOMI應用更新上線全新AI場景生成，包含NOMI支持通過自然語言，一句話實現場景任務創建，在千量級車輛原子能力中，組合出使用情境，貼合用戶駕乘習慣的方方面面。例如：行車顧問：支持日常通勤、行車準備、離車設定等情境下的用車習慣設定，如：「工作日早上我上車就自動導航去公司，把熱點打開，空調調到23度，然后播放NIORadio資訊充電站」等。關于該品牌更多信息，我們也將持續關注。（編譯/汽車之家 周易）