4 月 27 日，螞蟻集團(tuán)旗下全模態(tài) AI 助手靈光 App 上線“體驗(yàn)世界模型”功能。用戶上傳一張圖片，即可在手機(jī)端生成一個(gè) 60s 的 3D 世界，以第一人稱視角進(jìn)入其中，像玩游戲一樣在 AI 實(shí)時(shí)生成的場(chǎng)景中漫游。無需本地部署，無需復(fù)雜配置，打開 App 即可體驗(yàn)。這是世界模型首次以移動(dòng)端產(chǎn)品的形態(tài)，面向普通用戶開放。

支撐這一體驗(yàn)的核心，是螞蟻靈波科技開源的世界模型 LingBot-World-Fast。該模型在 480P 分辨率下可實(shí)現(xiàn) 16 fps 實(shí)時(shí)生成，端到端交互延遲控制在 1 秒以內(nèi)，兼具通用性、長(zhǎng)時(shí)序一致性與?動(dòng)態(tài)場(chǎng)景表現(xiàn)能力。

 

除了面向普通用戶的靈光 App 體驗(yàn)，開發(fā)者與研究者也可以基于開源的 LingBot-World-Fast 進(jìn)行本地部署和二次開發(fā)。本地環(huán)境下，模型支持無縫的持續(xù)生成，用戶可以通過鍵盤、鼠標(biāo)實(shí)時(shí)操控視角與移動(dòng)，也可以通過文本提示（Prompt）隨時(shí)改變環(huán)境狀態(tài)或觸發(fā)局部事件，比如調(diào)整天氣、切換畫面風(fēng)格等。

為了實(shí)現(xiàn)實(shí)時(shí)交互，螞蟻靈波 LingBot-World-Fast 提出了專門的后訓(xùn)練優(yōu)化方案，模型在生成過程中只聚焦新增畫面內(nèi)容，不再重復(fù)計(jì)算已穩(wěn)定的部分，從而顯著提升實(shí)時(shí)生成效率，同時(shí)盡可能確保畫面質(zhì)量、時(shí)序連貫性與場(chǎng)景一致性。

實(shí)時(shí)世界模型提供了一個(gè)可以進(jìn)入、操作和即時(shí)響應(yīng)的環(huán)境，每一次交互都能即時(shí)看到結(jié)果，而非等待離線渲染。對(duì)于具身智能研發(fā)而言，LingBot-World-Fast 可提供多樣化的虛擬訓(xùn)練環(huán)境，幫助機(jī)器人在數(shù)字世界中進(jìn)行場(chǎng)景理解、動(dòng)作學(xué)習(xí)和任務(wù)演練。對(duì)于游戲開發(fā)和內(nèi)容創(chuàng)作而言，它有望降低交互式內(nèi)容原型制作門檻，提升從創(chuàng)意到體驗(yàn)的轉(zhuǎn)化效率。

今年 1 月，螞蟻靈波曾開源 LingBot-World-Base 版本，憑借高保真畫質(zhì)、10 分鐘超長(zhǎng)視頻生成和出色的物理一致性，在世界模型方向上引發(fā)廣泛關(guān)注。

目前，LingBot-World-Fast 模型與代碼已在 Hugging Face和 Model Scope面向社區(qū)完整開放。普通用戶可通過靈光 App 直接體驗(yàn)相關(guān)能力，開發(fā)者和研究者也可基于開源模型進(jìn)行本地部署與進(jìn)一步探索。

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))雷峰網(wǎng)雷峰網(wǎng)

雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。