世界模型WHALE來了

！

，世界模型被設(shè)計(jì)用于抽象化現(xiàn)實(shí)世界的動(dòng)態(tài)，并提供這種“如果……會(huì)怎樣”的預(yù)測(cè)。

因此

，具身智能體可以與世界模型進(jìn)行交互，而不是直接與現(xiàn)實(shí)世界環(huán)境交互，以生成模擬數(shù)據(jù)，這些數(shù)據(jù)可以用于各種下游任務(wù)，包括反事實(shí)預(yù)測(cè)、離線策略評(píng)估、離線強(qiáng)化學(xué)習(xí)。

世界模型在具身環(huán)境的決策中起著至關(guān)重要的作用

，使得在現(xiàn)實(shí)世界中成本高昂的探索成為可能。為了促進(jìn)有效的決策，世界模型必須具備強(qiáng)大的泛化能力，以支持分布外（OOD）區(qū)域的想象，并提供可靠的不確定性估計(jì)來評(píng)估模擬體驗(yàn)的可信度，這兩者都對(duì)之前的可擴(kuò)展方法提出了重大挑戰(zhàn)。

近日

，來自南京大學(xué)、南棲仙策等機(jī)構(gòu)的研究者在論文中引入了WHALE（World models with beHavior-conditioning and retrAcing-rollout LEarning），這是一個(gè)用于學(xué)習(xí)可泛化世界模型的框架，由兩種可以與任何神經(jīng)網(wǎng)絡(luò)架構(gòu)普遍結(jié)合的關(guān)鍵技術(shù)組成。

在確定策略分布差異是泛化誤差的主要來源的基礎(chǔ)上

，研究者引入了一種行為—條件（behavior-conditioning）技術(shù)來增強(qiáng)世界模型的泛化能力，該技術(shù)建立在策略條件模型學(xué)習(xí)的概念之上，旨在使模型能夠主動(dòng)適應(yīng)不同的行為，以減小分布偏移引起的外推誤差。此外，研究者還提出了一種簡單而有效的技術(shù)