米哈遊、復旦發佈，具備感知、大腦、行動的大語言模型“智慧體”

原文來源：AIGC開放社區

圖片來源：由無界 AI生成

ChatGPT等大語言模型展示了前所未有的創造能力，但距AGI（通用人工智慧）還有很大的距離，缺少自主決策、記憶存儲、規劃等擬人化能力。

為了探索大語言模型向AGI演變，進化成超越人類的超級人工智慧，米哈遊與復旦NLP研究團隊聯合發佈了一篇基於大語言模型的“智慧體”論文。 將具備感知、大腦和行動三大功能的智慧體，投放在文本、沙盒遊戲等實驗環境中讓其自行活動。

結果顯示，這些智慧體具備自主感知、計劃、決策和交流等擬人化能力，例如，當周圍環境變得困難、艱苦時，智慧體會自動調整策略和行動力; 在社會類比環境中，智慧體會表現出同情等擬人化情感; 當兩個陌生智慧體通過簡單交流後，會記住彼此。

該技術框架與之前斯坦福大學、清華大學發佈的AI代理遊戲模擬實驗類似，都是在大語言模型的基礎之上構建功能更強大的AI機器人，這為行業的發展起到了推動作用。

論文位址：

Github：

根據論文介紹，智慧體主要由感知、決策與控制以及執行三大模塊組成，通過感知環境、做出智慧決策然後執行具體的行動。

感知模組

感知模組用於從環境中獲取各種資訊，相當於人的感官。 可以包含多種感測器，獲取不同類型的數據，例如，攝像頭獲取圖像資訊，麥克風獲取語音資訊等。

感知模組預處理這些原始數據，轉化為智慧體可以理解的數位表示，以供後續模組使用。 常用的感知感測器包括：

圖像感測器：攝像頭、RGB-D 攝像機等，用來獲取視覺資訊。

聲音感測器：麥克風，獲取語音、環境聲音等音訊資訊。

位置感測器：GPS、INS（慣性導航系統）等，獲知智慧體自身位置。

觸覺感測器：觸覺ARRAY、觸覺手套等，獲取物體接觸時的觸覺反饋。

溫度、濕度、氣壓等環境感測器，獲取環境參數資訊。

感知模組需要對原始數據進行預處理，例如，圖像去噪、聲音降噪、格式轉換等，以生成可供後續模組使用的規範化數據。 同時，感知模組還可以進行特徵提取，如從圖像中提取邊緣、紋理、目標區域等視覺特徵。

決策與控制模組

該模組是智慧體的“大腦”，對感知模組獲取的數據進行處理、分析，並做出相應決策。 可細分為以下子模組：

知識庫/記憶：儲存各類先驗知識、經驗，以及執行過程中的觀測、經歷等資訊。

推理/規劃：分析當前環境，根據目標任務制定行動方案。 如路徑規劃、動作序列規劃等。

決策：根據當前環境狀態、知識和推理結果，做出最優決策。

控制：將決策結果轉換為控制指令，向執行模組下達執行命令。

決策與控制模組的設計是智慧體技術的關鍵。 早期使用基於邏輯和規則的符號方法，近年來深度學習技術成為主流。 模組的輸入是感知獲取的各類數據，輸出是對執行模組的控制指令。

## 執行模組

執行模組接收控制指令，並將之轉換為具體的環境交互行為，以實現相應任務。 它相當於人的“四肢”。 執行模組連接智慧體的 「效應器」，根據控制指令驅動效應器實施行動改變環境。 主要效應器包括：

運動執行機構：機械臂、機器人底盤等，改變智慧體自身位置或進行物體操作。

語音/文本輸出：語音合成器、顯示器等，以語音或文本形式與環境交互。

工具/設備操作介面：控制各類設備、工具，擴展智慧體的環境操作能力。

執行模組的具體設計與智慧體的物理形式相關。 例如，服務型智慧體只需文本或語音介面，而機器人需要連接並精確控制運動機構。 執行的準確性和彈性是影響任務成功的關鍵。

在測試實驗中，研究人員主要進行了任務、創新和生命週期管理三大類實驗，來觀察智慧體在不同環境中的表現。

任務實驗

研究人員構建了文本遊戲和生活場景兩個類比環境，來測試智慧體完成日常任務的能力。 文本遊戲環境使用自然語言描述虛擬世界，智慧體需要通過閱讀文字描述來感知周圍環境並採取行動。

生活場景類比則更加真實和複雜，智慧體需要利用常識知識來更好地理解命令，例如，在房間黑暗時主動打開燈光。

實驗結果表明，智慧體可以利用其強大的文本理解生成能力，在這些模擬環境中有效地分解複雜任務，制定計劃，並與動態變化的環境互動，最終完成預定目標。

創新實驗

研究人員探索了智慧體在專業領域如科學創新的潛力。 由於這些領域存在數據稀缺性和專業領域知識理解難度等挑戰，研究人員測試了為智慧體配備各類通用工具或專業工具的方案，來提升其對複雜領域知識的理解能力。

實驗表明，智慧體可以利用搜尋引擎、知識圖譜等工具進行在線研究，並與科學儀器設備介面，完成材料合成等實際操作。 這使其成為頗具潛力的科學創新助手。

生命周期實驗

研究人員使用開放世界遊戲Minecraft來測試智慧體的持續學習和生存能力。 智慧體從最基礎的活動如開採木材和製作工作台開始，逐步探索未知環境，獲得更複雜的生存技能。

實驗中，智能體使用進行高層次計劃制定，並可以根據環境反饋不斷調整策略。 結果表明，智慧體可以在完全自主的情況下開發技能，持續適應新的環境，展現出強大的生命週期管理能力。

此外，在社會類比方面，研究人員探討了智慧體是否會表現出人格和社交行為，並測試了不同的環境設置。 結果表明智慧體可以展現出某些層次的認知能力、情感和性格特質。 在模擬社會中，智慧體之間會出現自發的社交活動和群體行為。