據量子位報導,來自微軟亞洲研究院(MSRA)的學者在“Retentive Network: A Successor to Transformer for Large Language Models”論文中提出新的大模型架構Retentive Network(RetNet),這被視作大模型領域Transformer 的繼任者。實驗數據顯示,在語言建模任務上:RetNet 可以達到與Transformer 相當的困惑度(perplexity),推理速度達8.4 倍,內存佔用減少70%,具有良好的擴展性。並且當模型大小大於一定規模時,RetNet 表現會優於Transformer。

查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 讚賞
  • 1
  • 分享
留言
0/400
rico@jwvip
· 2024-05-06 08:10
保持 BUIDL🧐
查看原文回復0
交易,隨時隨地
qrCode
掃碼下載 Gate APP
社群列表
繁體中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)