據品玩9 月22 日報道,根據Arxiv 頁面顯示,來自蘇州大學的一個研發團隊近日推出一款名為OpenBA 的開源seq2 seq 模型。據悉,OpenBA 是一款具有150 億參數的雙語非對稱seq2 seq 模型,也是第一個加入中國開源模型社群的大語言模型變體。論文顯示,研究者採用高效率的技術以及採用三階段的訓練策略,從頭開始訓練了OpenBA 模型。實驗顯示,OpenBA 在BELEBELE 基準測試的表現優於LLaMA-70 B,在MMLU 基準測試中的表現優於BLOOM-176 B,在C-_(hard)基準測試中的表現優於GLM-130 B 。

查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 讚賞
  • 留言
  • 分享
留言
0/400
暫無留言
交易,隨時隨地
qrCode
掃碼下載 Gate APP
社群列表
繁體中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)