据品玩 10 月 19 日报道,Arxiv 页面显示,微软研究院联手中国科学院大学、清华大学共同发布论文,公布了一款可扩展且稳定的 1 位 Transformer 架构 BitNet 架构。BitNet 专为大语言模型设计。研究团队表示,为了训练 1 位权重,团队引入了 BitLinear 作为 nn.Linear 层的替代品。实验结果显示,BitNet 在语言建模任务上实现了竞争力的性能,同时显著减少了内存占用和能源消耗。 此外,BitNet 呈现出与全精度 Transformer 类似的扩展定律,表明它有潜力在保持效率和性能优势的同时,扩展到更大的语言模型。

此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 分享
评论
0/400
暂无评论
交易,随时随地
qrCode
扫码下载 Gate APP
社群列表
简体中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)