据量子位 1月 2 日报道,华为诺亚方舟实验室等联合推出新型大语言模型架构:盘古 -π。通过增强非线性,该架构在传统 Transformer 上做出改进,由此可以显著降低特征塌陷问题,模型输出表达能力更强。据悉,在使用相同数据训练的情况下,盘古 -π(7B)在多任务上超越 LLaMA 2 等同规模大模型,并能实现 10% 的推理加速。在 1B 规模上可达 SOTA。同时华为还基于这一架构炼出了一个金融法律大模型“云山”。该工作由 AI 大牛陶大程领衔。

此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 分享
评论
0/400
暂无评论
交易,随时随地
qrCode
扫码下载 Gate APP
社群列表
简体中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)