1月2日のQubitのレポートによると、HuaweiのNoah's Ark Labなどは、新しい大規模言語モデルアーキテクチャであるPangu-πを共同で立ち上げました。 非線形性を高めることで、アーキテクチャは従来のTransformerよりも改善され、特徴の崩壊の問題を大幅に軽減し、モデル出力をより表現力豊かにすることができます。 同じデータで学習した場合、Pangu-π(7B)はマルチタスクでLLaMA2を凌駕し、推論速度10%を達成したと報告されています。 1BスケールまでのSOTA。 同時に、このアーキテクチャに基づいて、ファーウェイは「雲山」と呼ばれる大規模な財務および法的モデルも洗練させました。 この作業は、AI Dacheng Taoが主導しています。