وفقا لتقرير صادر عن Qubit في 2 يناير ، أطلق Noah's Ark Lab من Huawei وآخرون بشكل مشترك بنية نموذج لغة كبيرة جديدة: Pangu-π. من خلال تعزيز اللاخطية ، تم تحسين البنية على المحول التقليدي ، والذي يمكن أن يسقط بشكل كبير مشكلة انهيار الميزة ويجعل إخراج النموذج أكثر تعبيرا. يذكر أنه في حالة التدريب بنفس البيانات ، يتفوق Pangu-π (7B) على LLaMA 2 في تعدد المهام ويحقق تسريع الاستدلال بنسبة 10٪. SOTA يصل إلى مقياس 1B. في الوقت نفسه ، بناء على هذه البنية ، قامت Huawei أيضا بتحسين نموذج مالي وقانوني كبير يسمى "Yunshan". يقود العمل الذكاء الاصطناعي داتشنغ تاو.
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
وفقا لتقرير صادر عن Qubit في 2 يناير ، أطلق Noah's Ark Lab من Huawei وآخرون بشكل مشترك بنية نموذج لغة كبيرة جديدة: Pangu-π. من خلال تعزيز اللاخطية ، تم تحسين البنية على المحول التقليدي ، والذي يمكن أن يسقط بشكل كبير مشكلة انهيار الميزة ويجعل إخراج النموذج أكثر تعبيرا. يذكر أنه في حالة التدريب بنفس البيانات ، يتفوق Pangu-π (7B) على LLaMA 2 في تعدد المهام ويحقق تسريع الاستدلال بنسبة 10٪. SOTA يصل إلى مقياس 1B. في الوقت نفسه ، بناء على هذه البنية ، قامت Huawei أيضا بتحسين نموذج مالي وقانوني كبير يسمى "Yunshan". يقود العمل الذكاء الاصطناعي داتشنغ تاو.