وفقًا للتقرير الرئيسي لمشرف الموقع في 1 أغسطس ، اقترح باحثون من Huawei Cloud والأكاديمية الصينية للعلوم وجامعة بكين مؤخرًا إطارًا جديدًا يسمى RRTF (ردود الترتيب لمحاذاة الاختبار و _ ملاحظات المعلمين) ، والتي يمكن أن تحسن بشكل فعال النطاق الواسع المدربين مسبقًا أداء نماذج اللغة (LLMs) لتوليد الكود. يعمل إطار عمل RRTF على تحسين أداء LLM لإنشاء الشفرة عن طريق تقنيات محاذاة LLM للغة الطبيعية وردود الفعل على الترتيب. قدم فريق البحث أيضًا نموذج PanGu-Coder2 ، الذي حقق معدل نجاح ممتازًا بنسبة 62.20٪ في معيار OpenAI Human_. توضح هذه الدراسة فعالية RRTF من خلال تطبيق إطار RRTF على StarCoder15B ، متجاوزًا PanGu-Coder وتحقيق أفضل أداء بين جميع LLMs الشفرة المسجلة. يُظهر تحليل شامل لثلاثة معايير (Human_ و Coder_ و LeetCode) أن Code LLM قد تكون قادرة على التفوق على نماذج اللغة الطبيعية ذات النطاق المتساوي أو الأكبر في مهام إنشاء الكود. يسلط البحث الضوء أيضًا على قيمة البيانات عالية الجودة في تحسين قدرة النموذج على اتباع التعليمات وكتابة التعليمات البرمجية.