De acordo com o relatório inicial do webmaster em 1º de agosto, pesquisadores da Huawei Cloud, da Academia Chinesa de Ciências e da Universidade de Pequim propuseram recentemente uma nova estrutura chamada RRTF (Rank Responses to align Test&_Teacher Feedback), que pode efetivamente melhorar o pré-treinado em larga escala Desempenho de modelos de linguagem (LLMs) para geração de código. A estrutura RRTF melhora o desempenho de LLMs geradores de código por meio de técnicas de alinhamento LLM de linguagem natural e feedback de classificação. A equipe de pesquisa também apresentou o modelo PanGu-Coder2, que alcançou uma excelente taxa de aprovação de 62,20% no benchmark OpenAI Human_. Este estudo demonstra a eficácia do RRTF ao aplicar a estrutura RRTF no StarCoder15B, superando o PanGu-Coder e alcançando o melhor desempenho entre todos os LLMs de código gravados. Uma análise abrangente de três benchmarks (Human_, Coder_ e LeetCode) mostra que o Code LLM pode ser capaz de superar modelos de linguagem natural da mesma escala ou maior em tarefas de geração de código. A pesquisa também destaca o valor dos dados de alta qualidade para melhorar a capacidade de um modelo de seguir instruções e escrever código.