De acordo com o relatório qubit, estudiosos do Microsoft Asia Research Institute (MSRA) propuseram uma nova arquitetura de modelo grande Retentive Network (RetNet) no artigo "Retentive Network: A Successor to Transformer for Large Language Models", que é considerado o campo da grandes modelos sucessor do Transformer. Dados experimentais mostram que em tarefas de modelagem de linguagem: RetNet pode atingir perplexidade comparável ao Transformer, velocidade de raciocínio é 8,4 vezes, uso de memória é reduzido em 70% e tem boa escalabilidade. E quando o tamanho do modelo for maior que uma determinada escala, o RetNet terá um desempenho melhor do que o Transformer.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
De acordo com o relatório qubit, estudiosos do Microsoft Asia Research Institute (MSRA) propuseram uma nova arquitetura de modelo grande Retentive Network (RetNet) no artigo "Retentive Network: A Successor to Transformer for Large Language Models", que é considerado o campo da grandes modelos sucessor do Transformer. Dados experimentais mostram que em tarefas de modelagem de linguagem: RetNet pode atingir perplexidade comparável ao Transformer, velocidade de raciocínio é 8,4 vezes, uso de memória é reduzido em 70% e tem boa escalabilidade. E quando o tamanho do modelo for maior que uma determinada escala, o RetNet terá um desempenho melhor do que o Transformer.