Pinwan informou em 22 de setembro que, de acordo com a página Arxiv, uma equipe de pesquisa e desenvolvimento da Universidade de Suzhou lançou recentemente um modelo seq2 seq de código aberto chamado OpenBA. É relatado que OpenBA é um modelo seq2 seq assimétrico bilíngue com 15 bilhões de parâmetros, sendo também a primeira grande variante de modelo de linguagem a se juntar à comunidade chinesa de modelos de código aberto. O artigo mostra que os pesquisadores usaram tecnologia eficiente e uma estratégia de treinamento em três estágios para treinar o modelo OpenBA do zero. Experimentos mostram que o OpenBA tem um desempenho melhor que o LLaMA-70 B no benchmark BELEBELE, melhor que o BLOOM-176 B no benchmark MMLU e melhor que o GLM-130 B no benchmark C-_ (hard).
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
Pinwan informou em 22 de setembro que, de acordo com a página Arxiv, uma equipe de pesquisa e desenvolvimento da Universidade de Suzhou lançou recentemente um modelo seq2 seq de código aberto chamado OpenBA. É relatado que OpenBA é um modelo seq2 seq assimétrico bilíngue com 15 bilhões de parâmetros, sendo também a primeira grande variante de modelo de linguagem a se juntar à comunidade chinesa de modelos de código aberto. O artigo mostra que os pesquisadores usaram tecnologia eficiente e uma estratégia de treinamento em três estágios para treinar o modelo OpenBA do zero. Experimentos mostram que o OpenBA tem um desempenho melhor que o LLaMA-70 B no benchmark BELEBELE, melhor que o BLOOM-176 B no benchmark MMLU e melhor que o GLM-130 B no benchmark C-_ (hard).