De acordo com Pinplay, a página Arxiv mostra que a Tencent recentemente uniu forças com a Universidade Xi'an Jiaotong e a Universidade de Hong Kong para publicar em conjunto um artigo apresentando um modelo multimodal de grande porte VL-GPT. De acordo com o artigo, o VL-GPT é um modelo de transformador que pode perceber e gerar dados visuais e de linguagem ao mesmo tempo. Uma abordagem unificada de pré-treinamento para padrões de imagem e texto é alcançada empregando metas de regressão automática direta, permitindo que o modelo processe imagens e texto tão perfeitamente quanto um modelo de linguagem processa texto. Estudos mostraram que o VL-GPT demonstrou excelente desempenho em uma variedade de tarefas de geração e compreensão visual e de linguagem, incluindo legendas de imagens, resolução de perguntas visuais, geração de texto para imagem e muito mais.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
De acordo com Pinplay, a página Arxiv mostra que a Tencent recentemente uniu forças com a Universidade Xi'an Jiaotong e a Universidade de Hong Kong para publicar em conjunto um artigo apresentando um modelo multimodal de grande porte VL-GPT. De acordo com o artigo, o VL-GPT é um modelo de transformador que pode perceber e gerar dados visuais e de linguagem ao mesmo tempo. Uma abordagem unificada de pré-treinamento para padrões de imagem e texto é alcançada empregando metas de regressão automática direta, permitindo que o modelo processe imagens e texto tão perfeitamente quanto um modelo de linguagem processa texto. Estudos mostraram que o VL-GPT demonstrou excelente desempenho em uma variedade de tarefas de geração e compreensão visual e de linguagem, incluindo legendas de imagens, resolução de perguntas visuais, geração de texto para imagem e muito mais.