Autor: Hu Xiner, estagiário, Shao Wen, repórter do The Paper
Fonte da imagem: Gerada por Unbounded AI
Dai Qionghai, acadêmico da Academia Chinesa de Engenharia, disse: "Nosso país deve aprofundar o cultivo de pessoal de inteligência artificial e pesquisa básica em termos de políticas, mecanismos e investimentos, fortalecer a inovação original e evitar cair no dilema de 'água sem fonte'."
Wang Yu, professor titular do Departamento de Engenharia Eletrônica da Universidade de Tsinghua, destacou: "Já existem muitas empresas de chips em Xangai e também muitos algoritmos em Xangai. Como obter implantação eficiente e unificada e executar esses algoritmos em chips é uma questão muito importante. pergunta."
Em 7 de julho, no fórum da Conferência Mundial de Inteligência Artificial de 2023 "Oportunidades e riscos de desenvolvimento da indústria de inteligência artificial geral na era dos modelos de grande escala", vários especialistas no campo da inteligência artificial geral se concentraram em modelos de grande escala, respectivamente de inovação básica, tecnologia de aplicação e perspectivas futuras.Discussão aprofundada de inteligência artificial em outros níveis.
"Nosso país deve aprofundar o treinamento de talentos de IA e a pesquisa básica em termos de políticas, mecanismos e investimentos, fortalecer a inovação original e evitar cair no dilema de 'água sem fonte'." Dai Qionghai, conselheiro do Conselho de Estado e acadêmico da Academia Chinesa de Engenharia, enfatizou em seu discurso de abertura.
Wang Yu, professor titular e chefe do Departamento de Engenharia Eletrônica da Universidade de Tsinghua, disse, do ponto de vista das aplicações de pouso, que atualmente é difícil implantar modelos de grande escala no campo vertical, e os modelos domésticos de grande escala enfrentam três desafios : altos custos de implantação em campo, uma grande lacuna no poder de computação do modelo e a substituição do chip doméstico é difícil. "Na última milha do pouso do modelo grande, precisamos conectar o algoritmo com o chip", disse Wang Yu.
"Inteligência do cérebro é a nova direção do futuro"
Dai Qionghai acredita que na inovação do grande modelo "0 a 1", as conquistas disruptivas domésticas no campo da pesquisa básica são fracas. “Do ponto de vista da indústria de desenvolvimento inteligente, estamos otimistas e não otimistas.” Em sua opinião, a maioria dos talentos de inteligência artificial da China está concentrada na camada de aplicativos, portanto, há muito espaço para cenários de aplicativos e camadas de tecnologia. No entanto, a China está obviamente em desvantagem em termos de talentos no nível básico e carece de inovação original.
Dai Qionghai disse que a inovação e o desenvolvimento da inteligência artificial requerem três pilares, ou seja, algoritmos, dados e poder de computação. Os algoritmos determinam o nível de inteligência, os dados determinam o escopo da inteligência e o poder de computação determina a eficiência da inteligência. No nível do algoritmo, espera-se que grandes modelos se tornem uma plataforma básica chave em aplicativos de inteligência artificial em cerca de cinco anos.
Dai Qionghai também apontou que a inteligência cerebral é uma nova direção no futuro. O novo algoritmo de inteligência artificial que integra o cérebro e a cognição está na vanguarda do layout da indústria e liderará uma nova geração de inteligência. Ele sugeriu no fórum que o governo deveria encorajar as empresas a liderar a construção de modelos em grande escala, explorar a combinação de mecanismos biológicos e características de máquinas, criar novos paradigmas de inteligência artificial e promover pesquisa básica e expansão de aplicativos simultaneamente. Ele prevê que a inteligência artificial com inteligência cognitiva como núcleo começará a ser aplicada dez anos depois.
Além disso, Dai Qionghai acredita que é necessário estar atento aos problemas de segurança dos aplicativos de modelo em grande escala. Modelos grandes ainda não são capazes de autenticar saídas, como a geração de conteúdo enganoso. "Isso significa que, uma vez que haja um problema com a aplicação do modelo grande, não é tão simples quanto o vírus de rede de computadores atual, basta matar e matar o vírus, o que terá um impacto subversivo. Portanto, quando o modelo grande é aplicada, segurança e confiabilidade devem ser combinadas. Credibilidade foi discutida claramente.”
Modelos domésticos de grande escala devem se concentrar em resolver os quatro pontos problemáticos
Wang Yu disse no fórum: "Shanghai está muito preocupado com inteligência artificial e chips, mas de outra perspectiva, nossos modelos mais avançados e poder de computação relativamente importante estão realmente sujeitos a certas restrições. Nosso poder de computação deve ser mais Qual direção seguir, como compensar melhor o poder de computação doméstico e como apoiar o desenvolvimento do país no treinamento de grandes modelos e raciocinar com tal espaço, essas questões tornaram-se extremamente importantes."
Wang Yu também mencionou que atualmente em países estrangeiros, apenas Nvidia e AMD podem escolher chips com grande poder de computação. A Nvidia domina o mercado e seu ecossistema de software é relativamente bom. "Portanto, vários modelos estrangeiros, como OpenAI, Microsoft e Google, estão comprando chips Nvidia em grandes quantidades e, em seguida, desenvolvendo-os sobre a estrutura de software da Nvidia. A ecologia estrangeira é muito simples. As empresas fazem um bom trabalho de algoritmos. Em neste campo, a implantação é suportada pelo sistema de software da Nvidia."
"No entanto, o desenvolvimento de grandes chips de poder de computação na China ainda está em sua infância." Wang Yu acredita, "Já existem muitas empresas de chips em Xangai, como Tianshu Zhixin, Suiyuan Technology, Cambrian, Biren Technology, etc. também muitos em Xangai. Algoritmos, como obter implantação eficiente e unificada e como executar esses algoritmos em chips é uma questão muito importante."
Ao mesmo tempo, Wang Yu enfatizou que é muito difícil implantar modelos de grande escala no campo vertical atualmente, e os modelos domésticos de grande escala enfrentam três grandes desafios: altos custos de implantação de campo, uma grande lacuna no poder de computação do modelo, e dificuldade de substituição dos chips nacionais.
"Diferente de um modelo da era AI 1.0 anterior visando uma tarefa específica, a era AI 2.0 de hoje é um modelo que resolve várias tarefas, e a camada de aplicativo, camada de algoritmo e camada de sistema precisam ser otimizadas de forma colaborativa." Wang Yu disse que no final do pouso modelo grande Um quilômetro, modelos domésticos em grande escala devem se concentrar em resolver quatro pontos problemáticos.
"Primeiro precisamos lidar com o problema do texto longo, ou seja, usá-lo bem." Wang Yu disse que a tendência atual dos algoritmos é aumentar o comprimento do texto suportado por modelos grandes, mas o texto longo também trará um aumento na carga Transformador (um modelo de aprendizado profundo desenvolvido pelo Google, no qual a OpenAI desenvolveu o GPT) A carga na arquitetura aumenta dramaticamente à medida que a entrada se torna mais longa. Portanto, ajustar o texto descritivo é um requisito extremamente importante.
Outro requisito para modelos grandes é a melhoria do desempenho de custo. "Se o Google usar um modelo grande em seu mecanismo de busca, aumentará os custos em US$ 36 bilhões e seus lucros podem ser perdidos em 65%." Wang Yu disse que se a empresa conseguir reduzir o custo de um clique, a perda geral dos lucros podem ser reduzidos. Seguindo nessa direção, espera-se que todos possam comprar modelos grandes.
Além disso, modelos grandes precisam capacitar uma variedade de campos verticais. Para todas as esferas da vida, não existem muitos modelos grandes que tenham muito conhecimento. Especialmente em áreas como assistência médica e finanças, a aquisição de dados de corpus é cara e muito escassa. "Se você pode adicionar um modelo básico de uso geral e ajustá-lo, espera-se que o desempenho básico de vários setores melhore ainda mais." Mas Wang Yu também apontou que, se ele se desenvolver no campo vertical, o uso geral modelo grande deve ser ajustado, e quanto maior o modelo, o custo de ajuste fino também aumenta significativamente. Portanto, como projetar um algoritmo de ajuste fino eficiente é um tópico que precisa ser discutido.
Ao mesmo tempo, modelos grandes também trazem novos requisitos para implantação completa. Na otimização de software e hardware, se a otimização do operador, a otimização da compilação e a implantação do hardware forem implantadas em camadas, é necessário um total de 100 mão de obra por dia, enquanto para implantação automatizada completa, apenas 10 mão de obra são necessárias por dia. Wang Yu apontou que a implantação completa pode otimizar os custos de mão de obra, aumentar ainda mais a escala do espaço de otimização de compilação e espera-se que promova o desenvolvimento de toda a cadeia industrial.
Ver original
O conteúdo é apenas para referência, não uma solicitação ou oferta. Nenhum aconselhamento fiscal, de investimento ou jurídico é fornecido. Consulte a isenção de responsabilidade para obter mais informações sobre riscos.
Resolva o problema dos modelos domésticos de grande escala: evite "água passiva", a última milha precisa conectar algoritmos e chips
Fonte: O Papel See More
Autor: Hu Xiner, estagiário, Shao Wen, repórter do The Paper
Dai Qionghai, acadêmico da Academia Chinesa de Engenharia, disse: "Nosso país deve aprofundar o cultivo de pessoal de inteligência artificial e pesquisa básica em termos de políticas, mecanismos e investimentos, fortalecer a inovação original e evitar cair no dilema de 'água sem fonte'."
Wang Yu, professor titular do Departamento de Engenharia Eletrônica da Universidade de Tsinghua, destacou: "Já existem muitas empresas de chips em Xangai e também muitos algoritmos em Xangai. Como obter implantação eficiente e unificada e executar esses algoritmos em chips é uma questão muito importante. pergunta."
Em 7 de julho, no fórum da Conferência Mundial de Inteligência Artificial de 2023 "Oportunidades e riscos de desenvolvimento da indústria de inteligência artificial geral na era dos modelos de grande escala", vários especialistas no campo da inteligência artificial geral se concentraram em modelos de grande escala, respectivamente de inovação básica, tecnologia de aplicação e perspectivas futuras.Discussão aprofundada de inteligência artificial em outros níveis.
"Nosso país deve aprofundar o treinamento de talentos de IA e a pesquisa básica em termos de políticas, mecanismos e investimentos, fortalecer a inovação original e evitar cair no dilema de 'água sem fonte'." Dai Qionghai, conselheiro do Conselho de Estado e acadêmico da Academia Chinesa de Engenharia, enfatizou em seu discurso de abertura.
Wang Yu, professor titular e chefe do Departamento de Engenharia Eletrônica da Universidade de Tsinghua, disse, do ponto de vista das aplicações de pouso, que atualmente é difícil implantar modelos de grande escala no campo vertical, e os modelos domésticos de grande escala enfrentam três desafios : altos custos de implantação em campo, uma grande lacuna no poder de computação do modelo e a substituição do chip doméstico é difícil. "Na última milha do pouso do modelo grande, precisamos conectar o algoritmo com o chip", disse Wang Yu.
"Inteligência do cérebro é a nova direção do futuro"
Dai Qionghai acredita que na inovação do grande modelo "0 a 1", as conquistas disruptivas domésticas no campo da pesquisa básica são fracas. “Do ponto de vista da indústria de desenvolvimento inteligente, estamos otimistas e não otimistas.” Em sua opinião, a maioria dos talentos de inteligência artificial da China está concentrada na camada de aplicativos, portanto, há muito espaço para cenários de aplicativos e camadas de tecnologia. No entanto, a China está obviamente em desvantagem em termos de talentos no nível básico e carece de inovação original.
Dai Qionghai disse que a inovação e o desenvolvimento da inteligência artificial requerem três pilares, ou seja, algoritmos, dados e poder de computação. Os algoritmos determinam o nível de inteligência, os dados determinam o escopo da inteligência e o poder de computação determina a eficiência da inteligência. No nível do algoritmo, espera-se que grandes modelos se tornem uma plataforma básica chave em aplicativos de inteligência artificial em cerca de cinco anos.
Dai Qionghai também apontou que a inteligência cerebral é uma nova direção no futuro. O novo algoritmo de inteligência artificial que integra o cérebro e a cognição está na vanguarda do layout da indústria e liderará uma nova geração de inteligência. Ele sugeriu no fórum que o governo deveria encorajar as empresas a liderar a construção de modelos em grande escala, explorar a combinação de mecanismos biológicos e características de máquinas, criar novos paradigmas de inteligência artificial e promover pesquisa básica e expansão de aplicativos simultaneamente. Ele prevê que a inteligência artificial com inteligência cognitiva como núcleo começará a ser aplicada dez anos depois.
Além disso, Dai Qionghai acredita que é necessário estar atento aos problemas de segurança dos aplicativos de modelo em grande escala. Modelos grandes ainda não são capazes de autenticar saídas, como a geração de conteúdo enganoso. "Isso significa que, uma vez que haja um problema com a aplicação do modelo grande, não é tão simples quanto o vírus de rede de computadores atual, basta matar e matar o vírus, o que terá um impacto subversivo. Portanto, quando o modelo grande é aplicada, segurança e confiabilidade devem ser combinadas. Credibilidade foi discutida claramente.”
Modelos domésticos de grande escala devem se concentrar em resolver os quatro pontos problemáticos
Wang Yu disse no fórum: "Shanghai está muito preocupado com inteligência artificial e chips, mas de outra perspectiva, nossos modelos mais avançados e poder de computação relativamente importante estão realmente sujeitos a certas restrições. Nosso poder de computação deve ser mais Qual direção seguir, como compensar melhor o poder de computação doméstico e como apoiar o desenvolvimento do país no treinamento de grandes modelos e raciocinar com tal espaço, essas questões tornaram-se extremamente importantes."
Wang Yu também mencionou que atualmente em países estrangeiros, apenas Nvidia e AMD podem escolher chips com grande poder de computação. A Nvidia domina o mercado e seu ecossistema de software é relativamente bom. "Portanto, vários modelos estrangeiros, como OpenAI, Microsoft e Google, estão comprando chips Nvidia em grandes quantidades e, em seguida, desenvolvendo-os sobre a estrutura de software da Nvidia. A ecologia estrangeira é muito simples. As empresas fazem um bom trabalho de algoritmos. Em neste campo, a implantação é suportada pelo sistema de software da Nvidia."
"No entanto, o desenvolvimento de grandes chips de poder de computação na China ainda está em sua infância." Wang Yu acredita, "Já existem muitas empresas de chips em Xangai, como Tianshu Zhixin, Suiyuan Technology, Cambrian, Biren Technology, etc. também muitos em Xangai. Algoritmos, como obter implantação eficiente e unificada e como executar esses algoritmos em chips é uma questão muito importante."
Ao mesmo tempo, Wang Yu enfatizou que é muito difícil implantar modelos de grande escala no campo vertical atualmente, e os modelos domésticos de grande escala enfrentam três grandes desafios: altos custos de implantação de campo, uma grande lacuna no poder de computação do modelo, e dificuldade de substituição dos chips nacionais.
"Diferente de um modelo da era AI 1.0 anterior visando uma tarefa específica, a era AI 2.0 de hoje é um modelo que resolve várias tarefas, e a camada de aplicativo, camada de algoritmo e camada de sistema precisam ser otimizadas de forma colaborativa." Wang Yu disse que no final do pouso modelo grande Um quilômetro, modelos domésticos em grande escala devem se concentrar em resolver quatro pontos problemáticos.
"Primeiro precisamos lidar com o problema do texto longo, ou seja, usá-lo bem." Wang Yu disse que a tendência atual dos algoritmos é aumentar o comprimento do texto suportado por modelos grandes, mas o texto longo também trará um aumento na carga Transformador (um modelo de aprendizado profundo desenvolvido pelo Google, no qual a OpenAI desenvolveu o GPT) A carga na arquitetura aumenta dramaticamente à medida que a entrada se torna mais longa. Portanto, ajustar o texto descritivo é um requisito extremamente importante.
Outro requisito para modelos grandes é a melhoria do desempenho de custo. "Se o Google usar um modelo grande em seu mecanismo de busca, aumentará os custos em US$ 36 bilhões e seus lucros podem ser perdidos em 65%." Wang Yu disse que se a empresa conseguir reduzir o custo de um clique, a perda geral dos lucros podem ser reduzidos. Seguindo nessa direção, espera-se que todos possam comprar modelos grandes.
Além disso, modelos grandes precisam capacitar uma variedade de campos verticais. Para todas as esferas da vida, não existem muitos modelos grandes que tenham muito conhecimento. Especialmente em áreas como assistência médica e finanças, a aquisição de dados de corpus é cara e muito escassa. "Se você pode adicionar um modelo básico de uso geral e ajustá-lo, espera-se que o desempenho básico de vários setores melhore ainda mais." Mas Wang Yu também apontou que, se ele se desenvolver no campo vertical, o uso geral modelo grande deve ser ajustado, e quanto maior o modelo, o custo de ajuste fino também aumenta significativamente. Portanto, como projetar um algoritmo de ajuste fino eficiente é um tópico que precisa ser discutido.
Ao mesmo tempo, modelos grandes também trazem novos requisitos para implantação completa. Na otimização de software e hardware, se a otimização do operador, a otimização da compilação e a implantação do hardware forem implantadas em camadas, é necessário um total de 100 mão de obra por dia, enquanto para implantação automatizada completa, apenas 10 mão de obra são necessárias por dia. Wang Yu apontou que a implantação completa pode otimizar os custos de mão de obra, aumentar ainda mais a escala do espaço de otimização de compilação e espera-se que promova o desenvolvimento de toda a cadeia industrial.