A Huawei mostrou seus "músculos" no campo dos modelos grandes.
Em 7 de julho, foi aberta a Huawei Developer Conference 2023 (HDC 2023). No discurso principal de mais de duas horas da tarde, a HUAWEI CLOUD divulgou o progresso do modelo grande Pangu em detalhes pela primeira vez. Não apenas lançou o modelo grande Pangu 3.0 orientado para a indústria, mas também apresentou em detalhes o básico capacidades técnicas da Huawei para desenvolver modelos grandes.
O Pangu Large Model 3.0 inclui uma estrutura de três camadas "5+N+X". que permite aos usuários treinar mais de forma independente Refine o modelo de cena. Adota um design de desacoplamento completo em camadas, e os usuários corporativos podem escolher um modelo adequado de desenvolvimento, atualização ou ajuste fino com base em suas próprias necessidades de negócios, de modo a se adaptar às necessidades em constante mudança de milhares de indústrias.
Hu Houkun, presidente rotativo da Huawei, disse na recente conferência WAIC que o núcleo do modelo de desenvolvimento da Huawei é focar no poder de computação e aplicações**. Por um lado, é aprofundar o poder de computação e construir uma forte base de poder de computação para apoiar o desenvolvimento da indústria de inteligência artificial da China. Por outro lado, é combinar modelos de grande escala, desde modelos de grande escala de uso geral até pesquisa e inovação em larga escala em toda a indústria, para realmente fazer com que a inteligência artificial sirva bem a milhares de indústrias e pesquisas científicas.
A Huawei é um dos primeiros provedores de serviços em nuvem na China a implantar modelos de grande escala e lançou o modelo de grande escala Pangu já em 2021. No caminho para o desenvolvimento de modelos de grande escala, a Huawei construiu uma plataforma de nuvem de poder de computação de IA baseada em Kunpeng e Ascend da camada inferior, bem como recursos técnicos como a arquitetura de computação heterogênea CANN, a estrutura de IA de cenário completo MindSpore, e a linha de produção de desenvolvimento de IA ModelArts. .
Além do grande modelo e base de poder de computação, na reunião, a HUAWEI CLOUD também se concentrou nos casos típicos da combinação do grande modelo Pangu e setores específicos. Os setores envolvidos incluem assuntos governamentais, meteorologia, ferrovias, manufatura e finanças , bem como várias atualizações e reformulações da Huawei.Casos de aplicação de produtos e serviços de software em nuvem.
Seja recursos técnicos básicos, sistema de serviço de produto em nuvem AI**+ ou casos de aplicação em setores específicos, a HUAWEI CLOUD demonstrou recursos de negócios altamente maduros e sistemáticos, o que realmente impressiona o setor. Traga surpresas. **Enquanto todos ainda estão discutindo sobre quem é a OpenAI da China, a HUAWEI CLOUD abriu um caminho de desenvolvimento bastante maduro para modelos de grande escala.
A Huawei está usando sua própria prática para provar que modelos de grande escala são importantes, mas, mais importante, é usar modelos de grande escala para resolver os pontos problemáticos de indústrias e produtos, para produzir produtos e serviços que possam fazer empresas e usuários pagarem , e realmente criar valor para milhares de indústrias.
01 Pangu Large Model 3.0: Layered Decoupling Architecture
Desacoplamento é a palavra-chave do Pangu Model 3.0 lançado hoje. Este também é um apelo comum dos clientes da indústria que realmente invocaram modelos grandes nos últimos meses.
Um fornecedor líder de SaaS disse ao lançar seu próprio aplicativo de atualização de modelo em grande escala: "Não desenvolvemos modelos em grande escala sozinhos, mas em diferentes cenários de negócios, qual modelo em grande escala é bom para quê, nós pegamos esse modelo." Para poder alternar entre diferentes modelos grandes, "nossa própria arquitetura de produto deve ser independente do modelo grande subjacente ou fracamente acoplada".
“O design de desacoplamento do modelo grande da Pangu é para o bem da indústria.” Na Huawei Developer Conference, Zhang Pingan, diretor executivo da Huawei e CEO da Huawei Cloud, deu a rota diferenciada do modelo grande da Pangu. Seu núcleo é desacoplar as várias camadas e capacidades do modelo Pangu, permitindo que os usuários da indústria se desenvolvam de acordo com suas próprias necessidades.
Especificamente, o Pangu Large-scale Model 3.0 é uma série de modelos de grande escala orientada para a indústria, incluindo a estrutura de três camadas "5+N+X":
“5” representa os cinco grandes modelos básicos da camada L0: incluindo linguagem natural, visão, multimodal, previsão e modelos grandes de computação científica, que fornecem e atendem às necessidades de várias habilidades em cenários da indústria.
O Pangu 3.0 fornece aos clientes grandes modelos básicos serializados com 10 bilhões de parâmetros, 38 bilhões de parâmetros, 71 bilhões de parâmetros e 100 bilhões de parâmetros, atendendo às necessidades diversificadas dos clientes em diferentes cenários, diferentes atrasos e diferentes velocidades de resposta. Ao mesmo tempo, fornece um novo conjunto de recursos, incluindo resposta a perguntas de conhecimento, geração de cópias e geração de código para modelos grandes de NLP, bem como geração e compreensão de imagens para modelos grandes multimodais. Essas habilidades podem ser usadas diretamente por clientes e empresas parceiras. Independentemente do tamanho do modelo grande, o Pangu fornece um conjunto consistente de recursos.
O "N" na estrutura de três níveis "5+N+X" representa N grandes modelos da indústria no nível L1. Existem duas maneiras de fornecer grandes modelos da indústria: por um lado, HUAWEI CLOUD pode fornecer grandes modelos da indústria geral treinados usando dados públicos da indústria, incluindo assuntos governamentais, finanças, manufatura, mineração, clima e outros modelos grandes; por outro lado, pode ser baseado em clientes da indústria Com seus próprios dados, nas camadas L0 e L1 do modelo grande Pangea, ele treina seu próprio modelo grande proprietário para clientes.
Zhang Pingan disse: "A Pangu nasceu para servir a indústria, fornecendo uma variedade de formas de implantação, desenvolvimento e raciocínio de modelos em larga escala. Ela pode gerar seu próprio modelo de indústria em larga escala, assim como o modelo Pangu em larga escala da Huawei, e só precisa inserir seus próprios dados privados.” Além disso, os dados de treinamento também são desacoplados do modelo grande.
O X em "5+N+X" significa que a camada L2 fornece aos clientes modelos de cena mais detalhados, focando mais em linhas diretas de assuntos governamentais, assistentes de rede, triagem de drogas líder, detecção de objetos estranhos em esteiras transportadoras e tufão paths Forneça aos clientes serviços de modelo "prontos para uso" para aplicativos específicos do setor ou cenários de negócios específicos, como previsão.
Através do modelo grande de três camadas de "**5+N+X", a HUAWEI CLOUD construiu sua própria base de modelo grande.
Na Conferência Mundial de Inteligência Artificial de ontem, Hu Houkun, presidente rotativo da Huawei, explicou vividamente: "O nível mais básico de benchmarking é o modelo geral de grande escala, que chamamos de modelo básico de grande escala. Nossa imagem nesse nível é chamada de leitura milhares de livros, o que é fazer bem. Uma grande quantidade de conhecimento básico é aprendida. Nesta camada, modelos de indústria e modelos de cena também são criados, chamados de viajar milhares de milhas. Ainda há muitos desafios a serem superados com a leitura de milhares de livros a viajar milhares de quilômetros. O ponto principal é que a Huawei está trabalhando com parceiros de vários setores para combinar e integrar totalmente o conhecimento de vários setores com modelos grandes.”
**Além disso, a inovação do modelo grande não é apenas a inovação do próprio modelo, mas também depende da inovação de várias tecnologias de raiz da IA. Na reunião, Yao Jun, diretor do Laboratório Arca de Noé da Huawei, apresentou a base técnica do modelo Pangu.
A Huawei construiu uma plataforma de nuvem de poder de computação de IA baseada em Kunpeng e Ascend na camada inferior, bem como a arquitetura de computação heterogênea CANN, a estrutura de IA de cenário completo MindSpore e a linha de produção de desenvolvimento de IA ModelArts, etc., para fornecem soluções distribuídas para o desenvolvimento e operação de grandes modelos.Capacidades-chave, como aceleração paralela, otimização de operador e compilação e otimização de comunicação em nível de cluster. Com base na tecnologia raiz de IA da Huawei, o desempenho do treinamento de modelo grande pode ser ajustado para 1,1 vezes o das GPUs convencionais do setor.
O poder de computação é a base para o treinamento de modelos grandes. Nesta conferência, Zhang Pingan anunciou que o serviço de nuvem Ascend AI com um único poder de computação de cluster 2000P Flops será lançado simultaneamente nos centros de poder de computação Wlanchabu e Gui'an AI da Huawei Cloud. Além de oferecer suporte à estrutura de IA para todos os cenários da Huawei, Shengsi MindSpore, o Shengteng AI Cloud Service também oferece suporte às principais estruturas de IA, como Pytorch e Tensorflow.
Ao mesmo tempo, 90% das operadoras nessas estruturas podem ser migradas sem problemas para a plataforma Ascend por meio da ferramenta de migração de ponta a ponta da Huawei. Por exemplo, a Meitu migrou 70 modelos para o Ascend em apenas 30 dias. Ao mesmo tempo, a HUAWEI CLOUD e a equipe da Meitu otimizaram em conjunto mais de 30 operadoras e aceleraram o processo em paralelo. Em comparação com a solução original, o desempenho da IA foi melhorou em 30%.
Além disso, falhas de GPU são frequentemente encontradas durante o treinamento de modelos grandes, e os desenvolvedores precisam reiniciar o treinamento com frequência, o que leva muito tempo e custa muito. O serviço de nuvem Ascend AI pode fornecer um serviço de computação AI mais estável. A taxa de estabilidade a longo prazo do treinamento de quilocalorias de 30 dias atinge 90% e o tempo de recuperação do ponto de interrupção não excede 10 minutos.
02 Capacite milhares de indústrias
Ren Zhengfei disse anteriormente: "A contribuição direta das empresas de plataforma de software de inteligência artificial para a sociedade humana pode ser inferior a 2% e 98% é a promoção da sociedade industrial e da sociedade agrícola. Mas a plataforma de aplicativos não é nossa opção, seremos a camada inferior da plataforma de poder da AI Computing."
Permitir modelos grandes em milhares de setores tornou-se o foco do desenvolvimento de modelos grandes da Huawei. Na reunião, a HUAWEI CLOUD apresentou os casos de aplicação do grande modelo Pangu em sete campos, incluindo assuntos governamentais, ferrovias, meteorologia e finanças.
Assuntos Governamentais
No campo de assuntos governamentais, a HUAWEI CLOUD e o Departamento de Gerenciamento de Dados do Serviço Governamental do Distrito de Shenzhen Futian lançaram o Xiaofu, assistente inteligente de assuntos governamentais de Futian baseado no modelo de assuntos governamentais Pangu, que pode entender com precisão as intenções de consulta das pessoas e mudar o serviço tradicional de balcão único modelo. Ao ajustar mais de 200.000 dados de assuntos governamentais, incluindo 12.345 linhas diretas, documentos de política, enciclopédia de assuntos governamentais etc., os assistentes de assuntos governamentais dominaram uma riqueza de conhecimento do setor, como leis e regulamentos e procedimentos de manuseio.
De acordo com a Huawei Cloud, o núcleo do grande modelo de assuntos governamentais de Pangu é a capacidade cognitiva. Deixe o sistema público urbano ser visto e compreendido e complete o ciclo fechado da percepção à cognição e disposição. E de acordo com diferentes cenários, fornece diferentes recursos, como resposta a perguntas, geração de cópias, percepção de vídeo e compreensão multimodal.
A HUAWEI CLOUD introduziu dois cenários típicos: o primeiro é um cenário de consultoria, onde os usuários corporativos consultam assistentes do governo sobre as políticas relevantes de suporte ao investimento, e os assistentes do governo podem apresentar regulamentos e políticas relevantes e fornecer sugestões apropriadas aos consultores; o segundo cenário, conforme mostrado na figura acima, é uma cena de processamento de assuntos governamentais baseada em diálogo e recursos multimodais. A equipe pode analisar de forma inteligente as violações nas fotos com base nas fotos tiradas pela câmera.
estrada de ferro
No campo ferroviário, a Huawei demonstrou o caso de aplicação do assistente de inspeção de caminhões.
Os inspetores de trens tradicionais precisam inspecionar milhões de fotos de trens todos os dias para detectar se há falhas nos vagões que circulam na rede ferroviária. Após a introdução do grande modelo Pangu, ele pode identificar com precisão 67 tipos de caminhões rodando na rede ao vivo e mais de 430 tipos de falhas, e a taxa de triagem de imagens sem falhas chega a 95%. Em outras palavras, os inspetores de trens precisam detectar apenas 1/20 das imagens de trens no passado, o que equivale a um aumento de 20 vezes na eficiência do trabalho.
mina de carvão
No campo das minas de carvão, o modelo em grande escala da Mina Pangu foi usado em 8 minas em todo o país. Um modelo grande pode cobrir mais de 1.000 cenários subdivididos em processos de negócios, como mineração, escavação, maquinário, transporte, transporte, e lavagem de minas de carvão, permitindo que mais mineiros de carvão possam trabalhar no solo, o que não apenas torna o ambiente de trabalho dos mineiros de carvão mais confortável, mas também reduz consideravelmente os acidentes de segurança.
meteorológico
O campo meteorológico foi o foco da coletiva de imprensa da Huawei Cloud. Apenas alguns dias atrás, os resultados da pesquisa do grande modelo meteorológico Pangu foram publicados na principal revista estrangeira "Nature", e os revisores comentaram: Vamos reexaminar o futuro da previsão do tempo.
Originalmente, para prever o caminho de um tufão nos próximos 10 dias, eram necessárias 5 horas para simular em um cluster de computadores de alto desempenho com 3.000 servidores. Agora, com base no grande modelo meteorológico Pangea pré-treinado, por meio do raciocínio de IA, os pesquisadores precisam apenas configurar um único cartão em um único servidor e podem obter resultados de previsão mais precisos em 10 segundos.
Atualmente, o grande modelo meteorológico Pangea pode ser usado para prever o clima, como ondas, altas temperaturas, tufões e ondas frias.Comparado com a previsão do tempo tradicional, é mais rápido e preciso. Anteriormente, Pangu cooperou com o Bureau Meteorológico para prever o caminho de "Mawa" com 10 dias de antecedência. Além disso, Pangu também previu a chegada da vaga de frio à Finlândia com dois dias de antecedência, face à previsão da Agência Meteorológica Europeia. A previsão de Pangu também está mais próxima da temperatura real,
finança
No campo das finanças, o Pangu Large Model cooperou com o ICBC para criar uma série de aplicações exploratórias.
Um dos cenários típicos é melhorar a eficiência do trabalho dos caixas de banco. O ICBC tem dezenas de milhares de pontos de venda em todo o país e 200.000 caixas de pontos de venda. Eles precisam alternar entre vários serviços, o que desperdiçará muito tempo.
O Pangu Financial Large Model pré-treina várias operações bancárias, políticas e documentos de caso, e pode gerar automaticamente procedimentos e orientação operacional para a equipe de balcão de acordo com os problemas do cliente, reduzindo a operação média que originalmente exigia 5 operações para 1. Tempo de nó reduzido em mais de 5 minutos.
E esta é apenas a aplicação mais básica. A Huawei está explorando com o setor financeiro para aplicar o modelo grande a cenários mais financeiros, como análise de crédito no futuro.
fabricação
A própria Huawei também é uma empresa de manufatura.Os produtos de hardware que ela fabrica envolvem estações base de comunicação, telefones celulares, automóveis, chips e outros campos. Com base na experiência acumulada no passado, a Huawei introduziu o grande modelo Pangu no campo de produção e fabricação.
No passado, muitas vezes levava mais de 3 horas para fazer um plano de produção de um dia para uma única linha de produção para fazer um plano de alocação de dispositivo. Depois de aprender os vários dados do dispositivo, processos de negócios e regras da linha de produção da Huawei, o grande modelo de fabricação da Pangu pode entender com precisão as necessidades de negócios e chamar o plug-in do solucionador Tianchou AI para fazer os próximos 3 dias em um minuto.Plano de produção.
Descoberta de drogas
No campo da pesquisa e desenvolvimento de medicamentos, a pesquisa e o desenvolvimento originais de um novo medicamento levam em média 10 anos e custam 1 bilhão de dólares americanos. O grande modelo molecular dos medicamentos Pangu ajudou a equipe do professor Liu Bing, do Primeiro Hospital Afiliado da Universidade de Xi'an Jiaotong, a descobrir o primeiro novo alvo do mundo e uma nova classe de antibióticos em 40 anos e a encurtar o ciclo de desenvolvimento de medicamentos para um mês e reduzir o custo de desenvolvimento em 70%.
03 Modelo grande integrado ao sistema de produto Huawei Cloud
Além da prática em milhares de setores, o modelo HUAWEI CLOUD Pangu também foi profundamente integrado aos serviços de produtos da HUAWEI CLOUD para reestruturar a inovação de produtos.
Modelo Grande Pangu + Serviço de Nuvem Huawei
Com a bênção do modelo Pangu, uma série de produtos e serviços B-end da Huawei Cloud foram atualizados e reconstruídos. Na reunião, a HUAWEI CLOUD apresentou os detalhes de quatro atualizações de serviço: serviço de dados, atendimento ao cliente na nuvem, BI e pesquisa na nuvem.
* No serviço de dados, por meio da tecnologia de redação e geração de código do modelo grande Pangu, a eficiência da gravação de dados e da gravação de código front-end pode ser melhorada e o ciclo de lançamento de novos produtos pode ser bastante reduzido.
No atendimento ao cliente na nuvem, por meio do diálogo Q&A embutido na base de conhecimento do setor e na capacidade de mineração de intenção, todo o processo de resposta prioritária de IA é realizado e a eficiência do atendimento ao cliente é aprimorada em 30%.
Em BI, por meio do roteamento inteligente NL2SQL e AutoGraph, é realizada a recomendação automática de SQL para gráficos visuais e, por meio de várias rodadas de interação de linguagem natural, todos podem obter facilmente informações sobre detalhes de negócios a partir dos dados.
Na pesquisa em nuvem, por meio da incorporação multimodal e da tecnologia NL2API, ele realiza pesquisas de vídeo, texto, mapa e outras pesquisas de cena amplas. Com a ajuda de recursos poderosos de compreensão e generalização semântica, a taxa de precisão da pesquisa é aumentada em 15%.
Modelo grande Pangu + ferramenta de código CodeArts
A HUAWEI CLOUD combina as ferramentas CodeArts R&D com o modelo grande Pangu e lançou oficialmente o CodeArts Snap, um assistente de programação inteligente para desenvolvedores.
A ferramenta treinou 76 bilhões de linhas de códigos selecionados e 13 milhões de documentos técnicos. Possui três funções principais de geração inteligente, pergunta e resposta inteligente e colaboração inteligente. Pode realizar a geração de código em uma frase de diálogo, anotação automática e geração de casos de teste em um clique.Um comando pode ser implantado de forma inteligente, para que cada desenvolvedor de software tenha seu próprio assistente de programação.
Modelo Grande Pangu + Homem Digital
A HUAWEI CLOUD capacita a linha de produção de conteúdo digital MetaStudio por meio do modelo grande básico Pangu, cria o modelo Pangu Digital Human Congress, fornece dois serviços principais de geração e condução de modelos e usou 200.000 horas de dados de áudio e vídeo para pré-treinamento.
Com base nesses dois principais serviços, os desenvolvedores podem gerar e conduzir rapidamente modelos humanos digitais, capacitando a educação on-line, transmissão ao vivo de entretenimento, conferências corporativas e outras aplicações do setor, para que cada funcionário da empresa possa realizar a "liberdade humana digital". Por exemplo, os usuários só precisam fazer upload de um vídeo pessoal de 20 segundos na página de serviço do HUAWEI CLOUD MetaStudio para gerar rapidamente um vídeo de explicação humana digital personalizado. O trabalho concluído por 3 funcionários de P&D em 3 dias no passado agora pode ser concluído em 3 minutos .
Modelo Grande Pangu + Inteligência Corporificada
Na reunião, a Huawei Cloud também mencionou a aplicação do modelo Pangu no campo da robótica e demonstrou um vídeo.
No passado, dar comandos aos robôs exigia que os desenvolvedores programassem, mas com base na capacidade de compreensão da linguagem natural do modelo Pangu, os robôs podem reconhecer a linguagem natural, executar comandos e ter inteligência autônoma guiada pela percepção global. Na reunião, a Huawei demonstrou um vídeo em que os usuários não precisam inserir comandos do programa, mas apenas dar ordens ao robô em linguagem natural, e o robô pode executar comandos como pegar itens e fará julgamentos autônomos com base no ambiente no processo (como mover Abra os diversos que bloqueiam o objeto de destino) para concluir a tarefa.
Segundo a Huawei, a demonstração acima não é um vídeo conceitual, mas um produto real, que foi exibido no local durante a conferência HDC.
**04 Resumo e reflexão: a Huawei pode se tornar o outro polo da IA? **
Zhang Pingan disse: “Para ajudar clientes, parceiros e desenvolvedores globais a treinar e usar modelos grandes, estamos comprometidos em criar um mundo para clientes globaisIA **Outro pólo, fornecendo novos desenvolvedores de IA s Escolha". **
Ainda antes, em março deste ano, Ren Zhengfei havia expressado um significado semelhante dentro da empresa. Ele disse que haverá um aumento nos modelos de IA, não apenas na Microsoft. A razão de Ren Zhengfei é, na verdade, a direção dos esforços da Huawei Cloud hoje, ou seja, a contribuição direta das empresas de plataforma de software de inteligência artificial para a sociedade humana pode ser inferior a 2% e 98% é a promoção da sociedade industrial e da sociedade agrícola.
Por exemplo, fábricas na China e na Alemanha estão promovendo a promoção de inteligência artificial para a indústria, de modo a realizar a produção não tripulada; por exemplo, o cais no porto de Tianjin também tentou carregar e descarregar cargas não tripuladas. Uma vez que o código é inserido, o o contêiner será removido automaticamente do navio. Carregue-o e depois transporte-o de carro; por exemplo, na mina de carvão em Shanxi, depois de adotar a inteligência artificial 5G+ no subsolo, o número de funcionários foi reduzido em 60-70%, e a maioria das pessoas trabalha de terno na sala de controle no solo.
Esses são exemplos em que a IA foi aplicada em grande escala ao setor industrial nos últimos anos. O que essas indústrias têm em comum é que possuem grande escala e valor de produção, e uma pequena melhoria na eficiência pode trazer grandes benefícios.
**O surgimento de modelos grandes fornece essencialmente ferramentas de produtividade mais eficientes. **Por um lado, para essas indústrias que já estão adotando a IA, isso significa maior eficiência e processo de transformação mais rápido; e maior eficiência também significa que é mais fácil para mais indústrias calcular a "conta econômica", a IA tem o potencial para transformar de algumas das chamadas grandes indústrias para a transformação de milhares de indústrias.
Esta é a razão pela qual a Huawei entra resolutamente na indústria.Na verdade, grandes empresas domésticas de serviços de nuvem, como Alibaba Cloud, Tencent Cloud, Volcano Cloud e Baidu Cloud, têm ideias semelhantes. No caso de uma mesma direção e ponto de partida próximo, quem pode correr mais rápido nesta competição é toda a capacidade da cadeia, desde poder de computação, grande base de modelos, plataforma, produtos até soluções específicas.
Por razões bem conhecidas, a Huawei não consegue obter o chip de computação mais avançado do mundo, que é atualmente reconhecido, e parece que é inerentemente insuficiente nesta competição. Mas, a julgar pela coletiva de imprensa de hoje, a Huawei não consegue ver que está ficando para trás devido às restrições dos alcances superiores.No chaveiro do modelo grande, surgiu com produtos e estojos maduros, e o desacoplado Pangu grande a arquitetura do modelo é ainda mais atraente. **Na verdade, considerando as necessidades de localização de hoje, a Huawei, que não fica para trás em termos de poder de computação, provavelmente se tornará uma vantagem independente e controlável. **
Os modelos grandes se tornaram uma nova oportunidade para a Huawei, e parece que está se tornando realidade.
Ver original
O conteúdo é apenas para referência, não uma solicitação ou oferta. Nenhum aconselhamento fiscal, de investimento ou jurídico é fornecido. Consulte a isenção de responsabilidade para obter mais informações sobre riscos.
Explicação detalhada de 6.000 palavras do modelo Pangu: ele pode suportar o outro pólo da IA do mundo?
A Huawei mostrou seus "músculos" no campo dos modelos grandes.
Em 7 de julho, foi aberta a Huawei Developer Conference 2023 (HDC 2023). No discurso principal de mais de duas horas da tarde, a HUAWEI CLOUD divulgou o progresso do modelo grande Pangu em detalhes pela primeira vez. Não apenas lançou o modelo grande Pangu 3.0 orientado para a indústria, mas também apresentou em detalhes o básico capacidades técnicas da Huawei para desenvolver modelos grandes.
O Pangu Large Model 3.0 inclui uma estrutura de três camadas "5+N+X". que permite aos usuários treinar mais de forma independente Refine o modelo de cena. Adota um design de desacoplamento completo em camadas, e os usuários corporativos podem escolher um modelo adequado de desenvolvimento, atualização ou ajuste fino com base em suas próprias necessidades de negócios, de modo a se adaptar às necessidades em constante mudança de milhares de indústrias.
A Huawei é um dos primeiros provedores de serviços em nuvem na China a implantar modelos de grande escala e lançou o modelo de grande escala Pangu já em 2021. No caminho para o desenvolvimento de modelos de grande escala, a Huawei construiu uma plataforma de nuvem de poder de computação de IA baseada em Kunpeng e Ascend da camada inferior, bem como recursos técnicos como a arquitetura de computação heterogênea CANN, a estrutura de IA de cenário completo MindSpore, e a linha de produção de desenvolvimento de IA ModelArts. .
Além do grande modelo e base de poder de computação, na reunião, a HUAWEI CLOUD também se concentrou nos casos típicos da combinação do grande modelo Pangu e setores específicos. Os setores envolvidos incluem assuntos governamentais, meteorologia, ferrovias, manufatura e finanças , bem como várias atualizações e reformulações da Huawei.Casos de aplicação de produtos e serviços de software em nuvem.
Seja recursos técnicos básicos, sistema de serviço de produto em nuvem AI**+ ou casos de aplicação em setores específicos, a HUAWEI CLOUD demonstrou recursos de negócios altamente maduros e sistemáticos, o que realmente impressiona o setor. Traga surpresas. **Enquanto todos ainda estão discutindo sobre quem é a OpenAI da China, a HUAWEI CLOUD abriu um caminho de desenvolvimento bastante maduro para modelos de grande escala.
A Huawei está usando sua própria prática para provar que modelos de grande escala são importantes, mas, mais importante, é usar modelos de grande escala para resolver os pontos problemáticos de indústrias e produtos, para produzir produtos e serviços que possam fazer empresas e usuários pagarem , e realmente criar valor para milhares de indústrias.
01 Pangu Large Model 3.0: Layered Decoupling Architecture
Desacoplamento é a palavra-chave do Pangu Model 3.0 lançado hoje. Este também é um apelo comum dos clientes da indústria que realmente invocaram modelos grandes nos últimos meses.
Um fornecedor líder de SaaS disse ao lançar seu próprio aplicativo de atualização de modelo em grande escala: "Não desenvolvemos modelos em grande escala sozinhos, mas em diferentes cenários de negócios, qual modelo em grande escala é bom para quê, nós pegamos esse modelo." Para poder alternar entre diferentes modelos grandes, "nossa própria arquitetura de produto deve ser independente do modelo grande subjacente ou fracamente acoplada".
“O design de desacoplamento do modelo grande da Pangu é para o bem da indústria.” Na Huawei Developer Conference, Zhang Pingan, diretor executivo da Huawei e CEO da Huawei Cloud, deu a rota diferenciada do modelo grande da Pangu. Seu núcleo é desacoplar as várias camadas e capacidades do modelo Pangu, permitindo que os usuários da indústria se desenvolvam de acordo com suas próprias necessidades.
“5” representa os cinco grandes modelos básicos da camada L0: incluindo linguagem natural, visão, multimodal, previsão e modelos grandes de computação científica, que fornecem e atendem às necessidades de várias habilidades em cenários da indústria.
O Pangu 3.0 fornece aos clientes grandes modelos básicos serializados com 10 bilhões de parâmetros, 38 bilhões de parâmetros, 71 bilhões de parâmetros e 100 bilhões de parâmetros, atendendo às necessidades diversificadas dos clientes em diferentes cenários, diferentes atrasos e diferentes velocidades de resposta. Ao mesmo tempo, fornece um novo conjunto de recursos, incluindo resposta a perguntas de conhecimento, geração de cópias e geração de código para modelos grandes de NLP, bem como geração e compreensão de imagens para modelos grandes multimodais. Essas habilidades podem ser usadas diretamente por clientes e empresas parceiras. Independentemente do tamanho do modelo grande, o Pangu fornece um conjunto consistente de recursos.
O "N" na estrutura de três níveis "5+N+X" representa N grandes modelos da indústria no nível L1. Existem duas maneiras de fornecer grandes modelos da indústria: por um lado, HUAWEI CLOUD pode fornecer grandes modelos da indústria geral treinados usando dados públicos da indústria, incluindo assuntos governamentais, finanças, manufatura, mineração, clima e outros modelos grandes; por outro lado, pode ser baseado em clientes da indústria Com seus próprios dados, nas camadas L0 e L1 do modelo grande Pangea, ele treina seu próprio modelo grande proprietário para clientes.
Zhang Pingan disse: "A Pangu nasceu para servir a indústria, fornecendo uma variedade de formas de implantação, desenvolvimento e raciocínio de modelos em larga escala. Ela pode gerar seu próprio modelo de indústria em larga escala, assim como o modelo Pangu em larga escala da Huawei, e só precisa inserir seus próprios dados privados.” Além disso, os dados de treinamento também são desacoplados do modelo grande.
O X em "5+N+X" significa que a camada L2 fornece aos clientes modelos de cena mais detalhados, focando mais em linhas diretas de assuntos governamentais, assistentes de rede, triagem de drogas líder, detecção de objetos estranhos em esteiras transportadoras e tufão paths Forneça aos clientes serviços de modelo "prontos para uso" para aplicativos específicos do setor ou cenários de negócios específicos, como previsão.
Através do modelo grande de três camadas de "**5+N+X", a HUAWEI CLOUD construiu sua própria base de modelo grande.
Na Conferência Mundial de Inteligência Artificial de ontem, Hu Houkun, presidente rotativo da Huawei, explicou vividamente: "O nível mais básico de benchmarking é o modelo geral de grande escala, que chamamos de modelo básico de grande escala. Nossa imagem nesse nível é chamada de leitura milhares de livros, o que é fazer bem. Uma grande quantidade de conhecimento básico é aprendida. Nesta camada, modelos de indústria e modelos de cena também são criados, chamados de viajar milhares de milhas. Ainda há muitos desafios a serem superados com a leitura de milhares de livros a viajar milhares de quilômetros. O ponto principal é que a Huawei está trabalhando com parceiros de vários setores para combinar e integrar totalmente o conhecimento de vários setores com modelos grandes.”
**Além disso, a inovação do modelo grande não é apenas a inovação do próprio modelo, mas também depende da inovação de várias tecnologias de raiz da IA. Na reunião, Yao Jun, diretor do Laboratório Arca de Noé da Huawei, apresentou a base técnica do modelo Pangu.
A Huawei construiu uma plataforma de nuvem de poder de computação de IA baseada em Kunpeng e Ascend na camada inferior, bem como a arquitetura de computação heterogênea CANN, a estrutura de IA de cenário completo MindSpore e a linha de produção de desenvolvimento de IA ModelArts, etc., para fornecem soluções distribuídas para o desenvolvimento e operação de grandes modelos.Capacidades-chave, como aceleração paralela, otimização de operador e compilação e otimização de comunicação em nível de cluster. Com base na tecnologia raiz de IA da Huawei, o desempenho do treinamento de modelo grande pode ser ajustado para 1,1 vezes o das GPUs convencionais do setor.
Ao mesmo tempo, 90% das operadoras nessas estruturas podem ser migradas sem problemas para a plataforma Ascend por meio da ferramenta de migração de ponta a ponta da Huawei. Por exemplo, a Meitu migrou 70 modelos para o Ascend em apenas 30 dias. Ao mesmo tempo, a HUAWEI CLOUD e a equipe da Meitu otimizaram em conjunto mais de 30 operadoras e aceleraram o processo em paralelo. Em comparação com a solução original, o desempenho da IA foi melhorou em 30%.
Além disso, falhas de GPU são frequentemente encontradas durante o treinamento de modelos grandes, e os desenvolvedores precisam reiniciar o treinamento com frequência, o que leva muito tempo e custa muito. O serviço de nuvem Ascend AI pode fornecer um serviço de computação AI mais estável. A taxa de estabilidade a longo prazo do treinamento de quilocalorias de 30 dias atinge 90% e o tempo de recuperação do ponto de interrupção não excede 10 minutos.
02 Capacite milhares de indústrias
Ren Zhengfei disse anteriormente: "A contribuição direta das empresas de plataforma de software de inteligência artificial para a sociedade humana pode ser inferior a 2% e 98% é a promoção da sociedade industrial e da sociedade agrícola. Mas a plataforma de aplicativos não é nossa opção, seremos a camada inferior da plataforma de poder da AI Computing."
Permitir modelos grandes em milhares de setores tornou-se o foco do desenvolvimento de modelos grandes da Huawei. Na reunião, a HUAWEI CLOUD apresentou os casos de aplicação do grande modelo Pangu em sete campos, incluindo assuntos governamentais, ferrovias, meteorologia e finanças.
Assuntos Governamentais
De acordo com a Huawei Cloud, o núcleo do grande modelo de assuntos governamentais de Pangu é a capacidade cognitiva. Deixe o sistema público urbano ser visto e compreendido e complete o ciclo fechado da percepção à cognição e disposição. E de acordo com diferentes cenários, fornece diferentes recursos, como resposta a perguntas, geração de cópias, percepção de vídeo e compreensão multimodal.
estrada de ferro
Os inspetores de trens tradicionais precisam inspecionar milhões de fotos de trens todos os dias para detectar se há falhas nos vagões que circulam na rede ferroviária. Após a introdução do grande modelo Pangu, ele pode identificar com precisão 67 tipos de caminhões rodando na rede ao vivo e mais de 430 tipos de falhas, e a taxa de triagem de imagens sem falhas chega a 95%. Em outras palavras, os inspetores de trens precisam detectar apenas 1/20 das imagens de trens no passado, o que equivale a um aumento de 20 vezes na eficiência do trabalho.
mina de carvão
No campo das minas de carvão, o modelo em grande escala da Mina Pangu foi usado em 8 minas em todo o país. Um modelo grande pode cobrir mais de 1.000 cenários subdivididos em processos de negócios, como mineração, escavação, maquinário, transporte, transporte, e lavagem de minas de carvão, permitindo que mais mineiros de carvão possam trabalhar no solo, o que não apenas torna o ambiente de trabalho dos mineiros de carvão mais confortável, mas também reduz consideravelmente os acidentes de segurança.
meteorológico
finança
No campo das finanças, o Pangu Large Model cooperou com o ICBC para criar uma série de aplicações exploratórias.
Um dos cenários típicos é melhorar a eficiência do trabalho dos caixas de banco. O ICBC tem dezenas de milhares de pontos de venda em todo o país e 200.000 caixas de pontos de venda. Eles precisam alternar entre vários serviços, o que desperdiçará muito tempo.
E esta é apenas a aplicação mais básica. A Huawei está explorando com o setor financeiro para aplicar o modelo grande a cenários mais financeiros, como análise de crédito no futuro.
fabricação
A própria Huawei também é uma empresa de manufatura.Os produtos de hardware que ela fabrica envolvem estações base de comunicação, telefones celulares, automóveis, chips e outros campos. Com base na experiência acumulada no passado, a Huawei introduziu o grande modelo Pangu no campo de produção e fabricação.
Descoberta de drogas
No campo da pesquisa e desenvolvimento de medicamentos, a pesquisa e o desenvolvimento originais de um novo medicamento levam em média 10 anos e custam 1 bilhão de dólares americanos. O grande modelo molecular dos medicamentos Pangu ajudou a equipe do professor Liu Bing, do Primeiro Hospital Afiliado da Universidade de Xi'an Jiaotong, a descobrir o primeiro novo alvo do mundo e uma nova classe de antibióticos em 40 anos e a encurtar o ciclo de desenvolvimento de medicamentos para um mês e reduzir o custo de desenvolvimento em 70%.
03 Modelo grande integrado ao sistema de produto Huawei Cloud
Além da prática em milhares de setores, o modelo HUAWEI CLOUD Pangu também foi profundamente integrado aos serviços de produtos da HUAWEI CLOUD para reestruturar a inovação de produtos.
Modelo Grande Pangu + Serviço de Nuvem Huawei
Com a bênção do modelo Pangu, uma série de produtos e serviços B-end da Huawei Cloud foram atualizados e reconstruídos. Na reunião, a HUAWEI CLOUD apresentou os detalhes de quatro atualizações de serviço: serviço de dados, atendimento ao cliente na nuvem, BI e pesquisa na nuvem.
Modelo grande Pangu + ferramenta de código CodeArts
A ferramenta treinou 76 bilhões de linhas de códigos selecionados e 13 milhões de documentos técnicos. Possui três funções principais de geração inteligente, pergunta e resposta inteligente e colaboração inteligente. Pode realizar a geração de código em uma frase de diálogo, anotação automática e geração de casos de teste em um clique.Um comando pode ser implantado de forma inteligente, para que cada desenvolvedor de software tenha seu próprio assistente de programação.
Modelo Grande Pangu + Homem Digital
Com base nesses dois principais serviços, os desenvolvedores podem gerar e conduzir rapidamente modelos humanos digitais, capacitando a educação on-line, transmissão ao vivo de entretenimento, conferências corporativas e outras aplicações do setor, para que cada funcionário da empresa possa realizar a "liberdade humana digital". Por exemplo, os usuários só precisam fazer upload de um vídeo pessoal de 20 segundos na página de serviço do HUAWEI CLOUD MetaStudio para gerar rapidamente um vídeo de explicação humana digital personalizado. O trabalho concluído por 3 funcionários de P&D em 3 dias no passado agora pode ser concluído em 3 minutos .
Modelo Grande Pangu + Inteligência Corporificada
Na reunião, a Huawei Cloud também mencionou a aplicação do modelo Pangu no campo da robótica e demonstrou um vídeo.
Segundo a Huawei, a demonstração acima não é um vídeo conceitual, mas um produto real, que foi exibido no local durante a conferência HDC.
**04 Resumo e reflexão: a Huawei pode se tornar o outro polo da IA? **
Zhang Pingan disse: “Para ajudar clientes, parceiros e desenvolvedores globais a treinar e usar modelos grandes, estamos comprometidos em criar um mundo para clientes globais IA **Outro pólo, fornecendo novos desenvolvedores de IA s Escolha". **
Ainda antes, em março deste ano, Ren Zhengfei havia expressado um significado semelhante dentro da empresa. Ele disse que haverá um aumento nos modelos de IA, não apenas na Microsoft. A razão de Ren Zhengfei é, na verdade, a direção dos esforços da Huawei Cloud hoje, ou seja, a contribuição direta das empresas de plataforma de software de inteligência artificial para a sociedade humana pode ser inferior a 2% e 98% é a promoção da sociedade industrial e da sociedade agrícola.
Por exemplo, fábricas na China e na Alemanha estão promovendo a promoção de inteligência artificial para a indústria, de modo a realizar a produção não tripulada; por exemplo, o cais no porto de Tianjin também tentou carregar e descarregar cargas não tripuladas. Uma vez que o código é inserido, o o contêiner será removido automaticamente do navio. Carregue-o e depois transporte-o de carro; por exemplo, na mina de carvão em Shanxi, depois de adotar a inteligência artificial 5G+ no subsolo, o número de funcionários foi reduzido em 60-70%, e a maioria das pessoas trabalha de terno na sala de controle no solo.
Esses são exemplos em que a IA foi aplicada em grande escala ao setor industrial nos últimos anos. O que essas indústrias têm em comum é que possuem grande escala e valor de produção, e uma pequena melhoria na eficiência pode trazer grandes benefícios.
**O surgimento de modelos grandes fornece essencialmente ferramentas de produtividade mais eficientes. **Por um lado, para essas indústrias que já estão adotando a IA, isso significa maior eficiência e processo de transformação mais rápido; e maior eficiência também significa que é mais fácil para mais indústrias calcular a "conta econômica", a IA tem o potencial para transformar de algumas das chamadas grandes indústrias para a transformação de milhares de indústrias.
Esta é a razão pela qual a Huawei entra resolutamente na indústria.Na verdade, grandes empresas domésticas de serviços de nuvem, como Alibaba Cloud, Tencent Cloud, Volcano Cloud e Baidu Cloud, têm ideias semelhantes. No caso de uma mesma direção e ponto de partida próximo, quem pode correr mais rápido nesta competição é toda a capacidade da cadeia, desde poder de computação, grande base de modelos, plataforma, produtos até soluções específicas.
Por razões bem conhecidas, a Huawei não consegue obter o chip de computação mais avançado do mundo, que é atualmente reconhecido, e parece que é inerentemente insuficiente nesta competição. Mas, a julgar pela coletiva de imprensa de hoje, a Huawei não consegue ver que está ficando para trás devido às restrições dos alcances superiores.No chaveiro do modelo grande, surgiu com produtos e estojos maduros, e o desacoplado Pangu grande a arquitetura do modelo é ainda mais atraente. **Na verdade, considerando as necessidades de localização de hoje, a Huawei, que não fica para trás em termos de poder de computação, provavelmente se tornará uma vantagem independente e controlável. **
Os modelos grandes se tornaram uma nova oportunidade para a Huawei, e parece que está se tornando realidade.