Na quinta-feira, foi divulgada a última edição do relatório anual sobre o estado da IA.
Fonte da imagem: Gerado por Unbounded AI
Agora em seu sexto ano, o State of Report tornou-se um termômetro no campo da inteligência artificial, escrito pelos principais profissionais de IA na indústria e campo de pesquisa, além de resumir o passado, também fará muitas previsões sobre o desenvolvimento futuro.
O relatório deste ano resume e destaca os eventos mais quentes na indústria de IA no ano passado, citando dados das principais empresas de tecnologia e grupos de pesquisa escritos pelos investidores Nathan Benaich, Alex Chalmers, Othmane Sebbouh e Corina Gurau. Partindo de cinco dimensões: progresso da pesquisa, situação da indústria, políticas existentes, questões de segurança e previsões futuras, o relatório fornece uma análise aprofundada do status de desenvolvimento de IA mais recente e expectativas futuras.
Download do relatório completo em:
O GPT-4 da OpenAI continua sendo o modelo de linguagem grande (LLM) mais forte oito meses após seu lançamento, "superando todos os outros grandes modelos em benchmarks clássicos e exames projetados para avaliar humanos", disse o relatório. No entanto, o relatório observa que, à medida que os sistemas de IA de ponta se tornam mais poderosos e flexíveis, será cada vez mais difícil compará-los.
Ao mesmo tempo, o relatório argumenta que, até 2023, a cultura das empresas de IA compartilhando abertamente suas pesquisas de ponta terminará. A OpenAI se recusou a compartilhar "qualquer informação útil" sobre a arquitetura do sistema GPT-4, e o Google e a Anthropic tomaram decisões semelhantes sobre seus modelos: "À medida que os custos aumentam e as preocupações com a segurança se intensificam, as empresas de tecnologia tradicionalmente abertas adotaram uma cultura de opacidade em suas pesquisas de ponta".
As principais conclusões do relatório são as seguintes:
1、Progresso da investigação
GPT-4 estreou, demonstrando a lacuna de capacidade entre tecnologia proprietária e alternativas de código aberto subótimas, ao mesmo tempo em que valida o poder da aprendizagem por reforço através do feedback humano;
Com o apoio do LLaMa-1/2, cada vez mais pessoas estão tentando clonar ou superar modelos proprietários com modelos menores, melhores conjuntos de dados, contextos mais longos;
Não está claro por quanto tempo os dados gerados por humanos sustentarão a tendência de expansão da IA (alguns estimam que os dados serão esgotados pelo LLM até 2025) ou qual será o impacto da adição de dados sintéticos. Vídeo e dados na empresa podem ser o próximo alvo;
O LLM e os modelos de difusão continuam a capacitar a comunidade das ciências da vida, trazendo novos avanços à biologia molecular e à descoberta de medicamentos;
Multi-modo tornou-se uma nova fronteira, e a popularidade de vários agentes aumentou muito.
2、Situação da indústria
A NVIDIA está no clube de trilhões de dólares com enorme demanda por GPUs de países, startups, grandes empresas de tecnologia e pesquisadores;
Os principais fornecedores de chips desenvolvem produtos alternativos que não estão sujeitos a controlos de exportação;
Liderados pelo ChatGPT, os aplicativos da GenAI fizeram avanços em áreas como imagem, vídeo, codificação, voz ou CoPilots, gerando US$ 18 bilhões em capital de risco e investimento empresarial.
3、Políticas existentes
O mundo dividiu-se claramente em campos regulamentares, mas o progresso na governação global ainda é relativamente lento e os maiores laboratórios de IA estão a preencher esta lacuna;
Prevê-se que a IA tenha impacto numa série de domínios sensíveis, incluindo as eleições e o emprego, mas ainda não se verificou um impacto significativo.
4、Problemas de segurança
Pela primeira vez, a discussão sobre os riscos existenciais entrou na corrente dominante e intensificou-se significativamente;
Muitos modelos de alto desempenho são fáceis de "jailbreak" e, para resolver os desafios do RLHF, os pesquisadores estão explorando alternativas como autoalinhamento e pré-treinamento com as preferências humanas;
À medida que o desempenho dos modelos melhora, torna-se cada vez mais difícil avaliar consistentemente os modelos SOTA.
Veja como é o relatório.
Progresso da Investigação
A primeira parte do relatório resume os avanços tecnológicos de IA desde 2023 e suas capacidades.
A OpenAI introduziu o GPT-4, demonstrando a lacuna de capacidade entre modelos de código aberto proprietários e subótimos e superando todos os outros grandes modelos de linguagem em benchmarks e exames clássicos de IA projetados para humanos.
O sucesso de grandes modelos como o ChatGPT valida o poder da aprendizagem por reforço (RLHF) com base no feedback humano. A indústria também está ativamente procurando soluções alternativas escaláveis para RLHF, como o aprendizado de reforço da Anthropic com base no feedback da IA.
No entanto, os grandes fabricantes de modelos estão cada vez mais fechados tecnologicamente. Embora a OpenAI tenha divulgado o relatório técnico do GPT-4, não divulgou nenhuma informação útil para os pesquisadores de IA, o que marcou a industrialização desta pesquisa de IA. O mesmo vale para o relatório técnico PaLM-2 do Google, e a Anthropic optou por não publicar o relatório técnico de Claude.
Até que a Meta lançou sucessivamente os modelos grandes de código aberto Llama e Llama2, optando por abrir o peso do modelo e outros detalhes técnicos para o público, desencadeou uma grande competição de modelos de linguagem para competição aberta, e formou um confronto entre modelos grandes de código aberto e proprietários. Em particular, LLAMA2 está disponível comercialmente, atingindo 32 milhões de downloads em setembro de 2023.
Em termos de popularidade, o ChatGPT foi mencionado mais vezes no X (antigo Twitter) em 5430 vezes. Seguem-se GPT-4 e LLaMA. Enquanto os modelos proprietários de código fechado estão recebendo mais atenção, o interesse está crescendo no LLM que é de código aberto e permite o uso comercial.
Com base em Llama e Llama2, a indústria continua a se esforçar para igualar ou superar o desempenho do modelo proprietário, desenvolvendo modelos menores, melhores conjuntos de dados e contextos mais longos.
Ao treinar modelos de linguagem pequenos usando conjuntos de dados muito especializados e bem elaborados, o desempenho pode ser comparável a modelos 50 vezes maiores. O comprimento do contexto tornou-se uma nova medida de parâmetro e um tópico de pesquisa que é cada vez mais importante para a comunidade de IA.
À medida que a quantidade de parâmetros de treinamento e dados para grandes modelos de linguagem continua a aumentar, as pessoas estão começando a pensar no dia em que os dados gerados por humanos se esgotarão? Não está claro por quanto tempo esses dados sustentarão a expansão da IA.
Assumindo o consumo e a produtividade atuais de dados, a Epoch AI prevê que esgotará os inventários de dados linguísticos de baixa qualidade até 2030 a 2050, os dados linguísticos de alta qualidade até 2026 e os dados visuais até 2030 a 2060, assumindo o consumo e a produtividade atuais dos dados.
Nesse caso, o conteúdo gerado por IA pode ser usado para aumentar o pool de dados de treinamento disponíveis. No entanto, há alguns pontos pouco claros: embora os dados sintéticos estejam se tornando cada vez mais úteis, há evidências de que, em alguns casos, a geração de dados faz com que os modelos se esqueçam.
À medida que os modelos de geração de texto e imagem se tornam mais poderosos, identificando conteúdo gerado por IA, bem como conteúdo de fontes protegidas por direitos autorais, esses problemas persistirão por muito tempo e se tornarão cada vez mais difíceis de resolver.
LLM e modelos de difusão trazem novos avanços em biologia molecular e descoberta de medicamentos. Por exemplo, inspirados pelo sucesso dos modelos de geração de imagem e linguagem, os modelos de difusão podem projetar uma variedade de proteínas funcionais a partir do zero, trazendo mais possibilidades para as ciências da vida.
Além disso, é possível usar modelos de linguagem para aprender regras de estrutura de proteínas evoluídas, prever as consequências de perturbar múltiplos genes sem experimentos baseados em células, prever as consequências de todas as mudanças de aminoácidos e assim por diante.
O Med-PaLM 2 da Google tornou-se o primeiro grande modelo a atingir o nível de especialista no conjunto de testes MedQA, e o próximo passo será avançar para a multimodalidade.
A IA para a Ciência está a emergir gradualmente, entre as quais a medicina é a mais desenvolvida, mas a matemática tem a maior atenção.
Situação do setor
A segunda parte do relatório resume as tendências da indústria relacionadas à IA.
O desenvolvimento de IA, especialmente modelos grandes, significa que agora é um bom momento para entrar na indústria de hardware, e a enorme demanda por GPUs testemunhou a explosão de lucro da NVIDIA, fazendo-a entrar no clube de capitalização de mercado de 1T (trilhão).
O número de clusters de GPU NVIDIA A100 e H100 continua a crescer, e seus chips usam 19 vezes mais do que todos os outros chips semelhantes em artigos de pesquisa de IA combinados.
Enquanto a NVIDIA continua a lançar novos chips, as GPUs antigas também exibem ciclos de vida extraordinários. A V100, lançada em 2017, é a GPU mais popular entre os trabalhos de pesquisa de IA em 2022.
Embora a NVIDIA seja o rei do mercado de GPUs, ela também inaugurou muitos desafios, como a Cerebras.
A IA generativa está em ascensão, e o ChatGPT da OpenAI é um dos produtos da Internet que mais cresce.
No entanto, aplicativos GenAI como ChatGPT, Runway ou Character.ai têm retenção mediana mais baixa e números de usuários ativos diários em comparação com os aplicativos mais populares como YouTube, Instagram, TikTok ou WhatsApp hoje.
Fora do espaço do software de consumo, há sinais de que a GenAI pode acelerar os avanços na IA física. Por exemplo, no campo da condução autónoma, a Wayve lançou o GAIA-1, um grande modelo de IA para gerar cenários de condução realistas.
Além disso, o Google e a DeepMind se fundiram para formar o Google DeepMind, e os autores do artigo do Google "Atenção é tudo o que você precisa" saíram para iniciar negócios.
Empresas de IA como OpenAI e Anthropic estão se tornando a espinha dorsal da onda de grandes modelos. As empresas GenAI levantaram 33% mais financiamento semente e 130% mais do que todas as startups.
Política existente
A terceira parte do relatório apresenta o desenvolvimento de políticas no domínio da inteligência artificial.
Sem surpresa, bilhões de dólares em investimentos e enormes saltos em capacidades colocaram a IA no topo das agendas dos formuladores de políticas. O mundo está girando em torno de um punhado de abordagens regulatórias – que vão desde leves até altamente restritivas.
Surgiram potenciais propostas para a governação global. A Cimeira de Segurança da IA do Reino Unido pode ajudar a começar a concretizar esta ideia.
Problemas de segurança
A quarta parte do relatório resume as questões de segurança mais discutidas no campo da IA.
Relatórios anteriores sobre o estado da IA alertaram que grandes laboratórios estão ignorando problemas de segurança. Em 2023, o debate sobre os riscos da IA, especialmente o risco de extinção ou catástrofe, costuma dominar as manchetes.
É claro que nem todos são tão pessimistas, como o autor de Keras e pesquisador de IA do Google, François Chollet, e o vencedor do Prêmio Turing, Yann LeCun, cientista-chefe de IA da Meta. "Não há modelos ou tecnologias de IA que representem um risco de extinção humana (...) Mesmo que você extrapole os recursos do modelo para o futuro de acordo com a lei de escala." Mas o capitalista de risco Marc Andreessen pergunta: "Quais são as hipóteses testáveis?" Quem falsificaria essa hipótese?"
Não é difícil ver que os decisores políticos têm estado alarmados e têm trabalhado arduamente para construir conhecimento sobre potenciais riscos. O Reino Unido assumiu a liderança na criação de uma força-tarefa dedicada à inteligência artificial de ponta, e os Estados Unidos lançaram uma investigação do Congresso.
Neste ambiente, grandes laboratórios também estão ativamente tomando medidas, como DeepMind e Anthropic anunciaram ferramentas de segurança correspondentes para avaliar os riscos de segurança dos modelos. Ao mesmo tempo, modelos de código aberto com maior risco de abuso também estão atraindo a atenção, então empresas como a Meta, que publicam modelos de código aberto, também estão ativamente tomando medidas.
Top 10 Previsões
Na parte final do relatório, os autores dão algumas de suas previsões para as tendências de IA no próximo ano:
Um filme de nível hollywoodiano usará IA generativa para criar efeitos visuais;
Uma empresa de mídia de IA generativa sob investigação por uso indevido de IA nas eleições americanas de 2024;
Agentes de IA que podem melhorar a si mesmos superam a SOTA em ambientes complexos (por exemplo, jogos AAA, uso de ferramentas, ciência);
O mercado de IPOs de tecnologia descongela, com pelo menos uma empresa focada em IA abrindo capital (por exemplo, a Databricks);
No boom de escalonamento da GenAI, um grupo gastou mais de US$ 1 bilhão para treinar um modelo grande;
A Comissão Federal de Comércio dos EUA (FTC) ou a Autoridade da Concorrência e dos Mercados do Reino Unido (CMA) investigando as negociações da Microsoft com a OpenAI por motivos de concorrência;
Para além dos compromissos voluntários de alto nível, os autores acreditam que a governação global da IA fará progressos limitados;
As instituições financeiras lançam fundos de dívida GPU para substituir os fundos de capital de risco utilizados para financiamento computacional;
Músicas geradas por IA entram no Top 10 da Billboard Hot 100 ou no Top Hits do Spotify 2024;
À medida que a carga de trabalho e o custo de inferência crescem significativamente, uma grande empresa de IA, como a OpenAI, adquirirá uma empresa de chips de IA focada em inferência.
É claro que essas previsões não são necessariamente totalmente corretas. No ano passado, eles também deram algumas previsões (9) e publicaram uma avaliação dessas previsões no relatório deste ano: 5 delas provaram ser precisas.
Então, algumas previsões vão se concretizar este ano, vamos esperar para ver.
Links de referência:
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
IA vai jogar obras-primas triplo-A, OpenAI será investigado? O AI Panorama Report 2023 dá as dez principais previsões
Agora em seu sexto ano, o State of Report tornou-se um termômetro no campo da inteligência artificial, escrito pelos principais profissionais de IA na indústria e campo de pesquisa, além de resumir o passado, também fará muitas previsões sobre o desenvolvimento futuro.
O relatório deste ano resume e destaca os eventos mais quentes na indústria de IA no ano passado, citando dados das principais empresas de tecnologia e grupos de pesquisa escritos pelos investidores Nathan Benaich, Alex Chalmers, Othmane Sebbouh e Corina Gurau. Partindo de cinco dimensões: progresso da pesquisa, situação da indústria, políticas existentes, questões de segurança e previsões futuras, o relatório fornece uma análise aprofundada do status de desenvolvimento de IA mais recente e expectativas futuras.
O GPT-4 da OpenAI continua sendo o modelo de linguagem grande (LLM) mais forte oito meses após seu lançamento, "superando todos os outros grandes modelos em benchmarks clássicos e exames projetados para avaliar humanos", disse o relatório. No entanto, o relatório observa que, à medida que os sistemas de IA de ponta se tornam mais poderosos e flexíveis, será cada vez mais difícil compará-los.
Ao mesmo tempo, o relatório argumenta que, até 2023, a cultura das empresas de IA compartilhando abertamente suas pesquisas de ponta terminará. A OpenAI se recusou a compartilhar "qualquer informação útil" sobre a arquitetura do sistema GPT-4, e o Google e a Anthropic tomaram decisões semelhantes sobre seus modelos: "À medida que os custos aumentam e as preocupações com a segurança se intensificam, as empresas de tecnologia tradicionalmente abertas adotaram uma cultura de opacidade em suas pesquisas de ponta".
As principais conclusões do relatório são as seguintes:
1、Progresso da investigação
2、Situação da indústria
3、Políticas existentes
4、Problemas de segurança
Veja como é o relatório.
Progresso da Investigação
A primeira parte do relatório resume os avanços tecnológicos de IA desde 2023 e suas capacidades.
A OpenAI introduziu o GPT-4, demonstrando a lacuna de capacidade entre modelos de código aberto proprietários e subótimos e superando todos os outros grandes modelos de linguagem em benchmarks e exames clássicos de IA projetados para humanos.
Ao treinar modelos de linguagem pequenos usando conjuntos de dados muito especializados e bem elaborados, o desempenho pode ser comparável a modelos 50 vezes maiores. O comprimento do contexto tornou-se uma nova medida de parâmetro e um tópico de pesquisa que é cada vez mais importante para a comunidade de IA.
Assumindo o consumo e a produtividade atuais de dados, a Epoch AI prevê que esgotará os inventários de dados linguísticos de baixa qualidade até 2030 a 2050, os dados linguísticos de alta qualidade até 2026 e os dados visuais até 2030 a 2060, assumindo o consumo e a produtividade atuais dos dados.
À medida que os modelos de geração de texto e imagem se tornam mais poderosos, identificando conteúdo gerado por IA, bem como conteúdo de fontes protegidas por direitos autorais, esses problemas persistirão por muito tempo e se tornarão cada vez mais difíceis de resolver.
Além disso, é possível usar modelos de linguagem para aprender regras de estrutura de proteínas evoluídas, prever as consequências de perturbar múltiplos genes sem experimentos baseados em células, prever as consequências de todas as mudanças de aminoácidos e assim por diante.
A segunda parte do relatório resume as tendências da indústria relacionadas à IA.
O desenvolvimento de IA, especialmente modelos grandes, significa que agora é um bom momento para entrar na indústria de hardware, e a enorme demanda por GPUs testemunhou a explosão de lucro da NVIDIA, fazendo-a entrar no clube de capitalização de mercado de 1T (trilhão).
A terceira parte do relatório apresenta o desenvolvimento de políticas no domínio da inteligência artificial.
Sem surpresa, bilhões de dólares em investimentos e enormes saltos em capacidades colocaram a IA no topo das agendas dos formuladores de políticas. O mundo está girando em torno de um punhado de abordagens regulatórias – que vão desde leves até altamente restritivas.
A quarta parte do relatório resume as questões de segurança mais discutidas no campo da IA.
Relatórios anteriores sobre o estado da IA alertaram que grandes laboratórios estão ignorando problemas de segurança. Em 2023, o debate sobre os riscos da IA, especialmente o risco de extinção ou catástrofe, costuma dominar as manchetes.
Top 10 Previsões
Na parte final do relatório, os autores dão algumas de suas previsões para as tendências de IA no próximo ano:
É claro que essas previsões não são necessariamente totalmente corretas. No ano passado, eles também deram algumas previsões (9) e publicaram uma avaliação dessas previsões no relatório deste ano: 5 delas provaram ser precisas.
Links de referência: