Fonte da imagem: Gerada pela ferramenta Unbounded AI
Quem tem medo de robôs? Parece que muita gente é assim. Atualmente, o número de figuras proeminentes fazendo declarações públicas ou assinando cartas abertas alertando sobre os perigos catastróficos da inteligência artificial é impressionante.
Centenas de cientistas, líderes empresariais e formuladores de políticas se manifestaram, desde os pioneiros da aprendizagem profunda Geoffrey Hinton e Yoshua Bengio, até CEOs das principais empresas de IA como Sam Altman e Demis Hassabis, até o deputado da Califórnia Ted Lieu com o ex-presidente da Estônia Kersti Kaljulaid.
A afirmação mais contundente assinada por todas essas figuras e muitas outras foi uma declaração de 22 palavras divulgada há duas semanas pelo Centro de Segurança de Inteligência Artificial (CAIS), uma organização de pesquisa com sede em San Francisco, que declarou que “mitigar o risco de extinção colocados pela inteligência artificial Deve ser uma prioridade global, juntamente com outros riscos em escala social, como pandemias e guerra nuclear."
Esta formulação é deliberada. "Se fôssemos usar uma declaração no estilo do teste de Rorschach, diríamos 'risco existencial' porque pode significar muitas coisas para muitas pessoas diferentes", disse Dan Hendrycks, diretor do CAIS. não sobre derrubar a economia. "É por isso que falamos de 'risco de extinção', embora muitos de nós também nos preocupemos com vários outros riscos", disse Hendrycks.
Já estivemos lá antes: a desgraça da IA vem com o hype da IA. Mas desta vez parece diferente. A janela de Overton mudou. O que antes era uma visão extrema agora é mainstream, ganhando as manchetes e a atenção dos líderes mundiais. “As vozes de preocupação com a IA são muito altas para serem ignoradas”, disse Jenna Burrell, diretora de pesquisa da Data and Society, uma organização que estuda o impacto social da tecnologia.
O que aconteceu? A inteligência artificial está realmente se tornando (mais) perigosa? Por que as pessoas que introduziram essa tecnologia em primeiro lugar agora estão começando a soar o alarme?
É certo que essas visões estão divididas no campo. Na semana passada, o cientista-chefe da Meta, Yann LeCun, que dividiu o Prêmio Turing de 2018 com Hinton e Bengio, chamou a teoria do juízo final de “ridícula”. Aidan Gomez, executivo-chefe da empresa de inteligência artificial Cohere, disse que foi "um uso ridículo de nosso tempo".
Da mesma forma, outros zombaram disso. “Não há mais evidências agora do que em 1950 de que a inteligência artificial representará esses riscos existenciais”, disse Meredith Whittaker, presidente da Signal. Whittaker é cofundador e ex-diretor do AI now Institute, que é um laboratório de pesquisa que estuda as implicações políticas da inteligência artificial. "Histórias de fantasmas são contagiosas - estar com medo é realmente excitante e estimulante."
"Também é uma forma de olhar além de tudo o que está acontecendo hoje", disse Burrell. "Isso mostra que não vimos danos reais ou sérios."
Um medo antigo
Preocupações com máquinas descontroladas e autoaperfeiçoadas existem desde Alan Turing. Futuristas como Vernor Vinge e Ray Kurzweil popularizaram essas ideias falando sobre a chamada "Singularidade", uma data hipotética em que a inteligência artificial supera a humana e é dominada pelas máquinas.
Mas no centro dessa preocupação está a questão do controle: se (ou quando) as máquinas ficarem mais inteligentes, como os humanos poderão manter seu domínio? Em um artigo de 2017 intitulado "Como a IA representa um risco existencial?", Karina Vold, filósofa de IA da Universidade de Toronto (que também assinou a declaração do CAIS), apresenta os argumentos básicos por trás dessa preocupação.
O argumento tem três premissas principais. Primeiro, é possível que os humanos criem uma máquina superinteligente que supere todas as outras inteligências. Em segundo lugar, corremos o risco de perder o controle de agentes superinteligentes capazes de nos superar. Em terceiro lugar, existe a possibilidade de um agente superinteligente fazer coisas que não queremos que ele faça.
Juntando tudo isso, é possível criar uma máquina que fará coisas que não queremos que ela faça, inclusive nos destruindo, e não conseguiremos pará-la.
Existem também diferentes casos para este cenário. Quando Hinton levantou suas preocupações sobre a inteligência artificial em maio, ele citou o exemplo de robôs que redirecionam a rede para obter mais poder. Mas a superinteligência (ou AGI) não é necessária. Máquinas estúpidas também podem ser desastrosas se tiverem muito espaço. Muitos cenários envolvem implantações imprudentes ou maliciosas, em vez de bots de autoatendimento.
Em um artigo publicado online na semana passada, os pesquisadores de inteligência artificial Stuart Russell e Andrew Critch, da Universidade da Califórnia, Berkeley (que também assinou a declaração do CAIS) ofereceram uma taxonomia de risco existencial. Esses riscos variam de chatbots de aconselhamento viral que dizem a milhões para abandonar a faculdade, a indústrias autônomas que buscam fins econômicos prejudiciais, a estados-nação que constroem super-armas movidas a IA.
Em muitos casos imaginários, um modelo teórico alcança seus objetivos humanos, mas de uma forma que não é boa para nós. Para Hendrycks, que estuda como os modelos de aprendizado profundo às vezes se comportam de maneiras inesperadas quando recebem entradas não vistas nos dados de treinamento, um sistema de IA pode ser desastroso porque é destrutivo em vez de onipotente. "Se você der um objetivo e encontrar uma solução exótica, isso nos levará a uma jornada estranha", disse ele.
O problema com esses futuros possíveis é que eles dependem de uma série de "ses" que os fazem parecer ficção científica. O próprio Vold admitiu isso. “Como os eventos que constituem ou desencadeiam [riscos existenciais] não têm precedentes, os argumentos de que representam tal ameaça devem ser de natureza teórica”, escreveu ela. “Sua raridade também torna subjetiva qualquer especulação sobre como ou quando tais eventos ocorrem e não podem ser verificados empiricamente”.
Então, por que mais pessoas estão acreditando nessas ideias do que nunca? “Pessoas diferentes falam sobre risco por motivos diferentes, e podem significar isso de maneira diferente”, diz François Chollet, pesquisador de IA do Google. Mas é uma narrativa irresistível: “O risco existencial sempre foi uma boa história”.
"Há um elemento mitológico, quase religioso, que não pode ser ignorado", disse Whittaker. “Acho que precisamos reconhecer que, dado que o que está sendo descrito não tem base de evidências, está mais próximo de uma crença, de um fervor religioso, do que de um discurso científico”.
O Contágio do Juízo Final
Quando os pesquisadores de aprendizagem profunda começaram a alcançar uma série de sucessos - pense em Hinton e seus colegas com pontuação recorde de reconhecimento de imagem na competição ImageNet de 2012 e a primeira vitória AlphaGo da DeepMind sobre um campeão humano em 2015, o hype logo se voltou para dia do juízo final também. Cientistas proeminentes, como Hawking e o cosmólogo Martin Rees, bem como líderes tecnológicos de alto nível, como Elon Musk, soaram o alarme sobre os riscos existenciais. Mas esses personagens não são especialistas em IA.
No palco em San Jose, oito anos atrás, Andrew Ng, pioneiro do aprendizado profundo e então cientista-chefe do Baidu, riu da ideia.
"Em um futuro distante, pode haver uma corrida de robôs matadores", disse Andrew Ng ao público na Nvidia GPU Technology Conference 2015. “Mas não estou tão comprometido hoje em impedir que a inteligência artificial se torne maligna quanto em me preocupar com a superpopulação em Marte.” (As observações de Ng foram relatadas na época pelo site de notícias de tecnologia The Register.)
Andrew Ng, que cofundou o laboratório de inteligência artificial do Google em 2011 e agora é o CEO da Landing AI, repetiu essa frase em entrevistas desde então. Mas agora ele está menos otimista. "Estou mantendo a mente aberta e conversando com algumas pessoas para aprender mais", ele me disse. "Desenvolvimentos rápidos levaram os cientistas a repensar o risco."
Como muitos, Ng expressou preocupação com o rápido desenvolvimento da IA generativa e seu potencial de uso indevido. No mês passado, observou ele, uma imagem amplamente divulgada gerada por IA de uma explosão no Pentágono assustou as pessoas, derrubando o mercado de ações.
“Infelizmente, a IA é tão poderosa que também parece causar grandes problemas”, disse Ng. Mas ele não falou sobre robôs assassinos: "No momento, ainda tenho dificuldade em ver como a inteligência artificial pode levar à nossa extinção".
O que é diferente de antes é a consciência generalizada do que a IA pode fazer. O ChatGPT disponibilizou a tecnologia ao público no final do ano passado. “A IA de repente é um tema quente no mainstream”, disse Chollet. “As pessoas estão levando a inteligência artificial a sério porque veem saltos repentinos na capacidade como um prenúncio de mais saltos por vir”.
Além disso, a experiência de falar com um chatbot pode ser perturbadora. Conversação é algo geralmente entendido como algo que as pessoas fazem com outras pessoas. “Isso acrescenta um senso de legitimidade à ideia de IA ser como um ser humano ou um interlocutor senciente”, disse Whittaker. “Acho que leva as pessoas a acreditar que, se a IA pode simular a comunicação humana, também pode fazer XYZ”.
“É por isso que estou começando a sentir que a conversa sobre risco de sobrevivência é um tanto apropriada – fazer inferências sem evidências”, disse ela.
Esperando ansiosamente
Temos motivos para estar indignados. À medida que os reguladores alcançam a indústria de tecnologia, questões estão sobre a mesa sobre que tipo de atividade deve ou não ser restringida. Destacar os riscos de longo prazo em vez dos danos de curto prazo (como contratação discriminatória ou desinformação) reorienta os reguladores para problemas futuros hipotéticos.
"Suspeito que a ameaça de restrições regulatórias reais tenha impulsionado uma postura", disse Burrell. "Falar sobre risco existencial pode validar as preocupações dos reguladores sem destruir oportunidades de negócios." Ela disse: "IA superinteligente que trai a humanidade. Parece assustador, mas é também claramente algo que ainda não aconteceu."
Exagerar as preocupações com o risco existencial também é bom para os negócios de outras maneiras. Chollet aponta que as principais empresas de IA precisam que pensemos que a AGI está chegando e são elas que a constroem. "Se você quer que as pessoas pensem que aquilo em que você está trabalhando é poderoso, é uma boa ideia deixá-las com medo disso", disse ele.
Whittaker tem uma visão semelhante. “É importante se colocar como o criador de uma entidade que pode ser mais poderosa que os humanos”, disse ela.
Nada disso importa se for apenas marketing ou campanha publicitária. Mas decidir o que é e o que não é um risco tem consequências. Em um mundo de orçamentos limitados e períodos de atenção, ferimentos menos graves do que uma guerra nuclear podem ser negligenciados porque não pensamos que sejam uma prioridade.
“Esta é uma questão importante, especialmente devido ao crescente foco em segurança e proteção como uma estrutura estreita para intervenção política”, disse Sarah Myers West, diretora-gerente do AI Now Institute.
Quando o primeiro-ministro Rishi Sunak se reuniu com os chefes das empresas de IA, incluindo Sam Altman e Demis Hassabis, em maio, o governo do Reino Unido divulgou um comunicado dizendo: "O primeiro-ministro e os CEOs discutiram os riscos da tecnologia, desde desinformação e segurança do estado, até uma ameaça existencial".
Na semana anterior, Altman disse ao Senado dos EUA que sua maior preocupação era que a indústria de IA causasse danos significativos ao mundo. O testemunho de Altman provocou pedidos de um novo tipo de agência para lidar com esse dano sem precedentes.
Com a mudança da janela de Overton, o estrago já foi feito? "Se estamos falando de um futuro distante, se estamos falando de risco mítico, estamos reenquadrando completamente o problema como um problema que existe em um mundo de fantasia, e a solução pode existir em um mundo de fantasia", Whittaker disse.
Mas Whittaker também observou que as discussões sobre políticas em torno da IA vêm ocorrendo há anos, mais do que os temores recentes. "Não acredito em inevitabilidade", disse ela. "Vamos ver o hype combatido. Vai desaparecer."
Ver original
O conteúdo é apenas para referência, não uma solicitação ou oferta. Nenhum aconselhamento fiscal, de investimento ou jurídico é fornecido. Consulte a isenção de responsabilidade para obter mais informações sobre riscos.
Revisão de tecnologia do MIT: como o risco existencial se tornou o maior meme da IA
Escrito por: Will Douglas Heaven
Fonte: Revisão de Tecnologia do MIT
Quem tem medo de robôs? Parece que muita gente é assim. Atualmente, o número de figuras proeminentes fazendo declarações públicas ou assinando cartas abertas alertando sobre os perigos catastróficos da inteligência artificial é impressionante.
Centenas de cientistas, líderes empresariais e formuladores de políticas se manifestaram, desde os pioneiros da aprendizagem profunda Geoffrey Hinton e Yoshua Bengio, até CEOs das principais empresas de IA como Sam Altman e Demis Hassabis, até o deputado da Califórnia Ted Lieu com o ex-presidente da Estônia Kersti Kaljulaid.
A afirmação mais contundente assinada por todas essas figuras e muitas outras foi uma declaração de 22 palavras divulgada há duas semanas pelo Centro de Segurança de Inteligência Artificial (CAIS), uma organização de pesquisa com sede em San Francisco, que declarou que “mitigar o risco de extinção colocados pela inteligência artificial Deve ser uma prioridade global, juntamente com outros riscos em escala social, como pandemias e guerra nuclear."
Esta formulação é deliberada. "Se fôssemos usar uma declaração no estilo do teste de Rorschach, diríamos 'risco existencial' porque pode significar muitas coisas para muitas pessoas diferentes", disse Dan Hendrycks, diretor do CAIS. não sobre derrubar a economia. "É por isso que falamos de 'risco de extinção', embora muitos de nós também nos preocupemos com vários outros riscos", disse Hendrycks.
Já estivemos lá antes: a desgraça da IA vem com o hype da IA. Mas desta vez parece diferente. A janela de Overton mudou. O que antes era uma visão extrema agora é mainstream, ganhando as manchetes e a atenção dos líderes mundiais. “As vozes de preocupação com a IA são muito altas para serem ignoradas”, disse Jenna Burrell, diretora de pesquisa da Data and Society, uma organização que estuda o impacto social da tecnologia.
O que aconteceu? A inteligência artificial está realmente se tornando (mais) perigosa? Por que as pessoas que introduziram essa tecnologia em primeiro lugar agora estão começando a soar o alarme?
É certo que essas visões estão divididas no campo. Na semana passada, o cientista-chefe da Meta, Yann LeCun, que dividiu o Prêmio Turing de 2018 com Hinton e Bengio, chamou a teoria do juízo final de “ridícula”. Aidan Gomez, executivo-chefe da empresa de inteligência artificial Cohere, disse que foi "um uso ridículo de nosso tempo".
Da mesma forma, outros zombaram disso. “Não há mais evidências agora do que em 1950 de que a inteligência artificial representará esses riscos existenciais”, disse Meredith Whittaker, presidente da Signal. Whittaker é cofundador e ex-diretor do AI now Institute, que é um laboratório de pesquisa que estuda as implicações políticas da inteligência artificial. "Histórias de fantasmas são contagiosas - estar com medo é realmente excitante e estimulante."
"Também é uma forma de olhar além de tudo o que está acontecendo hoje", disse Burrell. "Isso mostra que não vimos danos reais ou sérios."
Um medo antigo
Preocupações com máquinas descontroladas e autoaperfeiçoadas existem desde Alan Turing. Futuristas como Vernor Vinge e Ray Kurzweil popularizaram essas ideias falando sobre a chamada "Singularidade", uma data hipotética em que a inteligência artificial supera a humana e é dominada pelas máquinas.
Mas no centro dessa preocupação está a questão do controle: se (ou quando) as máquinas ficarem mais inteligentes, como os humanos poderão manter seu domínio? Em um artigo de 2017 intitulado "Como a IA representa um risco existencial?", Karina Vold, filósofa de IA da Universidade de Toronto (que também assinou a declaração do CAIS), apresenta os argumentos básicos por trás dessa preocupação.
O argumento tem três premissas principais. Primeiro, é possível que os humanos criem uma máquina superinteligente que supere todas as outras inteligências. Em segundo lugar, corremos o risco de perder o controle de agentes superinteligentes capazes de nos superar. Em terceiro lugar, existe a possibilidade de um agente superinteligente fazer coisas que não queremos que ele faça.
Juntando tudo isso, é possível criar uma máquina que fará coisas que não queremos que ela faça, inclusive nos destruindo, e não conseguiremos pará-la.
Existem também diferentes casos para este cenário. Quando Hinton levantou suas preocupações sobre a inteligência artificial em maio, ele citou o exemplo de robôs que redirecionam a rede para obter mais poder. Mas a superinteligência (ou AGI) não é necessária. Máquinas estúpidas também podem ser desastrosas se tiverem muito espaço. Muitos cenários envolvem implantações imprudentes ou maliciosas, em vez de bots de autoatendimento.
Em um artigo publicado online na semana passada, os pesquisadores de inteligência artificial Stuart Russell e Andrew Critch, da Universidade da Califórnia, Berkeley (que também assinou a declaração do CAIS) ofereceram uma taxonomia de risco existencial. Esses riscos variam de chatbots de aconselhamento viral que dizem a milhões para abandonar a faculdade, a indústrias autônomas que buscam fins econômicos prejudiciais, a estados-nação que constroem super-armas movidas a IA.
Em muitos casos imaginários, um modelo teórico alcança seus objetivos humanos, mas de uma forma que não é boa para nós. Para Hendrycks, que estuda como os modelos de aprendizado profundo às vezes se comportam de maneiras inesperadas quando recebem entradas não vistas nos dados de treinamento, um sistema de IA pode ser desastroso porque é destrutivo em vez de onipotente. "Se você der um objetivo e encontrar uma solução exótica, isso nos levará a uma jornada estranha", disse ele.
O problema com esses futuros possíveis é que eles dependem de uma série de "ses" que os fazem parecer ficção científica. O próprio Vold admitiu isso. “Como os eventos que constituem ou desencadeiam [riscos existenciais] não têm precedentes, os argumentos de que representam tal ameaça devem ser de natureza teórica”, escreveu ela. “Sua raridade também torna subjetiva qualquer especulação sobre como ou quando tais eventos ocorrem e não podem ser verificados empiricamente”.
Então, por que mais pessoas estão acreditando nessas ideias do que nunca? “Pessoas diferentes falam sobre risco por motivos diferentes, e podem significar isso de maneira diferente”, diz François Chollet, pesquisador de IA do Google. Mas é uma narrativa irresistível: “O risco existencial sempre foi uma boa história”.
"Há um elemento mitológico, quase religioso, que não pode ser ignorado", disse Whittaker. “Acho que precisamos reconhecer que, dado que o que está sendo descrito não tem base de evidências, está mais próximo de uma crença, de um fervor religioso, do que de um discurso científico”.
O Contágio do Juízo Final
Quando os pesquisadores de aprendizagem profunda começaram a alcançar uma série de sucessos - pense em Hinton e seus colegas com pontuação recorde de reconhecimento de imagem na competição ImageNet de 2012 e a primeira vitória AlphaGo da DeepMind sobre um campeão humano em 2015, o hype logo se voltou para dia do juízo final também. Cientistas proeminentes, como Hawking e o cosmólogo Martin Rees, bem como líderes tecnológicos de alto nível, como Elon Musk, soaram o alarme sobre os riscos existenciais. Mas esses personagens não são especialistas em IA.
No palco em San Jose, oito anos atrás, Andrew Ng, pioneiro do aprendizado profundo e então cientista-chefe do Baidu, riu da ideia.
"Em um futuro distante, pode haver uma corrida de robôs matadores", disse Andrew Ng ao público na Nvidia GPU Technology Conference 2015. “Mas não estou tão comprometido hoje em impedir que a inteligência artificial se torne maligna quanto em me preocupar com a superpopulação em Marte.” (As observações de Ng foram relatadas na época pelo site de notícias de tecnologia The Register.)
Andrew Ng, que cofundou o laboratório de inteligência artificial do Google em 2011 e agora é o CEO da Landing AI, repetiu essa frase em entrevistas desde então. Mas agora ele está menos otimista. "Estou mantendo a mente aberta e conversando com algumas pessoas para aprender mais", ele me disse. "Desenvolvimentos rápidos levaram os cientistas a repensar o risco."
Como muitos, Ng expressou preocupação com o rápido desenvolvimento da IA generativa e seu potencial de uso indevido. No mês passado, observou ele, uma imagem amplamente divulgada gerada por IA de uma explosão no Pentágono assustou as pessoas, derrubando o mercado de ações.
“Infelizmente, a IA é tão poderosa que também parece causar grandes problemas”, disse Ng. Mas ele não falou sobre robôs assassinos: "No momento, ainda tenho dificuldade em ver como a inteligência artificial pode levar à nossa extinção".
O que é diferente de antes é a consciência generalizada do que a IA pode fazer. O ChatGPT disponibilizou a tecnologia ao público no final do ano passado. “A IA de repente é um tema quente no mainstream”, disse Chollet. “As pessoas estão levando a inteligência artificial a sério porque veem saltos repentinos na capacidade como um prenúncio de mais saltos por vir”.
Além disso, a experiência de falar com um chatbot pode ser perturbadora. Conversação é algo geralmente entendido como algo que as pessoas fazem com outras pessoas. “Isso acrescenta um senso de legitimidade à ideia de IA ser como um ser humano ou um interlocutor senciente”, disse Whittaker. “Acho que leva as pessoas a acreditar que, se a IA pode simular a comunicação humana, também pode fazer XYZ”.
“É por isso que estou começando a sentir que a conversa sobre risco de sobrevivência é um tanto apropriada – fazer inferências sem evidências”, disse ela.
Esperando ansiosamente
Temos motivos para estar indignados. À medida que os reguladores alcançam a indústria de tecnologia, questões estão sobre a mesa sobre que tipo de atividade deve ou não ser restringida. Destacar os riscos de longo prazo em vez dos danos de curto prazo (como contratação discriminatória ou desinformação) reorienta os reguladores para problemas futuros hipotéticos.
"Suspeito que a ameaça de restrições regulatórias reais tenha impulsionado uma postura", disse Burrell. "Falar sobre risco existencial pode validar as preocupações dos reguladores sem destruir oportunidades de negócios." Ela disse: "IA superinteligente que trai a humanidade. Parece assustador, mas é também claramente algo que ainda não aconteceu."
Exagerar as preocupações com o risco existencial também é bom para os negócios de outras maneiras. Chollet aponta que as principais empresas de IA precisam que pensemos que a AGI está chegando e são elas que a constroem. "Se você quer que as pessoas pensem que aquilo em que você está trabalhando é poderoso, é uma boa ideia deixá-las com medo disso", disse ele.
Whittaker tem uma visão semelhante. “É importante se colocar como o criador de uma entidade que pode ser mais poderosa que os humanos”, disse ela.
Nada disso importa se for apenas marketing ou campanha publicitária. Mas decidir o que é e o que não é um risco tem consequências. Em um mundo de orçamentos limitados e períodos de atenção, ferimentos menos graves do que uma guerra nuclear podem ser negligenciados porque não pensamos que sejam uma prioridade.
“Esta é uma questão importante, especialmente devido ao crescente foco em segurança e proteção como uma estrutura estreita para intervenção política”, disse Sarah Myers West, diretora-gerente do AI Now Institute.
Quando o primeiro-ministro Rishi Sunak se reuniu com os chefes das empresas de IA, incluindo Sam Altman e Demis Hassabis, em maio, o governo do Reino Unido divulgou um comunicado dizendo: "O primeiro-ministro e os CEOs discutiram os riscos da tecnologia, desde desinformação e segurança do estado, até uma ameaça existencial".
Na semana anterior, Altman disse ao Senado dos EUA que sua maior preocupação era que a indústria de IA causasse danos significativos ao mundo. O testemunho de Altman provocou pedidos de um novo tipo de agência para lidar com esse dano sem precedentes.
Com a mudança da janela de Overton, o estrago já foi feito? "Se estamos falando de um futuro distante, se estamos falando de risco mítico, estamos reenquadrando completamente o problema como um problema que existe em um mundo de fantasia, e a solução pode existir em um mundo de fantasia", Whittaker disse.
Mas Whittaker também observou que as discussões sobre políticas em torno da IA vêm ocorrendo há anos, mais do que os temores recentes. "Não acredito em inevitabilidade", disse ela. "Vamos ver o hype combatido. Vai desaparecer."