Источник: Обзор технологий Массачусетского технологического института.
Источник изображения: сгенерировано инструментом Unbounded AI
Кто боится роботов? Кажется, что многие люди такие. В настоящее время количество видных деятелей, делающих публичные заявления или подписывающих открытые письма, предупреждающие о катастрофической опасности искусственного интеллекта, ошеломляет.
Высказались сотни ученых, бизнес-лидеров и политиков, от пионеров глубокого обучения Джеффри Хинтона и Йошуа Бенжио до генеральных директоров ведущих компаний ИИ, таких как Сэм Альтман и Демис Хассабис, до члена палаты представителей от Калифорнии Теда Лью с бывшим президентом Эстонии Керсти Кальюлайд.
Самым решительным утверждением, подписанным всеми этими и многими другими фигурами, было заявление из 22 слов, опубликованное две недели назад Центром безопасности искусственного интеллекта (CAIS), исследовательской организацией из Сан-Франциско, в котором говорилось, что «снижение риска вымирания созданный искусственным интеллектом. Это должно быть глобальным приоритетом, наряду с другими рисками социального масштаба, такими как пандемии и ядерная война».
Эта формулировка является преднамеренной. «Если бы мы собирались использовать утверждение в стиле теста Роршаха, мы бы сказали «экзистенциальный риск», потому что это может означать многое для разных людей», — сказал директор CAIS Дэн Хендрикс. не об обрушении экономики. «Вот почему мы говорим о «риске исчезновения», хотя многие из нас беспокоятся и о других рисках», — сказал Хендрикс.
Мы уже сталкивались с этим раньше: гибель ИИ связана с шумихой вокруг ИИ. Но на этот раз ощущения другие. Окно Овертона сместилось. То, что когда-то было крайним взглядом, теперь стало мейнстримом, привлекая внимание заголовков и мировых лидеров. «Голоса обеспокоенности по поводу ИИ слишком громки, чтобы их игнорировать», — сказала Дженна Баррелл, директор по исследованиям Data and Society, организации, изучающей социальное влияние технологий.
Что случилось? Действительно ли искусственный интеллект становится (более) опасным? Почему люди, впервые внедрившие эту технологию, теперь начинают бить тревогу?
По общему признанию, эти взгляды разделились в этой области. На прошлой неделе главный научный сотрудник Meta Янн ЛеКун, который разделил премию Тьюринга 2018 года с Хинтоном и Бенжио, назвал теорию конца света «смехотворной». Эйдан Гомес, исполнительный директор компании Cohere, занимающейся искусственным интеллектом, сказал, что это «нелепое использование нашего времени».
Точно так же другие смеялись над этим. «Сейчас нет больше доказательств того, что искусственный интеллект будет представлять эти экзистенциальные риски, чем в 1950 году», — сказала Мередит Уиттакер, президент Signal, соучредитель и бывший директор Института искусственного интеллекта, который является исследовательской лабораторией. который изучает политические последствия искусственного интеллекта. «Истории о привидениях заразительны — быть напуганным — это действительно волнующе и стимулирующе».
«Это также способ не обращать внимания на все, что происходит сегодня», — сказал Баррелл. «Это показывает, что мы не видели реального или серьезного вреда».
Древний страх
Беспокойство по поводу безудержных самосовершенствующихся машин существовало со времен Алана Тьюринга. Такие футурологи, как Вернор Виндж и Рэй Курцвейл, популяризировали эти идеи, говоря о так называемой «сингулярности» — гипотетической дате, когда искусственный интеллект превзойдет человеческий и будет захвачен машинами.
Но в основе этого беспокойства лежит вопрос контроля: если (или когда) машины станут умнее, как люди смогут сохранить свое господство? В статье 2017 года под названием «Как ИИ представляет экзистенциальный риск?» Карина Волд, философ ИИ из Университета Торонто (которая также подписала заявление CAIS), излагает основные аргументы, лежащие в основе этой озабоченности.
Аргумент состоит из трех ключевых предпосылок. Во-первых, люди могут создать сверхразумную машину, превосходящую все остальные виды интеллекта. Во-вторых, мы рискуем потерять контроль над сверхразумными агентами, способными превзойти нас. В-третьих, существует вероятность того, что сверхразумный агент будет делать то, чего мы не хотим.
Собрав все это вместе, можно создать машину, которая будет делать то, чего мы не хотим, в том числе уничтожать нас, и мы не сможем ее остановить.
Существуют также различные случаи для этого сценария. Когда в мае Хинтон выразил обеспокоенность по поводу искусственного интеллекта, он привел пример роботов, перенаправляющих сеть, чтобы получить больше энергии. Но сверхразум (или ОИИ) не нужен. Глупые машины также могут быть катастрофическими, если у них слишком много места. Многие сценарии связаны с безрассудным или злонамеренным развертыванием, а не с самообслуживающими ботами.
В статье, опубликованной в Интернете на прошлой неделе, исследователи искусственного интеллекта Стюарт Рассел и Эндрю Крич из Калифорнийского университета в Беркли (которые также подписали заявление CAIS) предлагают таксономию экзистенциального риска. Эти риски варьируются от вирусных чат-ботов, дающих советы миллионам людей бросить колледж, до автономных отраслей, преследующих вредные экономические цели, до национальных государств, создающих супероружие на базе ИИ.
Во многих воображаемых случаях теоретическая модель достигает своих целей, поставленных людьми, но способом, который нам не подходит. Для Хендрикса, который изучает, как модели глубокого обучения иногда ведут себя неожиданным образом, когда им вводятся входные данные, не видимые в обучающих данных, система ИИ может иметь катастрофические последствия, потому что она разрушительна, а не всемогуща. «Если поставить перед ней цель и найти экзотическое решение, мы отправимся в странное путешествие», — сказал он.
Проблема с этими возможными вариантами будущего заключается в том, что они опираются на ряд «если», из-за чего они звучат как научная фантастика. В этом признался и сам Волд. «Поскольку события, которые создают или вызывают [экзистенциальные риски], беспрецедентны, аргументы в пользу того, что они представляют такую угрозу, должны носить теоретический характер», — написала она. «Их редкость также делает любые предположения о том, как и когда происходят такие события, субъективными и не могут быть проверены эмпирически».
Так почему же больше людей верят в эти идеи, чем когда-либо прежде? «Разные люди говорят о риске по разным причинам и могут понимать его по-разному, — говорит Франсуа Шолле, исследователь ИИ в Google, — но это неотразимый нарратив: «Экзистенциальный риск всегда был хорошей историей».
«В этом есть мифологический, почти религиозный элемент, который нельзя игнорировать», — сказал Уиттакер. «Я думаю, мы должны признать, что, учитывая, что то, что описывается, не имеет доказательной базы, это больше похоже на веру, религиозный пыл, чем на научный дискурс».
Заражение судного дня
Когда исследователи глубокого обучения впервые начали добиваться ряда успехов — вспомните рекорд Хинтона и его коллег по распознаванию изображений на конкурсе ImageNet в 2012 году и первую победу DeepMind в AlphaGo над чемпионом среди людей в 2015 году, ажиотаж вскоре превратился в судный день тоже. Выдающиеся ученые, такие как Хокинг и космолог Мартин Рис, а также высокопоставленные технологические лидеры, такие как Илон Маск, забили тревогу по поводу экзистенциальных рисков. Но эти персонажи не являются экспертами по искусственному интеллекту.
Стоя на сцене в Сан-Хосе восемь лет назад, Эндрю Нг, пионер глубокого обучения, а затем главный научный сотрудник Baidu, посмеялся над этой идеей.
«В далеком будущем может начаться гонка роботов-убийц», — сказал Эндрю Нг аудитории на конференции Nvidia GPU Technology Conference 2015. «Но сегодня я не так привержен предотвращению превращения искусственного интеллекта во зло, как беспокоюсь о перенаселении Марса» (замечания Нг были опубликованы в то время сайтом технических новостей The Register).
Эндрю Нг, который в 2011 году стал соучредителем лаборатории искусственного интеллекта Google, а сейчас является генеральным директором Landing AI, с тех пор повторял эту фразу в интервью. Но сейчас он менее оптимистичен. «Я сохраняю непредвзятость и разговариваю с несколькими людьми, чтобы узнать больше», — сказал он мне. «Быстрые события заставили ученых переосмыслить риск».
Как и многие другие, Нг выразил обеспокоенность по поводу быстрого развития генеративного ИИ и возможности его неправильного использования. В прошлом месяце, отметил он, широко распространенное ИИ изображение взрыва в Пентагоне напугало людей и привело к падению фондового рынка.
«К сожалению, ИИ настолько мощен, что может вызвать огромные проблемы», — сказал Нг. Но он не говорил о роботах-убийцах: «Сейчас мне все еще трудно понять, как искусственный интеллект может привести к нашему вымиранию».
Что отличается от прежнего, так это широкое понимание того, на что способен ИИ. ChatGPT сделал технологию общедоступной в конце прошлого года. «Искусственный интеллект внезапно стал горячей темой в мейнстриме, — сказал Шолле. «Люди серьезно относятся к искусственному интеллекту, потому что они видят внезапные скачки в возможностях как предвестник новых скачков».
Кроме того, опыт общения с чат-ботом может вызывать беспокойство. Разговор — это то, что обычно понимается как то, что люди делают с другими людьми. «Это добавляет легитимности идее о том, что ИИ подобен человеку или разумному собеседнику, — сказал Уиттекер.
«Вот почему я начинаю чувствовать, что разговор о риске для выживания в какой-то степени уместен — делать выводы без доказательств», — сказала она.
С нетерпением жду
У нас есть повод возмутиться. Поскольку регулирующие органы догоняют технологическую отрасль, возникают вопросы о том, какую деятельность следует или не следует ограничивать. Выделение долгосрочных рисков, а не краткосрочного вреда (например, дискриминационного найма или дезинформации) переориентирует регулирующие органы на гипотетические будущие проблемы.
"Я подозреваю, что на определенную позицию повлияла угроза реальных регуляторных ограничений, — сказала Баррелл. — Разговоры о экзистенциальном риске могут подтвердить опасения регулирующих органов, не разрушая при этом возможности для бизнеса". явно что-то, чего еще не было».
Преувеличение опасений по поводу экзистенциального риска также полезно для бизнеса в других отношениях. Шолле отмечает, что ведущим компаниям, занимающимся искусственным интеллектом, нужно, чтобы мы думали о грядущем ОИИ, и именно они его создают. «Если вы хотите, чтобы люди думали, что то, над чем вы работаете, является мощным, было бы неплохо заставить их бояться этого», — сказал он.
Уиттакер придерживается аналогичной точки зрения. «Важно представить себя создателем сущности, которая может быть более могущественной, чем люди», — сказала она.
Ничего из этого не имеет значения, если это просто маркетинг или шумиха. Но решение о том, что является риском, а что нет, имеет последствия. В мире с ограниченным бюджетом и ограниченным вниманием травмы, менее серьезные, чем ядерная война, могут быть упущены из виду, потому что мы не думаем, что они являются приоритетом.
«Это важный вопрос, особенно с учетом растущего внимания к безопасности и защищенности как узкой основе для политического вмешательства», — сказала Сара Майерс Уэст, управляющий директор AI Now Institute.
Когда в мае премьер-министр Риши Сунак встретился с главами компаний, занимающихся искусственным интеллектом, включая Сэма Альтмана и Демиса Хассабиса, правительство Великобритании опубликовало заявление, в котором говорилось: «Премьер-министр и руководители обсудили риски технологии, от дезинформации и государственной безопасности до экзистенциальная угроза».
За неделю до этого Альтман сказал Сенату США, что его больше всего беспокоит то, что индустрия ИИ нанесет значительный вред миру. Показания Альтмана вызвали призывы к созданию агентства нового типа для устранения этого беспрецедентного вреда.
Был ли нанесен ущерб сдвигом окна Овертона? «Если мы говорим об отдаленном будущем, если мы говорим о мифическом риске, то мы полностью переформулируем проблему как проблему, которая существует в мире фантазий, и решение может существовать в мире фантазий», — Уиттекер. сказал .
Но Уиттакер также отметил, что политические дискуссии вокруг ИИ ведутся уже много лет, дольше, чем недавние опасения. «Я не верю в неизбежность, — сказала она. «Мы увидим, как шумихе противодействуют. Она исчезнет».
Посмотреть Оригинал
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
MIT Technology Review: как экзистенциальный риск стал самым большим мемом в ИИ
Сценарист: Уилл Дуглас Хэвен
Источник: Обзор технологий Массачусетского технологического института.
Кто боится роботов? Кажется, что многие люди такие. В настоящее время количество видных деятелей, делающих публичные заявления или подписывающих открытые письма, предупреждающие о катастрофической опасности искусственного интеллекта, ошеломляет.
Высказались сотни ученых, бизнес-лидеров и политиков, от пионеров глубокого обучения Джеффри Хинтона и Йошуа Бенжио до генеральных директоров ведущих компаний ИИ, таких как Сэм Альтман и Демис Хассабис, до члена палаты представителей от Калифорнии Теда Лью с бывшим президентом Эстонии Керсти Кальюлайд.
Самым решительным утверждением, подписанным всеми этими и многими другими фигурами, было заявление из 22 слов, опубликованное две недели назад Центром безопасности искусственного интеллекта (CAIS), исследовательской организацией из Сан-Франциско, в котором говорилось, что «снижение риска вымирания созданный искусственным интеллектом. Это должно быть глобальным приоритетом, наряду с другими рисками социального масштаба, такими как пандемии и ядерная война».
Эта формулировка является преднамеренной. «Если бы мы собирались использовать утверждение в стиле теста Роршаха, мы бы сказали «экзистенциальный риск», потому что это может означать многое для разных людей», — сказал директор CAIS Дэн Хендрикс. не об обрушении экономики. «Вот почему мы говорим о «риске исчезновения», хотя многие из нас беспокоятся и о других рисках», — сказал Хендрикс.
Мы уже сталкивались с этим раньше: гибель ИИ связана с шумихой вокруг ИИ. Но на этот раз ощущения другие. Окно Овертона сместилось. То, что когда-то было крайним взглядом, теперь стало мейнстримом, привлекая внимание заголовков и мировых лидеров. «Голоса обеспокоенности по поводу ИИ слишком громки, чтобы их игнорировать», — сказала Дженна Баррелл, директор по исследованиям Data and Society, организации, изучающей социальное влияние технологий.
Что случилось? Действительно ли искусственный интеллект становится (более) опасным? Почему люди, впервые внедрившие эту технологию, теперь начинают бить тревогу?
По общему признанию, эти взгляды разделились в этой области. На прошлой неделе главный научный сотрудник Meta Янн ЛеКун, который разделил премию Тьюринга 2018 года с Хинтоном и Бенжио, назвал теорию конца света «смехотворной». Эйдан Гомес, исполнительный директор компании Cohere, занимающейся искусственным интеллектом, сказал, что это «нелепое использование нашего времени».
Точно так же другие смеялись над этим. «Сейчас нет больше доказательств того, что искусственный интеллект будет представлять эти экзистенциальные риски, чем в 1950 году», — сказала Мередит Уиттакер, президент Signal, соучредитель и бывший директор Института искусственного интеллекта, который является исследовательской лабораторией. который изучает политические последствия искусственного интеллекта. «Истории о привидениях заразительны — быть напуганным — это действительно волнующе и стимулирующе».
«Это также способ не обращать внимания на все, что происходит сегодня», — сказал Баррелл. «Это показывает, что мы не видели реального или серьезного вреда».
Древний страх
Беспокойство по поводу безудержных самосовершенствующихся машин существовало со времен Алана Тьюринга. Такие футурологи, как Вернор Виндж и Рэй Курцвейл, популяризировали эти идеи, говоря о так называемой «сингулярности» — гипотетической дате, когда искусственный интеллект превзойдет человеческий и будет захвачен машинами.
Но в основе этого беспокойства лежит вопрос контроля: если (или когда) машины станут умнее, как люди смогут сохранить свое господство? В статье 2017 года под названием «Как ИИ представляет экзистенциальный риск?» Карина Волд, философ ИИ из Университета Торонто (которая также подписала заявление CAIS), излагает основные аргументы, лежащие в основе этой озабоченности.
Аргумент состоит из трех ключевых предпосылок. Во-первых, люди могут создать сверхразумную машину, превосходящую все остальные виды интеллекта. Во-вторых, мы рискуем потерять контроль над сверхразумными агентами, способными превзойти нас. В-третьих, существует вероятность того, что сверхразумный агент будет делать то, чего мы не хотим.
Собрав все это вместе, можно создать машину, которая будет делать то, чего мы не хотим, в том числе уничтожать нас, и мы не сможем ее остановить.
Существуют также различные случаи для этого сценария. Когда в мае Хинтон выразил обеспокоенность по поводу искусственного интеллекта, он привел пример роботов, перенаправляющих сеть, чтобы получить больше энергии. Но сверхразум (или ОИИ) не нужен. Глупые машины также могут быть катастрофическими, если у них слишком много места. Многие сценарии связаны с безрассудным или злонамеренным развертыванием, а не с самообслуживающими ботами.
В статье, опубликованной в Интернете на прошлой неделе, исследователи искусственного интеллекта Стюарт Рассел и Эндрю Крич из Калифорнийского университета в Беркли (которые также подписали заявление CAIS) предлагают таксономию экзистенциального риска. Эти риски варьируются от вирусных чат-ботов, дающих советы миллионам людей бросить колледж, до автономных отраслей, преследующих вредные экономические цели, до национальных государств, создающих супероружие на базе ИИ.
Во многих воображаемых случаях теоретическая модель достигает своих целей, поставленных людьми, но способом, который нам не подходит. Для Хендрикса, который изучает, как модели глубокого обучения иногда ведут себя неожиданным образом, когда им вводятся входные данные, не видимые в обучающих данных, система ИИ может иметь катастрофические последствия, потому что она разрушительна, а не всемогуща. «Если поставить перед ней цель и найти экзотическое решение, мы отправимся в странное путешествие», — сказал он.
Проблема с этими возможными вариантами будущего заключается в том, что они опираются на ряд «если», из-за чего они звучат как научная фантастика. В этом признался и сам Волд. «Поскольку события, которые создают или вызывают [экзистенциальные риски], беспрецедентны, аргументы в пользу того, что они представляют такую угрозу, должны носить теоретический характер», — написала она. «Их редкость также делает любые предположения о том, как и когда происходят такие события, субъективными и не могут быть проверены эмпирически».
Так почему же больше людей верят в эти идеи, чем когда-либо прежде? «Разные люди говорят о риске по разным причинам и могут понимать его по-разному, — говорит Франсуа Шолле, исследователь ИИ в Google, — но это неотразимый нарратив: «Экзистенциальный риск всегда был хорошей историей».
«В этом есть мифологический, почти религиозный элемент, который нельзя игнорировать», — сказал Уиттакер. «Я думаю, мы должны признать, что, учитывая, что то, что описывается, не имеет доказательной базы, это больше похоже на веру, религиозный пыл, чем на научный дискурс».
Заражение судного дня
Когда исследователи глубокого обучения впервые начали добиваться ряда успехов — вспомните рекорд Хинтона и его коллег по распознаванию изображений на конкурсе ImageNet в 2012 году и первую победу DeepMind в AlphaGo над чемпионом среди людей в 2015 году, ажиотаж вскоре превратился в судный день тоже. Выдающиеся ученые, такие как Хокинг и космолог Мартин Рис, а также высокопоставленные технологические лидеры, такие как Илон Маск, забили тревогу по поводу экзистенциальных рисков. Но эти персонажи не являются экспертами по искусственному интеллекту.
Стоя на сцене в Сан-Хосе восемь лет назад, Эндрю Нг, пионер глубокого обучения, а затем главный научный сотрудник Baidu, посмеялся над этой идеей.
«В далеком будущем может начаться гонка роботов-убийц», — сказал Эндрю Нг аудитории на конференции Nvidia GPU Technology Conference 2015. «Но сегодня я не так привержен предотвращению превращения искусственного интеллекта во зло, как беспокоюсь о перенаселении Марса» (замечания Нг были опубликованы в то время сайтом технических новостей The Register).
Эндрю Нг, который в 2011 году стал соучредителем лаборатории искусственного интеллекта Google, а сейчас является генеральным директором Landing AI, с тех пор повторял эту фразу в интервью. Но сейчас он менее оптимистичен. «Я сохраняю непредвзятость и разговариваю с несколькими людьми, чтобы узнать больше», — сказал он мне. «Быстрые события заставили ученых переосмыслить риск».
Как и многие другие, Нг выразил обеспокоенность по поводу быстрого развития генеративного ИИ и возможности его неправильного использования. В прошлом месяце, отметил он, широко распространенное ИИ изображение взрыва в Пентагоне напугало людей и привело к падению фондового рынка.
«К сожалению, ИИ настолько мощен, что может вызвать огромные проблемы», — сказал Нг. Но он не говорил о роботах-убийцах: «Сейчас мне все еще трудно понять, как искусственный интеллект может привести к нашему вымиранию».
Что отличается от прежнего, так это широкое понимание того, на что способен ИИ. ChatGPT сделал технологию общедоступной в конце прошлого года. «Искусственный интеллект внезапно стал горячей темой в мейнстриме, — сказал Шолле. «Люди серьезно относятся к искусственному интеллекту, потому что они видят внезапные скачки в возможностях как предвестник новых скачков».
Кроме того, опыт общения с чат-ботом может вызывать беспокойство. Разговор — это то, что обычно понимается как то, что люди делают с другими людьми. «Это добавляет легитимности идее о том, что ИИ подобен человеку или разумному собеседнику, — сказал Уиттекер.
«Вот почему я начинаю чувствовать, что разговор о риске для выживания в какой-то степени уместен — делать выводы без доказательств», — сказала она.
С нетерпением жду
У нас есть повод возмутиться. Поскольку регулирующие органы догоняют технологическую отрасль, возникают вопросы о том, какую деятельность следует или не следует ограничивать. Выделение долгосрочных рисков, а не краткосрочного вреда (например, дискриминационного найма или дезинформации) переориентирует регулирующие органы на гипотетические будущие проблемы.
"Я подозреваю, что на определенную позицию повлияла угроза реальных регуляторных ограничений, — сказала Баррелл. — Разговоры о экзистенциальном риске могут подтвердить опасения регулирующих органов, не разрушая при этом возможности для бизнеса". явно что-то, чего еще не было».
Преувеличение опасений по поводу экзистенциального риска также полезно для бизнеса в других отношениях. Шолле отмечает, что ведущим компаниям, занимающимся искусственным интеллектом, нужно, чтобы мы думали о грядущем ОИИ, и именно они его создают. «Если вы хотите, чтобы люди думали, что то, над чем вы работаете, является мощным, было бы неплохо заставить их бояться этого», — сказал он.
Уиттакер придерживается аналогичной точки зрения. «Важно представить себя создателем сущности, которая может быть более могущественной, чем люди», — сказала она.
Ничего из этого не имеет значения, если это просто маркетинг или шумиха. Но решение о том, что является риском, а что нет, имеет последствия. В мире с ограниченным бюджетом и ограниченным вниманием травмы, менее серьезные, чем ядерная война, могут быть упущены из виду, потому что мы не думаем, что они являются приоритетом.
«Это важный вопрос, особенно с учетом растущего внимания к безопасности и защищенности как узкой основе для политического вмешательства», — сказала Сара Майерс Уэст, управляющий директор AI Now Institute.
Когда в мае премьер-министр Риши Сунак встретился с главами компаний, занимающихся искусственным интеллектом, включая Сэма Альтмана и Демиса Хассабиса, правительство Великобритании опубликовало заявление, в котором говорилось: «Премьер-министр и руководители обсудили риски технологии, от дезинформации и государственной безопасности до экзистенциальная угроза».
За неделю до этого Альтман сказал Сенату США, что его больше всего беспокоит то, что индустрия ИИ нанесет значительный вред миру. Показания Альтмана вызвали призывы к созданию агентства нового типа для устранения этого беспрецедентного вреда.
Был ли нанесен ущерб сдвигом окна Овертона? «Если мы говорим об отдаленном будущем, если мы говорим о мифическом риске, то мы полностью переформулируем проблему как проблему, которая существует в мире фантазий, и решение может существовать в мире фантазий», — Уиттекер. сказал .
Но Уиттакер также отметил, что политические дискуссии вокруг ИИ ведутся уже много лет, дольше, чем недавние опасения. «Я не верю в неизбежность, — сказала она. «Мы увидим, как шумихе противодействуют. Она исчезнет».