Тяжелая природа: Эта способность людей была освоена или даже превзойдена искусственным интеллектом

Первоисточник: Academic headlines

Источник изображения: Generated by Unbounded AI

Люди хорошо умеют изучать новые концепции и систематически комбинировать их с существующими концепциями. Например, после того, как ребенок научился прыгать, он может понять, как прыгать назад или вокруг конуса дважды, используя комбинацию навыков.

Эта способность комбинировать старые и новые понятия называется атикическим обобщением.

Ранее два когнитивиста, Джерри Фодор и Зенон Пилишин, утверждали, что искусственные нейронные сети лишены этой способности и поэтому не подходят в качестве надежных моделей человеческого познания. **

Однако новое исследование, опубликованное в журнале Nature, ставит под сомнение эту идею, которая существует уже 35 лет.

** В исследовании Бренден Лейк, доцент психологии и науки о данных в Нью-Йоркском университете, и Марко Барони, профессор Каталонского института в Испании (ICREA), предложили нейронную сеть со способностью к обобщению, аналогичному человеческим системам. **

В частности, исследовательская группа использовала подход «комбинаторного метаобучения (MLC)» для оптимизации организационных возможностей. Сравнивая людей и нейронные сети бок о бок, они обнаружили, что MLC освоил, а иногда даже превзошел способность обобщать человекоподобные системы. Кроме того, MLC улучшила комбинированные навыки систем машинного обучения в нескольких тестах систематического обобщения.

Такой подход позволяет машинам взаимодействовать с людьми более естественно, даже лучше, чем лучшие системы искусственного интеллекта, доступные на сегодняшний день. В то время как системы, основанные на больших языковых моделях (LLM), такие как ChatGPT, хорошо работают во многих случаях, они демонстрируют значительные недостатки и несоответствия в других.

Соответствующая статья, озаглавленная «Человекоподобное атическое обобщение с помощью метаобучающей нейронной сети», была опубликована в авторитетном научном журнале Nature.

Исследовательская группа заявила, что, хотя методы метаобучения не могут позволить нейронной сети обобщать для задач, отличных от обучения, их результаты могут помочь разработать ИИ, который будет вести себя больше как человеческий мозг в будущем.

Достижение или даже превышение человеческого уровня

В этом исследовании в MLC-подходе использовались только обычные нейронные сети, без добавления символьных механизмов, искусственно созданных внутренних представлений или индуктивных смещений.

Чтобы продемонстрировать возможности MLC, исследователи оценивали людей и машины параллельно в одном и том же тесте систематического обобщения. В частности, они использовали учебные задания на псевдоязыке для изучения способности людей и машин изучать системы структурированной алгебры, а также для оценки систематического обобщения человека путем обучения с небольшим количеством выборок. **

Архитектура MLC (Источник: Статья)

Чтобы изучить индуктивные предубеждения у людей и то, как эти предубеждения способствуют или препятствуют систематическому обобщению, исследователи проводили оценку, изучая очень неоднозначный язык. В этих оценках MLC превосходно достигают (или даже превосходят) систематических обобщений на человеческом уровне. **

Кроме того, MLC демонстрирует схожую с человеком картину ошибок как в чисто алгебраических рассуждениях, так и в моделировании сложного комбинаторного поведения человека, что показывает, что нейронные сети не только обладают отличными возможностями моделирования, но и хорошо работают при моделировании сложного поведения человека.

Кроме того, исследовательская группа экспериментировала с двумя широко используемыми тестами, SCAN11 и COGS16, чтобы сосредоточиться на эффективности MLC в систематическом лексическом обобщении, в частности, в работе с новыми словами и словосочетаниями (а не только с новыми структурами предложений). ** Результаты показывают, что в дополнение к превосходству в прогнозировании человеческого поведения, MLC имеет частоту ошибок менее 1% в тесте систематического обобщения для машинного обучения. **

Исследование показывает, как, благодаря своим превосходным комбинаторным навыкам, MLC позволяет оптимизированной стандартной нейронной сети имитировать или даже превосходить производительность человека в систематическом обобщении, тем самым демонстрируя более сильную систематизацию в сравнении. MLC демонстрирует более тонкое поведение, чем нейронные сети, обученные стандартными способами. Кроме того, MLC позволяет нейронным сетям решать другие известные проблемы, такие как систематическое использование изолированных примитивов и использование мьютексов для вывода смысла.

Надеюсь, решит более широкую проблему

** Несмотря на некоторые успехи с MLC, он не решает всех проблем. Например, MLC не может автоматически работать с непрактикуемыми обобщенными формами или концепциями, находящимися за пределами распределения метаобучения. Более того, он не может обобщать на свое неоптимизированное индуктивное смещение.

В контексте машинного обучения стратегии метаобучения успешны, когда обобщение делает новые эпизоды распределенными относительно обучающего графика, даже если конкретный тестовый элемент не распределен относительно исследовательских примеров на графике. Тем не менее, опора только на метаобучение не позволяет стандартным сетям обобщать эпизоды, которые не распространяются по сравнению с эпизодами, представленными во время метаобучения. В современных архитектурах также отсутствует механизм выдачи новых символов, хотя новые символы, введенные в примерах исследования, могут быть введены с помощью дополнительного механизма указателя.

В контексте машинного обучения стратегии метаобучения успешны, когда новые сценарии равномерно распределены относительно сценариев обучения. Однако опора исключительно на метаобучение не позволяет стандартным нейронным сетям обобщать распределения за пределами сценария обучения. Также в текущей архитектуре отсутствует механизм генерации новых символов.

Наконец, MLC не был протестирован на всю сложность естественного языка и других модальностей. Поэтому еще предстоит определить, сможет ли она достичь человекоподобной систематизации во всех аспектах и на основе реального опыта обучения.

Тем не менее, ожидается, что исследование поможет MLC решить более широкий круг вопросов. Например, магистр права может выполнять специализированное метаобучение, оптимизируя свои комбинаторные навыки, чередуя стандартное обучение (например, предсказание следующего слова) и постоянно вводя новую лексику.

Наконец, авторы заявляют в статье: «Хотя применение MLC в каждой области является долгосрочным проектом, мы видим реальные перспективы в понимании истоков комбинаторных навыков человека и в том, чтобы современные системы ИИ вели себя более похоже на человеческое». **"