Не называйте меня программистом, я «инженер искусственного интеллекта», Маск: Начинайте программировать на естественном языке

Источник: Сердце машины

**Профессия с самым высоким спросом в ближайшие десять лет — «инженер ИИ»? **

После появления ChatGPT люди предсказывали, что «все отрасли будут преобразованы ИИ», некоторые рабочие места будут заменены, а некоторые изменят свою форму. Какой будет их карьера программистов, создающих ИИ?

В последнее время, кажется, что-то идет не так. Группа инженеров и ученых назвала концепцию «ИИ-инженер» и получила множество откликов:

Из-за обобщения и мощных возможностей больших языковых моделей, таких как GPT-4, способ нашей работы вскоре может измениться на работу с ИИ, и идти в ногу с темпами искусственного интеллекта — это само по себе работа на полную ставку.

Говорят, что этот «инженер искусственного интеллекта» находится между инженером полного стека и инженером по машинному обучению, занимая часть инженера по бэкэнду и сосредоточившись на построении больших моделей. Сейчас он все еще находится в стадии определения, но, судя по горячим обсуждениям, он не должен быть далек от приземления, ведь скорость революции ChatGPT так высока.

Как только появилась идея, ее быстро прокомментировали большие профессионалы в области ИИ. С ним согласен Андрей Карпати, ученый OpenAI и бывший глава отдела искусственного интеллекта и автономного вождения в Tesla. «Большие модели создают совершенно новый уровень абстракции и специализации, до сих пор я называл это «инженерами-подсказками», но теперь это не просто вопрос подсказок».

Кроме того, он выделил четыре основных момента:

• Прошлые работы по машинному обучению обычно включали алгоритмы обучения с нуля, и результаты, как правило, имели ограниченную производительность.
• Обучение крупномасштабным моделям сильно отличается от традиционного машинного обучения.Прежняя система имеет большую рабочую нагрузку, а новая роль была разделена, чтобы сосредоточиться на крупномасштабном обучении Transformer на суперкомпьютерах.
• Численно количество инженеров ИИ может быть намного больше, чем инженеров по машинному обучению / инженеров по крупным моделям.
• Вам не нужно какое-либо обучение, чтобы быть успешным в этой роли.

Прочитав его, Маск также сказал:

Позиция востребованная, важная и с низкими входными барьерами, кажется интересной и тревожной.

В ходе обсуждения некоторые люди также предлагали в качестве кандидатов такие имена, как «когнитивный инженер» и «инженер по системам искусственного интеллекта».Ученый Nvidia по искусственному интеллекту Джим Фан считает, что эту новую профессию следует называть «неградиентным инженером» — от традиционных инструментов 1.0 до нейронной сети 2.0, а затем до 3.0 без градиентной архитектуры, мы, наконец, дождались версии 4.0 серии самообучения GPT.

В связи с этим Себастьян Рашка, доцент Университета Висконсина, сказал, что это подходит только для ассистентов общего профиля, а для большинства предприятий «генерал» не нужен.

Приведено много названий и определений, давайте разберемся, что это за должность этот «ИИ-инженер»?

Мы являемся свидетелями происходящего раз в десятилетие сдвига в прикладном ИИ, подпитываемого прорывными возможностями фундаментальных моделей и больших моделей и API с открытым исходным кодом.

Задачи ИИ, на выполнение которых в 2013 году ушло пять лет и исследовательская группа, теперь требуют только API, документации и свободного дня в 2023 году.

Тем не менее, разница заключается в деталях — проблемы применения и производства ИИ безграничны:

• На модели есть от самых больших моделей GPT-4 и Claude, до открытых Huggingface, LLaMA и других моделей;
• Инструменты, от самых популярных инструментов связывания, извлечения и векторного поиска (таких как LangChain, LlamaIndex и Pinecone) до новой области автономных агентов (таких как Auto-GPT и BabyAGI);
• Технически количество новых документов, моделей и методов, представляемых каждый день, росло в геометрической прогрессии с интересом и финансированием, до такой степени, что понимание всего этого стало почти работой на полный рабочий день.

Если к этой ситуации отнестись серьезно, то ее следует рассматривать как работу на полный рабочий день. В результате разработка программного обеспечения породит новую поддисциплину, посвященную применению искусственного интеллекта и эффективно использующую появляющийся стек, например, «инженеры по надежности сайта» (SRE), «инженеры DevOps», «инженеры данных» и т. д. появление «инженеров-аналитиков».

Совершенно новая (и наименее удивительная) версия этой роли выглядит так: инженер по искусственному интеллекту.

Мы знаем, что у каждого стартапа есть какой-то канал Slack для обсуждения использования ИИ, и вскоре эти каналы перейдут от неформальных групп к формальным командам. Тысячи инженеров-программистов в настоящее время работают над созданием API-интерфейсов ИИ и моделей OSS, будь то в рабочее время, по вечерам и в выходные дни, в корпоративных Slacks или независимых Discord, все они профессиональны и централизованы под одним названием: инженер ИИ.

Вероятно, это будет самая востребованная инженерная профессия в следующем десятилетии.

Инженеров по искусственному интеллекту можно найти повсюду: от технологических гигантов, таких как Microsoft и Google, до ведущих стартапов, таких как Figma, Vercel и Notion, до независимых разработчиков, таких как Саймон Уиллисон, Питер Левелс и Райли Гудсайд. Они зарабатывают 300 000 долларов в год за свою инженерную практику в Anthropic и 900 000 долларов в год за создание программного обеспечения в OpenAI. Они проводят свободные выходные, обдумывая идеи в AGI House и делясь советами в сабреддите /r/LocalLLaMA на Reddit.

Что их всех объединяет, так это способность превращать достижения в области искусственного интеллекта в практические продукты, используемые миллионами людей практически за одну ночь. И в нем вы не видите звания доктора философии. При разработке продуктов ИИ вам нужны инженеры, а не исследователи.

Большая противоположность инженеров ИИ и инженеров машинного обучения

Набор данных на веб-сайте Indeed показывает, что количество должностей для инженеров по машинному обучению в 10 раз больше, чем для инженеров по ИИ, но для сравнения темпы роста в области ИИ выше, и прогнозируется, что это пропорция будет в течение пяти лет.Происходит инверсия, и инженеров AI будет во много раз больше, чем инженеров ML.

HN Who's Hiring (ежемесячная публикация в Hacker News, которая предоставляет работодателям платформу для размещения объявлений о вакансиях) Ежемесячные тенденции занятости по категориям

Споры о различиях между ИИ и МО были бесконечными, но осторожными. Мы также знаем, что программное обеспечение ИИ может быть создано обычными инженерами-программистами. Однако в последнее время дискуссии вращались вокруг другого вопроса, а именно: популярная ветка на Hacker News «Как попасть в инженерию ИИ» вызвала широкий интерес. Этот популярный пост также иллюстрирует основные ограничивающие принципы, которые все еще существуют на рынке. между каждой позицией все еще очень хорошо.

*Скриншот публикации в Hacker News за июнь 2023 года: ответы с наибольшим количеством голосов «Как попасть в инженерию ИИ». *

До сих пор многие люди думали об инженерии ИИ как о форме инженерии машинного обучения или инженерии данных, поэтому, когда кто-то спрашивает, как попасть в какую-либо область, они, как правило, рекомендуют те же предварительные условия, что и в ответах выше. Многие люди рекомендуют Coursera Эндрю Нг. курс. Но ни один из этих эффективных ИИ-инженеров не прошел курс Ву Энды на Coursera, они не знакомы с PyTorch и не знают разницы между Data Lake (Озеро данных) и Data Warehouse (Хранилище данных).

В ближайшем будущем никто не предложит вам начать изучать разработку искусственного интеллекта, прочитав статью Transformer «Внимание — это все, что вам нужно», точно так же, как вы не начнете учиться вождению с чтения чертежей Ford Model T. Конечно, полезно понимать основы и историческое развитие технологий, которые могут помочь вам найти способы улучшить свое мышление и эффективность. Но иногда вы также можете использовать продукты, чтобы узнать их характеристики на практике.

Замена инженеров ИИ на инженеров машинного обучения не произойдет в одночасье, и для кого-то с хорошим опытом работы с данными и машинным обучением инженерия и инженерия ИИ могут не выглядеть хорошо в течение длительного времени. Однако со временем экономика спроса и предложения возьмет верх, и взгляды людей на разработку ИИ изменятся.

**Почему инженеры ИИ поднимутся? **

На уровне модели многие базовые модели в настоящее время являются обучающими с небольшим количеством выстрелов с сильным контекстным обучением и возможностями переноса с нулевым выстрелом.Производительность модели часто превышает исходное предназначение обучающей модели. Другими словами, люди, создающие эти модели, не до конца знают масштаб возможностей моделей. А те, кто не являются экспертами LLM (Large Language Model), могут обнаружить и использовать эти возможности, больше взаимодействуя с моделью и применяя ее к областям, недооцененным исследованиями.

На уровне талантов Microsoft, Google, Meta и крупные лаборатории базовых моделей монополизировали дефицитные исследовательские таланты и предоставляют API для «исследований ИИ как услуги». Возможно, вы не сможете нанять такого исследователя, но вы можете арендовать его услуги. В настоящее время во всем мире насчитывается около 5000 исследователей LLM и 50 миллионов инженеров-программистов. Это ограничение предложения диктует, что инженеры ИИ в «средней» категории будут расти, чтобы удовлетворить спрос на таланты.

На аппаратном уровне крупные технологические компании и учреждения накапливали графические процессоры в больших количествах.Конечно, OpenAI и Microsoft были первыми, кто сделал это, но Stability AI начал конкуренцию графических процессоров для стартапов, сделав упор на свои 4000 кластеров графических процессоров.

Кроме того, некоторые новые стартапы, такие как Inflection (1,3 млрд долларов), Mistral (113 млн долларов), Reka (58 млн долларов), Poolside (26 млн долларов) и Contextual (20 млн долларов), как правило, начали привлекать огромные суммы. собственная аппаратная база.

Технический руководитель и инвестор из США Нат Фридман даже объявил о своей инициативе Andromeda — кластере графических процессоров стоимостью 100 миллионов долларов с вычислительной мощностью 10 экзафлопс, предназначенном для поддержки стартапов, в которые он инвестирует. С другой стороны ландшафта API больше инженеров ИИ смогут использовать модели, а не просто обучать их.

С точки зрения эффективности, вместо того, чтобы требовать от ученых данных и инженеров по машинному обучению выполнять утомительный сбор данных перед обучением одной предметно-ориентированной модели и запуском ее в производство, менеджеры по продуктам и инженеры-программисты могут создавать и проверять идеи продуктов, взаимодействуя с LLM.

Предположим, что последние (данные, инженеры машинного обучения) превосходят первых (инженеров ИИ) в 100–1000 раз, и то, как вы работаете, взаимодействуя с LLM, позволит вам в 10–100 раз быстрее, чем традиционное машинное обучение. В результате инженеры ИИ смогут проверять продукты ИИ в 10 000 раз дешевле, чем раньше.

На уровне программного обеспечения будут изменения с Python на Java. Мир данных и ИИ традиционно был сосредоточен вокруг Python, как и первые инженерные инструменты ИИ, такие как LangChain, LlamaIndex и Guardrails. Однако разработчиков Java должно быть как минимум столько же, сколько разработчиков Python, поэтому инструменты все больше расширяются в этом направлении, от LangChain.js и Transformers.js до нового AI SDK от Vercel. Общий размер рынка и возможностей для Java впечатляет.

Всякий раз, когда появляется подгруппа с совершенно другим опытом, говорящая на совершенно другом языке, производящая совершенно другой продукт, использующая совершенно другой инструмент, они в конечном итоге распадаются на свою собственную группу.

Роль кода в эволюции ПО 2.0 до ПО 3.0

6 лет назад Андрей Карпати написал очень влиятельную статью с описанием Software 2.0, противопоставив классические стеки написанных от руки языков программирования, которые точно моделируют логику, с новыми стеками нейронных сетей машинного обучения с приближенной логикой. В статье показано, что программное обеспечение может решить гораздо больше проблем, чем люди могут смоделировать.

В этом году Карпати опубликовал сообщение о том, что самым популярным новым языком программирования является английский, поскольку подсказки генеративного ИИ можно понимать как код, разработанный человеком, во многих случаях на английском языке, и интерпретируемый LLM, в конечном итоге заполнив пробелы в его диаграмме. серая область.

*Примечание. Классический стек ПО 1.0 (ПО 1.0) написан на Python, C++ и других языках. Программное обеспечение 2.0 было написано с использованием весов нейронной сети, и никто не участвовал в процессе написания этого кода, потому что весов много. *

В прошлом году инженерия стала популярной темой, и люди начали применять GPT-3 и стабильную диффузию в работе. Люди насмехаются над стартапами ИИ как над оболочками OpenAI и беспокоятся об уязвимости приложений LLM для внедрения подсказок и обратного проектирования подсказок.

Но очень важной темой в 2023 году является восстановление роли кода, написанного людьми, от гигантского Langchain с более чем 200 миллионами долларов США до Voyager, поддерживаемого Nvidia, что демонстрирует важность генерации и повторного использования кода. Инжиниринг преувеличен и настойчив, но возрождение парадигмы ПО 1.0 в приложениях ПО 3.0 — это огромные возможности и новое пространство для множества стартапов:

По мере того, как люди-инженеры учатся использовать ИИ, а ИИ все больше берет на себя инженерные обязанности, в будущем, когда мы оглянемся назад, будет трудно определить разницу между ними.

Справочное содержание: