С самого начала разоблачения того, что OpenAI тайно обучала GPT-5, до более позднего разъяснения Сэма Альтмана; Позже, когда дело дошло до того, сколько графических процессоров H100 необходимо для обучения GPT-5, генеральный директор DeepMind Сулейман взял интервью у OpenAI, который тайно обучал GPT-5.
А потом последовал новый виток спекуляций.
Вперемешку со смелым предсказанием Альтмана о том, что GPT-10 появится до 2030 года, больше, чем сумма всего человеческого интеллекта, представляет собой настоящее облако AGI.
А затем недавняя мультимодальная модель OpenAI под названием Gobi и настойчивый призыв к модели Gimini от Google, конкуренция между двумя гигантами вот-вот начнется.
На какое-то время последние достижения в области больших языковых моделей стали самой горячей темой в кругу.
Перефразируя древнее стихотворение, «все еще держа пипу и наполовину закрывая лицо», чтобы описать его, это вполне уместно. Я просто не знаю, когда я действительно смогу «выйти после долгого времени».
Краткое содержание хронологии
То, о чем мы сегодня поговорим, имеет прямое отношение к GPT-5, и это анализ нашего старого друга Гэри Маркуса.
Суть всего в одном предложении: GPT-4 to 5 — это не просто увеличение размера модели, а изменение всей парадигмы ИИ. И с этой точки зрения OpenAI, разработавшая GPT-4, не обязательно является компанией, достигшей 5 первой.
Другими словами, когда парадигма должна измениться, предыдущее накопление не очень переносимо.
Но прежде чем мы перейдем к точке зрения Маркуса, давайте вкратце рассмотрим, что произошло с легендарной GPT-5 в последнее время и что говорит общественное мнение.
Сначала Карпаты, сооснователь OpenAI, написал в Твиттере, что H100 — горячая тема, востребованная гигантами, и всем важно, у кого есть эта штука и сколько их.
Затем было много дискуссий о том, сколько графических процессоров H100 нужно обучить каждой компании.
Вот и все.
GPT-4 мог быть обучен примерно на 10 000-25 000 A100
Мета о 21000 A100
Тесла около 7000 А100
Стабильность ИИ около 5000 А100
Falcon-40B обучался на 384 A100
По этому поводу Маск также участвовал в обсуждении, по словам Маска, обучение GPT-5 может занять от 30 000 до 50 000 H100.
Ранее Morgan Stanley также говорил об аналогичном прогнозе, но общее количество немного меньше, чем говорил Маск, около 25 000 графических процессоров.
Конечно, эта волна выкладывания GPT-5 на стол, чтобы поговорить, Сэм Альтман должен выступить, чтобы опровергнуть слухи, указывающие на то, что OpenAI не обучает GPT-5.
Некоторые смелые пользователи сети предположили, что причина, по которой OpenAI отрицает это, вероятно, заключается в изменении названия модели следующего поколения, а не GPT-5.
В любом случае, по словам Сэма Альтмана, именно из-за нехватки графических процессоров многие планы откладываются. Он даже сказал, что не хочет, чтобы слишком много людей использовали GPT-4.
Тяга к графическим процессорам во всей отрасли одинакова. Согласно статистике, общее количество графических процессоров, необходимых всем технологическим гигантам, должно составлять более 430 000. Это астрономическая сумма, почти 15 миллиардов долларов.
Но это было слишком окольным путем, чтобы отодвинуть GPT-5 назад по количеству графических процессоров, поэтому Сулейман, основатель DeepMind, прямо «вбил» в интервью, заявив, что OpenAI тайно обучает GPT-5, не скрывайте этого.
Конечно, в полном интервью Сулейман также рассказал о множестве больших сплетен в индустрии, например, о том, почему DeepMind отстает в конкуренции с OpenAI, очевидно, что он не слишком сильно отстает во времени.
Также было много инсайдерской информации, например, о том, что произошло, когда Google приобрел ее в то время. Но они имеют мало общего с GPT-5, и заинтересованные друзья могут выяснить это сами.
В целом, эта волна является последним прогрессом GPT-5 со стороны воротил индустрии, что вызывает у всех подозрения.
После этого Сэм Альтман сказал в разговоре с глазу на глаз: «Я думаю, что до 2030 года появится ОИИ, названный GPT-10, который больше, чем сумма всего человеческого интеллекта».
С одной стороны, он смело предсказывает, а с другой стороны, отрицает, что обучает GPT-5, что затрудняет другим понимание того, что делает OpenAI.
В связи с этим Альтман предвидел множество сценариев будущего. Например, как он понимает AGI, когда появится AGI, что будет делать OpenAI, если AGI действительно появится, и что должно делать все человечество.
Но с точки зрения фактического прогресса, Альтман планирует его следующим образом: «Я сказал людям в компании, что наша цель состоит в том, чтобы улучшать производительность наших прототипов на 10 процентов каждые 12 месяцев».
«Если вы установите эту цель на уровне 20%, она может быть слишком высокой».
Это конкретная договоренность. Но связь между 10% и 20% и GPT-5 не ясна.
Наиболее ценной является следующая мультимодальная модель Gobi от OpenAI.
Основное внимание уделяется раскаленной добела конкуренции между Google и OpenAI, на каком этапе.
Прежде чем говорить о Гоби, мы должны поговорить о GPT-видении. Это поколение моделей очень мощное. Сделайте эскизную фотографию, отправьте ее прямо в GPT, и веб-сайт сделает ее для вас за считанные минуты.
Не говоря уже о написании кода.
После того, как GPT-видение будет завершено, OpenAI может запустить более мощную мультимодальную большую модель под кодовым названием Gobi.
В отличие от GPT-4, Гоби был построен с нуля по мультимодальной модели.
Это также вызвало интерес зевак – является ли Гоби легендарным GPT-5?
Конечно, мы пока не знаем, куда пришла Гоби, и определенных новостей нет.
Сулейман непреклонен в том, что Сэм Альтман, возможно, говорит неправду, когда недавно сказал, что они не обучали GPT-5.
Маркус Вью
Начнем с того, что вполне возможно, что ни один предрелизный продукт в истории технологий (за исключением, возможно, iPhone) не ожидался больше, чем GPT-5.
Дело не только в том, что потребители в восторге от него, и не только в том, что целая куча компаний планирует начать с нуля вокруг него, и даже некоторая внешняя политика строится вокруг GPT-5.
Кроме того, появление GPT-5 также может усугубить войны за чипы, которые только что обострились.
Маркус сказал, что есть также люди, которые специально нацеливаются на ожидаемую масштабную модель GPT-5 и просят приостановить производство.
Конечно, есть немало людей, которые настроены очень оптимистично, и те, кто воображает, что GPT-5 может устранить или, по крайней мере, значительно развеять многие опасения, которые люди испытывают по поводу существующих моделей, таких как их ненадежность, их предвзятые тенденции и их склонность изливать авторитетную чепуху.
Но Маркус считает, что ему никогда не было ясно, решит ли эти проблемы простое создание более крупной модели.
Сегодня некоторые зарубежные СМИ обнародовали новость о том, что еще один проект OpenAI, Arrakis, нацелен на создание более компактных и эффективных моделей, но был отменен топ-менеджментом из-за того, что не соответствует ожидаемым целям.
Маркус сказал, что почти все мы думали, что GPT-4 запустит GPT-5 как можно скорее, и что GPT-5 часто представляется гораздо более мощной, чем GPT-4, поэтому Сэм удивил всех, когда опроверг это.
Было много спекуляций по этому поводу, таких как проблемы с графическими процессорами, упомянутые выше, и у OpenAI может не хватить денег на обучение этих моделей (которые, как известно, дороги в обучении).
Но, с другой стороны, OpenAI едва ли так хорошо финансируется, как любой другой стартап. Для компании, которая только что привлекла $10 млрд, даже $500 млн на обучение не являются невозможными.
Другими словами, OpenAI понимает, что затраты на обучение модели или ее запуск будут очень высокими, и они не уверены, смогут ли они получить прибыль за счет этих затрат.
Кажется, в этом есть какой-то смысл.
Третий аргумент и мнение Маркуса заключается в том, что OpenAI уже провела несколько тестов во время презентации Альтмана в мае, но они не были довольны результатами.
В конце концов, они могут прийти к выводу, что если GPT-5 является просто увеличенной версией GPT-4, то она не оправдает ожиданий и далеко не дотянет до поставленных целей.
Если результаты только разочаровывают или даже шутят, то обучение GPT-5 не стоит того, чтобы тратить сотни миллионов долларов.
На самом деле, Лекун думает так же.
GPT идет от 4 до 5, что больше, чем просто 4plus. От 4 до 5 должны быть эпохальными.
Здесь нужна новая парадигма, а не просто масштабирование модели.
Так что с точки зрения смены парадигмы, конечно, чем богаче компания, тем больше у нее шансов достичь этой цели. Но разница в том, что это уже не обязательно должен быть OpenAI. Поскольку смена парадигмы – это новый путь, прошлый опыт или накопления могут оказаться бесполезными.
Точно так же, с экономической точки зрения, если это так, как предполагает Маркус, то разработка GPT-5 равносильна тому, чтобы быть отложенной на неопределенный срок. Никто не знает, когда появится новая технология.
Это похоже на то, что сейчас автомобили на новых источниках энергии, как правило, имеют запас хода в сотни километров, и если вы хотите прослужить тысячи миль, вам нужны новые аккумуляторные технологии. Помимо опыта и капитала, может потребоваться немного удачи и шанса, чтобы пробиться в новые технологии.
Но в любом случае, если Маркус прав, то коммерческая ценность GPT-5 наверняка сильно сократится в будущем.
Ресурсы:
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Маркус делает обзоры GPT-5! Срочно нужна новая парадигма, и у OpenAI нет никаких преимуществ
Первоисточник: New Zhiyuan
Новость о GPT-5 недавно снова стала вирусной.
С самого начала разоблачения того, что OpenAI тайно обучала GPT-5, до более позднего разъяснения Сэма Альтмана; Позже, когда дело дошло до того, сколько графических процессоров H100 необходимо для обучения GPT-5, генеральный директор DeepMind Сулейман взял интервью у OpenAI, который тайно обучал GPT-5.
А потом последовал новый виток спекуляций.
Вперемешку со смелым предсказанием Альтмана о том, что GPT-10 появится до 2030 года, больше, чем сумма всего человеческого интеллекта, представляет собой настоящее облако AGI.
А затем недавняя мультимодальная модель OpenAI под названием Gobi и настойчивый призыв к модели Gimini от Google, конкуренция между двумя гигантами вот-вот начнется.
На какое-то время последние достижения в области больших языковых моделей стали самой горячей темой в кругу.
Перефразируя древнее стихотворение, «все еще держа пипу и наполовину закрывая лицо», чтобы описать его, это вполне уместно. Я просто не знаю, когда я действительно смогу «выйти после долгого времени».
Краткое содержание хронологии
То, о чем мы сегодня поговорим, имеет прямое отношение к GPT-5, и это анализ нашего старого друга Гэри Маркуса.
Суть всего в одном предложении: GPT-4 to 5 — это не просто увеличение размера модели, а изменение всей парадигмы ИИ. И с этой точки зрения OpenAI, разработавшая GPT-4, не обязательно является компанией, достигшей 5 первой.
Другими словами, когда парадигма должна измениться, предыдущее накопление не очень переносимо.
Но прежде чем мы перейдем к точке зрения Маркуса, давайте вкратце рассмотрим, что произошло с легендарной GPT-5 в последнее время и что говорит общественное мнение.
Сначала Карпаты, сооснователь OpenAI, написал в Твиттере, что H100 — горячая тема, востребованная гигантами, и всем важно, у кого есть эта штука и сколько их.
GPT-4 мог быть обучен примерно на 10 000-25 000 A100
Мета о 21000 A100
Тесла около 7000 А100
Стабильность ИИ около 5000 А100
Falcon-40B обучался на 384 A100
По этому поводу Маск также участвовал в обсуждении, по словам Маска, обучение GPT-5 может занять от 30 000 до 50 000 H100.
Ранее Morgan Stanley также говорил об аналогичном прогнозе, но общее количество немного меньше, чем говорил Маск, около 25 000 графических процессоров.
Конечно, эта волна выкладывания GPT-5 на стол, чтобы поговорить, Сэм Альтман должен выступить, чтобы опровергнуть слухи, указывающие на то, что OpenAI не обучает GPT-5.
Некоторые смелые пользователи сети предположили, что причина, по которой OpenAI отрицает это, вероятно, заключается в изменении названия модели следующего поколения, а не GPT-5.
Тяга к графическим процессорам во всей отрасли одинакова. Согласно статистике, общее количество графических процессоров, необходимых всем технологическим гигантам, должно составлять более 430 000. Это астрономическая сумма, почти 15 миллиардов долларов.
Но это было слишком окольным путем, чтобы отодвинуть GPT-5 назад по количеству графических процессоров, поэтому Сулейман, основатель DeepMind, прямо «вбил» в интервью, заявив, что OpenAI тайно обучает GPT-5, не скрывайте этого.
Конечно, в полном интервью Сулейман также рассказал о множестве больших сплетен в индустрии, например, о том, почему DeepMind отстает в конкуренции с OpenAI, очевидно, что он не слишком сильно отстает во времени.
Также было много инсайдерской информации, например, о том, что произошло, когда Google приобрел ее в то время. Но они имеют мало общего с GPT-5, и заинтересованные друзья могут выяснить это сами.
В целом, эта волна является последним прогрессом GPT-5 со стороны воротил индустрии, что вызывает у всех подозрения.
После этого Сэм Альтман сказал в разговоре с глазу на глаз: «Я думаю, что до 2030 года появится ОИИ, названный GPT-10, который больше, чем сумма всего человеческого интеллекта».
В связи с этим Альтман предвидел множество сценариев будущего. Например, как он понимает AGI, когда появится AGI, что будет делать OpenAI, если AGI действительно появится, и что должно делать все человечество.
Но с точки зрения фактического прогресса, Альтман планирует его следующим образом: «Я сказал людям в компании, что наша цель состоит в том, чтобы улучшать производительность наших прототипов на 10 процентов каждые 12 месяцев».
«Если вы установите эту цель на уровне 20%, она может быть слишком высокой».
Наиболее ценной является следующая мультимодальная модель Gobi от OpenAI.
Основное внимание уделяется раскаленной добела конкуренции между Google и OpenAI, на каком этапе.
Прежде чем говорить о Гоби, мы должны поговорить о GPT-видении. Это поколение моделей очень мощное. Сделайте эскизную фотографию, отправьте ее прямо в GPT, и веб-сайт сделает ее для вас за считанные минуты.
Не говоря уже о написании кода.
В отличие от GPT-4, Гоби был построен с нуля по мультимодальной модели.
Это также вызвало интерес зевак – является ли Гоби легендарным GPT-5?
Сулейман непреклонен в том, что Сэм Альтман, возможно, говорит неправду, когда недавно сказал, что они не обучали GPT-5.
Маркус Вью
Начнем с того, что вполне возможно, что ни один предрелизный продукт в истории технологий (за исключением, возможно, iPhone) не ожидался больше, чем GPT-5.
Дело не только в том, что потребители в восторге от него, и не только в том, что целая куча компаний планирует начать с нуля вокруг него, и даже некоторая внешняя политика строится вокруг GPT-5.
Кроме того, появление GPT-5 также может усугубить войны за чипы, которые только что обострились.
Маркус сказал, что есть также люди, которые специально нацеливаются на ожидаемую масштабную модель GPT-5 и просят приостановить производство.
Конечно, есть немало людей, которые настроены очень оптимистично, и те, кто воображает, что GPT-5 может устранить или, по крайней мере, значительно развеять многие опасения, которые люди испытывают по поводу существующих моделей, таких как их ненадежность, их предвзятые тенденции и их склонность изливать авторитетную чепуху.
Но Маркус считает, что ему никогда не было ясно, решит ли эти проблемы простое создание более крупной модели.
Сегодня некоторые зарубежные СМИ обнародовали новость о том, что еще один проект OpenAI, Arrakis, нацелен на создание более компактных и эффективных моделей, но был отменен топ-менеджментом из-за того, что не соответствует ожидаемым целям.
Маркус сказал, что почти все мы думали, что GPT-4 запустит GPT-5 как можно скорее, и что GPT-5 часто представляется гораздо более мощной, чем GPT-4, поэтому Сэм удивил всех, когда опроверг это.
Было много спекуляций по этому поводу, таких как проблемы с графическими процессорами, упомянутые выше, и у OpenAI может не хватить денег на обучение этих моделей (которые, как известно, дороги в обучении).
Но, с другой стороны, OpenAI едва ли так хорошо финансируется, как любой другой стартап. Для компании, которая только что привлекла $10 млрд, даже $500 млн на обучение не являются невозможными.
Другими словами, OpenAI понимает, что затраты на обучение модели или ее запуск будут очень высокими, и они не уверены, смогут ли они получить прибыль за счет этих затрат.
Кажется, в этом есть какой-то смысл.
Третий аргумент и мнение Маркуса заключается в том, что OpenAI уже провела несколько тестов во время презентации Альтмана в мае, но они не были довольны результатами.
В конце концов, они могут прийти к выводу, что если GPT-5 является просто увеличенной версией GPT-4, то она не оправдает ожиданий и далеко не дотянет до поставленных целей.
Если результаты только разочаровывают или даже шутят, то обучение GPT-5 не стоит того, чтобы тратить сотни миллионов долларов.
На самом деле, Лекун думает так же.
GPT идет от 4 до 5, что больше, чем просто 4plus. От 4 до 5 должны быть эпохальными.
Здесь нужна новая парадигма, а не просто масштабирование модели.
Так что с точки зрения смены парадигмы, конечно, чем богаче компания, тем больше у нее шансов достичь этой цели. Но разница в том, что это уже не обязательно должен быть OpenAI. Поскольку смена парадигмы – это новый путь, прошлый опыт или накопления могут оказаться бесполезными.
Точно так же, с экономической точки зрения, если это так, как предполагает Маркус, то разработка GPT-5 равносильна тому, чтобы быть отложенной на неопределенный срок. Никто не знает, когда появится новая технология.
Это похоже на то, что сейчас автомобили на новых источниках энергии, как правило, имеют запас хода в сотни километров, и если вы хотите прослужить тысячи миль, вам нужны новые аккумуляторные технологии. Помимо опыта и капитала, может потребоваться немного удачи и шанса, чтобы пробиться в новые технологии.
Но в любом случае, если Маркус прав, то коммерческая ценность GPT-5 наверняка сильно сократится в будущем.
Ресурсы: