Від самого початку викриття того, що OpenAI таємно навчала GPT-5, до пізнішого роз'яснення Сема Альтмана; Пізніше, коли справа дійшла до того, скільки графічних процесорів H100 потрібно для навчання GPT-5, генеральний директор DeepMind Сулейман взяв інтерв'ю у OpenAI, який таємно навчав GPT-5.
А потім був новий виток спекуляцій.
Упереміш зі сміливим прогнозом Альтмана про те, що GPT-10 з'явиться до 2030 року, більше, ніж сума всього людського інтелекту, є справжня хмара AGI.
а потім до нещодавньої мультимодальної моделі OpenAI під назвою Gobi та сильного заклику до моделі Gimini від Google, конкуренція між двома гігантами ось-ось почнеться.
На деякий час останній прогрес у великих мовних моделях став найгарячішою темою в колі.
Перефразовуючи старовинний вірш, «все ще тримаючи піпу і напівзакриваючи обличчя», щоб описати його, цілком доречно. Я просто не знаю, коли я зможу реально "зробити камінг-аут через довгий час".
Підсумок хронології
Те, про що ми сьогодні поговоримо, безпосередньо пов'язане з GPT-5, і це аналіз нашого старого друга Гері Маркуса.
Суть полягає лише в одному реченні: GPT-4 до 5 — це не так просто, як розширення розміру моделі, а зміна всієї парадигми ШІ. І з цієї точки зору OpenAI, яка розробила GPT-4, не обов'язково є компанією, яка досягла 5 першої.
Іншими словами, коли парадигма потребує зміни, попереднє накопичення не дуже піддається передачі.
Але перш ніж ми перейдемо до точки зору Маркуса, давайте коротко розглянемо, що сталося з легендарним GPT-5 нещодавно і що сказала громадська думка.
Спочатку співзасновник OpenAI Карпати написав у Твіттері, що H100 – гаряча тема, яку шукають гіганти, і всім не байдуже, у кого ця штука і скільки їх.
Потім було багато дискусій про те, скільки графічних процесорів H100 потрібно навчати кожній компанії.
На цьому все.
GPT-4, можливо, був навчений приблизно на 10 000-25 000 A100
Meta про 21000 A100
Tesla про 7000 A100
Стабільність ШІ становить близько 5000 А100
Falcon-40B проходив навчання на 384 A100
З цього приводу Маск також брав участь в обговоренні, за словами Маска, навчання GPT-5 може зайняти від 30 000 до 50 000 H100.
Раніше Morgan Stanley також говорив подібний прогноз, але загальна кількість трохи менша, ніж сказав Маск, близько 25 000 графічних процесорів.
Звичайно, ця хвиля винесення GPT-5 на стіл для розмови, Сем Альтман повинен вийти, щоб спростувати чутки, вказуючи на те, що OpenAI не навчає GPT-5.
Деякі сміливі користувачі мережі припустили, що причина, через яку OpenAI заперечує це, ймовірно, полягала в тому, що вона змінила назву моделі наступного покоління, а не GPT-5.
У будь-якому випадку, за словами Сема Альтмана, саме через відсутність графічних процесорів багато планів затримуються. Він навіть сказав, що не хоче, щоб занадто багато людей використовували GPT-4.
Тяга до графічних процесорів у всій галузі однакова. Згідно зі статистикою, загальна кількість графічних процесорів, необхідних усім технологічним гігантам, має становити понад 430 000. Це астрономічна сума, майже 15 мільярдів доларів.
Але це було занадто обхідним шляхом, щоб штовхати GPT-5 назад через кількість графічного процесора, тому Сулейман, засновник DeepMind, прямо «забив» в інтерв'ю, сказавши, що OpenAI таємно навчає GPT-5, не приховуйте цього.
Звичайно, в повному інтерв'ю Сулейман також розповів про багато великих пліток в індустрії, наприклад, чому DeepMind відстає в конкуренції з OpenAI, очевидно, що він не надто відстає в часі.
Також було багато інсайдерської інформації, наприклад, про те, що сталося, коли Google придбав його в той час. Але вони мають мало спільного з GPT-5, і зацікавлені друзі можуть переконатися в цьому самі.
Загалом, ця хвиля є останнім прогресом GPT-5 великих гравців галузі, що викликає підозри у всіх.
Після цього Сем Альтман сказав тет-а-тет: «Я думаю, що до 2030 року з'явиться AGI, який називається GPT-10, що більше, ніж сума всього людського інтелекту».
З одного боку, він сміливо прогнозує, а з іншого – заперечує, що тренує GPT-5, що ускладнює іншим справжнє розуміння того, що робить OpenAI.
У зв'язку з цим Альтман передбачив безліч майбутніх сценаріїв. Наприклад, як він розуміє AGI, коли з'явиться AGI, що робитиме OpenAI, якщо AGI дійсно з'явиться, і що має робити все людство.
Але з точки зору фактичного прогресу, Альтман планує це так: «Я сказав людям у компанії, що наша мета полягає в тому, щоб покращувати продуктивність наших прототипів на 10 відсотків кожні 12 місяців».
«Якщо ви встановите цю мету на рівні 20%, вона може бути трохи завищеною».
Це конкретна домовленість. Але зв'язок між 10% і 20% і GPT-5 не зрозумілий.
Найціннішою є наступна - мультимодальна модель Gobi від OpenAI.
Основна увага приділяється гарячій конкуренції між Google та OpenAI, на якому етапі.
Перш ніж говорити про Гобі, ми повинні поговорити про GPT-бачення. Це покоління моделей дуже потужне. Зробіть ескізне фото, надішліть його безпосередньо до GPT, і веб-сайт зробить його для вас за лічені хвилини.
Не кажучи вже про написання коду.
Після того, як GPT-зір закінчиться, OpenAI може запустити потужнішу мультимодальну велику модель під кодовою назвою Gobi.
На відміну від GPT-4, Gobi був побудований з нуля за мультимодальною моделлю.
Це також викликало інтерес у роззяв - Гобі - це легендарний GPT-5?
Звичайно, ми ще не знаємо, звідки взявся Гобі, і певних новин немає.
Сулейман непохитний у тому, що Сем Альтман, можливо, говорить неправду, коли нещодавно сказав, що вони не тренували GPT-5.
Маркус В'ю
Почнемо з того, що цілком можливо, що жоден передрелізний продукт в історії технологій (за винятком, можливо, iPhone) не очікувався більше, ніж GPT-5.
І справа не тільки в тому, що споживачі з ентузіазмом ставляться до цього, а не тільки в тому, що ціла купа компаній планує почати з нуля навколо нього, і навіть навколо GPT-5 будується якась зовнішня політика.
Крім того, поява GPT-5 також може загострити війни з чіпами, які щойно ще більше загострилися.
Маркус сказав, що є також люди, які спеціально націлені на очікувану масштабну модель GPT-5 і просять її призупинити виробництво.
Звичайно, є досить багато людей, які налаштовані дуже оптимістично, і деякі з них вважають, що GPT-5 може усунути або, принаймні, значно розвіяти багато занепокоєнь, які люди мають щодо існуючих моделей, таких як їхня ненадійність, упереджені тенденції та схильність виливати авторитетні нісенітниці.
Але Маркус вважає, що йому ніколи не було ясно, чи дійсно проста побудова більшої моделі вирішить ці проблеми.
Сьогодні в деяких іноземних ЗМІ з'явилася новина про те, що ще один проект OpenAI, Arrakis, має на меті зробити менші та ефективніші моделі, але був скасований вищим керівництвом, оскільки не відповідав очікуваним цілям.
Маркус сказав, що майже всі ми думали, що GPT-4 запустить GPT-5 якнайшвидше, і що GPT-5 часто уявляють набагато потужнішим за GPT-4, тому Сем здивував усіх, коли заперечив це.
Було багато спекуляцій з цього приводу, наприклад, проблеми з графічним процесором, згадані вище, і OpenAI може не мати достатньо готівки для навчання цих моделей (які, як відомо, дорогі для навчання).
Але знову ж таки, OpenAI навряд чи так добре фінансується, як будь-який стартап. Для компанії, яка щойно залучила 10 мільярдів доларів, навіть 500 мільйонів доларів на навчання не є чимось неможливим.
Іншими словами, OpenAI усвідомлює, що витрати на навчання моделі або її запуск будуть дуже високими, і вони не впевнені, чи зможуть отримати прибуток за ці витрати.
Здається, в цьому є певний сенс.
Третій аргумент і думка Маркуса полягає в тому, що OpenAI вже провела кілька тестів підтвердження концепції під час презентації Альтмана в травні, але вони були незадоволені результатами.
Зрештою, вони можуть дійти висновку, що якщо GPT-5 є лише збільшеною версією GPT-4, то він не виправдає очікувань і далеко не дотягне до заздалегідь встановлених цілей.
Якщо результати лише розчаровують або навіть жарт, то навчання GPT-5 не варте того, щоб витрачати сотні мільйонів доларів.
По суті, Лекун думає так само.
GPT переходить від 4 до 5, що більше, ніж просто 4plus. Від 4 до 5 має бути епохальним.
Тут потрібна нова парадигма, а не просто масштабування моделі.
Отже, з точки зору зміни парадигми, звичайно, чим багатша компанія, тим більше шансів досягти цієї мети. Але різниця полягає в тому, що це більше не обов'язково має бути OpenAI. Оскільки зміна парадигми є новим шляхом, минулий досвід або накопичення можуть не принести великої користі.
Так само, з економічної точки зору, якщо це правда, як припускає Маркус, то розробка GPT-5 еквівалентна відкладенню на невизначений термін. Ніхто не знає, коли з'явиться нова технологія.
Це схоже на те, що зараз автомобілі на нових джерелах енергії, як правило, мають запас ходу в сотні кілометрів, і якщо ви хочете прослужити тисячі кілометрів, вам потрібна нова технологія акумуляторів. Крім досвіду і капіталу, також може знадобитися трохи удачі і шансу прорватися через нові технології.
Але в будь-якому випадку, якщо Маркус має рацію, то комерційна цінність GPT-5 напевно сильно скоротиться в майбутньому.
Ресурси:
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Огляди Маркуса GPT-5! Терміново потрібна нова парадигма, і OpenAI не має переваг
Першоджерело: Новий Чжиюань
Новина про GPT-5 нещодавно знову стала вірусною.
Від самого початку викриття того, що OpenAI таємно навчала GPT-5, до пізнішого роз'яснення Сема Альтмана; Пізніше, коли справа дійшла до того, скільки графічних процесорів H100 потрібно для навчання GPT-5, генеральний директор DeepMind Сулейман взяв інтерв'ю у OpenAI, який таємно навчав GPT-5.
А потім був новий виток спекуляцій.
Упереміш зі сміливим прогнозом Альтмана про те, що GPT-10 з'явиться до 2030 року, більше, ніж сума всього людського інтелекту, є справжня хмара AGI.
а потім до нещодавньої мультимодальної моделі OpenAI під назвою Gobi та сильного заклику до моделі Gimini від Google, конкуренція між двома гігантами ось-ось почнеться.
На деякий час останній прогрес у великих мовних моделях став найгарячішою темою в колі.
Перефразовуючи старовинний вірш, «все ще тримаючи піпу і напівзакриваючи обличчя», щоб описати його, цілком доречно. Я просто не знаю, коли я зможу реально "зробити камінг-аут через довгий час".
Підсумок хронології
Те, про що ми сьогодні поговоримо, безпосередньо пов'язане з GPT-5, і це аналіз нашого старого друга Гері Маркуса.
Суть полягає лише в одному реченні: GPT-4 до 5 — це не так просто, як розширення розміру моделі, а зміна всієї парадигми ШІ. І з цієї точки зору OpenAI, яка розробила GPT-4, не обов'язково є компанією, яка досягла 5 першої.
Іншими словами, коли парадигма потребує зміни, попереднє накопичення не дуже піддається передачі.
Але перш ніж ми перейдемо до точки зору Маркуса, давайте коротко розглянемо, що сталося з легендарним GPT-5 нещодавно і що сказала громадська думка.
Спочатку співзасновник OpenAI Карпати написав у Твіттері, що H100 – гаряча тема, яку шукають гіганти, і всім не байдуже, у кого ця штука і скільки їх.
GPT-4, можливо, був навчений приблизно на 10 000-25 000 A100
Meta про 21000 A100
Tesla про 7000 A100
Стабільність ШІ становить близько 5000 А100
Falcon-40B проходив навчання на 384 A100
З цього приводу Маск також брав участь в обговоренні, за словами Маска, навчання GPT-5 може зайняти від 30 000 до 50 000 H100.
Раніше Morgan Stanley також говорив подібний прогноз, але загальна кількість трохи менша, ніж сказав Маск, близько 25 000 графічних процесорів.
Звичайно, ця хвиля винесення GPT-5 на стіл для розмови, Сем Альтман повинен вийти, щоб спростувати чутки, вказуючи на те, що OpenAI не навчає GPT-5.
Деякі сміливі користувачі мережі припустили, що причина, через яку OpenAI заперечує це, ймовірно, полягала в тому, що вона змінила назву моделі наступного покоління, а не GPT-5.
Тяга до графічних процесорів у всій галузі однакова. Згідно зі статистикою, загальна кількість графічних процесорів, необхідних усім технологічним гігантам, має становити понад 430 000. Це астрономічна сума, майже 15 мільярдів доларів.
Але це було занадто обхідним шляхом, щоб штовхати GPT-5 назад через кількість графічного процесора, тому Сулейман, засновник DeepMind, прямо «забив» в інтерв'ю, сказавши, що OpenAI таємно навчає GPT-5, не приховуйте цього.
Звичайно, в повному інтерв'ю Сулейман також розповів про багато великих пліток в індустрії, наприклад, чому DeepMind відстає в конкуренції з OpenAI, очевидно, що він не надто відстає в часі.
Також було багато інсайдерської інформації, наприклад, про те, що сталося, коли Google придбав його в той час. Але вони мають мало спільного з GPT-5, і зацікавлені друзі можуть переконатися в цьому самі.
Загалом, ця хвиля є останнім прогресом GPT-5 великих гравців галузі, що викликає підозри у всіх.
Після цього Сем Альтман сказав тет-а-тет: «Я думаю, що до 2030 року з'явиться AGI, який називається GPT-10, що більше, ніж сума всього людського інтелекту».
У зв'язку з цим Альтман передбачив безліч майбутніх сценаріїв. Наприклад, як він розуміє AGI, коли з'явиться AGI, що робитиме OpenAI, якщо AGI дійсно з'явиться, і що має робити все людство.
Але з точки зору фактичного прогресу, Альтман планує це так: «Я сказав людям у компанії, що наша мета полягає в тому, щоб покращувати продуктивність наших прототипів на 10 відсотків кожні 12 місяців».
«Якщо ви встановите цю мету на рівні 20%, вона може бути трохи завищеною».
Найціннішою є наступна - мультимодальна модель Gobi від OpenAI.
Основна увага приділяється гарячій конкуренції між Google та OpenAI, на якому етапі.
Перш ніж говорити про Гобі, ми повинні поговорити про GPT-бачення. Це покоління моделей дуже потужне. Зробіть ескізне фото, надішліть його безпосередньо до GPT, і веб-сайт зробить його для вас за лічені хвилини.
Не кажучи вже про написання коду.
На відміну від GPT-4, Gobi був побудований з нуля за мультимодальною моделлю.
Це також викликало інтерес у роззяв - Гобі - це легендарний GPT-5?
Сулейман непохитний у тому, що Сем Альтман, можливо, говорить неправду, коли нещодавно сказав, що вони не тренували GPT-5.
Маркус В'ю
Почнемо з того, що цілком можливо, що жоден передрелізний продукт в історії технологій (за винятком, можливо, iPhone) не очікувався більше, ніж GPT-5.
І справа не тільки в тому, що споживачі з ентузіазмом ставляться до цього, а не тільки в тому, що ціла купа компаній планує почати з нуля навколо нього, і навіть навколо GPT-5 будується якась зовнішня політика.
Крім того, поява GPT-5 також може загострити війни з чіпами, які щойно ще більше загострилися.
Маркус сказав, що є також люди, які спеціально націлені на очікувану масштабну модель GPT-5 і просять її призупинити виробництво.
Звичайно, є досить багато людей, які налаштовані дуже оптимістично, і деякі з них вважають, що GPT-5 може усунути або, принаймні, значно розвіяти багато занепокоєнь, які люди мають щодо існуючих моделей, таких як їхня ненадійність, упереджені тенденції та схильність виливати авторитетні нісенітниці.
Але Маркус вважає, що йому ніколи не було ясно, чи дійсно проста побудова більшої моделі вирішить ці проблеми.
Сьогодні в деяких іноземних ЗМІ з'явилася новина про те, що ще один проект OpenAI, Arrakis, має на меті зробити менші та ефективніші моделі, але був скасований вищим керівництвом, оскільки не відповідав очікуваним цілям.
Маркус сказав, що майже всі ми думали, що GPT-4 запустить GPT-5 якнайшвидше, і що GPT-5 часто уявляють набагато потужнішим за GPT-4, тому Сем здивував усіх, коли заперечив це.
Було багато спекуляцій з цього приводу, наприклад, проблеми з графічним процесором, згадані вище, і OpenAI може не мати достатньо готівки для навчання цих моделей (які, як відомо, дорогі для навчання).
Але знову ж таки, OpenAI навряд чи так добре фінансується, як будь-який стартап. Для компанії, яка щойно залучила 10 мільярдів доларів, навіть 500 мільйонів доларів на навчання не є чимось неможливим.
Іншими словами, OpenAI усвідомлює, що витрати на навчання моделі або її запуск будуть дуже високими, і вони не впевнені, чи зможуть отримати прибуток за ці витрати.
Здається, в цьому є певний сенс.
Третій аргумент і думка Маркуса полягає в тому, що OpenAI вже провела кілька тестів підтвердження концепції під час презентації Альтмана в травні, але вони були незадоволені результатами.
Зрештою, вони можуть дійти висновку, що якщо GPT-5 є лише збільшеною версією GPT-4, то він не виправдає очікувань і далеко не дотягне до заздалегідь встановлених цілей.
Якщо результати лише розчаровують або навіть жарт, то навчання GPT-5 не варте того, щоб витрачати сотні мільйонів доларів.
По суті, Лекун думає так само.
GPT переходить від 4 до 5, що більше, ніж просто 4plus. Від 4 до 5 має бути епохальним.
Тут потрібна нова парадигма, а не просто масштабування моделі.
Отже, з точки зору зміни парадигми, звичайно, чим багатша компанія, тим більше шансів досягти цієї мети. Але різниця полягає в тому, що це більше не обов'язково має бути OpenAI. Оскільки зміна парадигми є новим шляхом, минулий досвід або накопичення можуть не принести великої користі.
Так само, з економічної точки зору, якщо це правда, як припускає Маркус, то розробка GPT-5 еквівалентна відкладенню на невизначений термін. Ніхто не знає, коли з'явиться нова технологія.
Це схоже на те, що зараз автомобілі на нових джерелах енергії, як правило, мають запас ходу в сотні кілометрів, і якщо ви хочете прослужити тисячі кілометрів, вам потрібна нова технологія акумуляторів. Крім досвіду і капіталу, також може знадобитися трохи удачі і шансу прорватися через нові технології.
Але в будь-якому випадку, якщо Маркус має рацію, то комерційна цінність GPT-5 напевно сильно скоротиться в майбутньому.
Ресурси: