La noticia sobre GPT-5 ha vuelto a hacerse viral recientemente.
Desde el principio de la revelación de que OpenAI estaba entrenando en secreto GPT-5, hasta la posterior aclaración de Sam Altman; Más tarde, cuando se trató de cuántas GPU H100 se necesitaban para entrenar GPT-5, el CEO de DeepMind, Suleyman, entrevistó a OpenAI, que estaba entrenando en secreto GPT-5.
Y luego hubo una nueva ronda de especulaciones.
Intercalada con la audaz predicción de Altman de que GPT-10 aparecerá antes de 2030, más que la suma de toda la inteligencia humana, hay una nube AGI real.
y luego al reciente modelo multimodal de OpenAI llamado Gobi, y la fuerte demanda por el modelo Gimini de Google, la competencia entre los dos gigantes está a punto de comenzar.
Durante un tiempo, los últimos avances en los grandes modelos de lenguaje se han convertido en el tema más candente del círculo.
Parafraseando un poema antiguo, "todavía sosteniendo la pipa y cubriendo la cara a medias" para describirlo, es muy apropiado. Simplemente no sé cuándo podré realmente "salir del armario después de mucho tiempo".
Resumen de la línea de tiempo
De lo que vamos a hablar hoy está directamente relacionado con GPT-5, y es un análisis de nuestro viejo amigo Gary Marcus.
El punto central es solo una frase: GPT-4 a 5 no es tan simple como expandir el tamaño del modelo, sino un cambio en todo el paradigma de la IA. Y desde este punto de vista, OpenAI, que desarrolló GPT-4, no es necesariamente la empresa que llegó primero a 5.
Es decir, cuando hay que cambiar el paradigma, la acumulación previa no es muy transferible.
Pero antes de entrar en el punto de vista de Marcus, repasemos brevemente lo que le sucedió al legendario GPT-5 recientemente y lo que ha dicho el campo de la opinión pública.
Al principio, Karpathy, cofundador de OpenAI, tuiteó que H100 es un tema candente buscado por los gigantes, y que a todo el mundo le importa quién tiene esta cosa y cuántos hay.
Luego hubo mucha discusión sobre cuántas GPU H100 necesitaba entrenar cada empresa.
Eso es todo.
GPT-4 puede haber sido entrenado en unos 10.000-25.000 A100
Meta acerca de 21000 A100
Tesla alrededor de 7000 A100
La IA de estabilidad es de aproximadamente 5000 A100
El Falcon-40B fue entrenado en 384 A100
Al respecto, Musk también participó en la discusión, según Musk, el entrenamiento GPT-5 puede tomar entre 30.000 y 50.000 H100.
Anteriormente, Morgan Stanley también dijo una predicción similar, pero el número total es un poco menor de lo que dijo Musk, alrededor de 25,000 GPU.
Por supuesto, en esta ola de poner GPT-5 sobre la mesa para hablar, Sam Altman debe salir a refutar los rumores, indicando que OpenAI no está entrenando GPT-5.
Algunos internautas audaces especularon que la razón por la que OpenAI lo negó probablemente fue solo el nombre del modelo de próxima generación, no GPT-5.
De todos modos, según Sam Altman, es debido a la falta de GPU que muchos planes se retrasan. Incluso dijo que no quería que mucha gente usara GPT-4.
El deseo de GPU en toda la industria es el mismo. Según las estadísticas, el número total de GPU requeridas por todos los gigantes tecnológicos debe ser de más de 430.000. Es una cantidad astronómica de dinero, casi 15.000 millones de dólares.
Pero era demasiado indirecto hacer retroceder a GPT-5 a través de la cantidad de GPU, por lo que Suleyman, el fundador de DeepMind, "martilleó" directamente en una entrevista, diciendo que OpenAI estaba entrenando en secreto a GPT-5, no lo ocultes.
Por supuesto, en la entrevista completa, Suleyman también habló sobre muchos grandes chismes en la industria, como por qué DeepMind se está quedando atrás en la competencia con OpenAI, obviamente no se retrasa demasiado en el tiempo.
También había mucha información privilegiada, como lo que sucedió cuando Google lo adquirió en ese momento. Pero estos tienen poco que ver con GPT-5, y los amigos interesados pueden averiguarlo por sí mismos.
Con todo, esta ola es el último avance de GPT-5 por parte de los peces gordos de la industria, lo que hace que todos sospechen.
Después de eso, Sam Altman dijo en una conexión uno a uno: "Creo que antes de 2030, aparecerá AGI, llamado GPT-10, que es más que la suma de toda la inteligencia humana".
Por un lado, predice audazmente y, por otro lado, niega que esté entrenando GPT-5, lo que dificulta que otros sepan realmente lo que está haciendo OpenAI.
En este sentido, Altman vislumbró muchos escenarios futuros. Por ejemplo, cómo entiende AGI, cuándo aparecerá AGI, qué hará OpenAI si AGI realmente aparece, y qué debería hacer toda la humanidad.
Pero en términos de progreso real, Altman lo planifica de esta manera: "Le dije a la gente de la compañía que nuestro objetivo era mejorar el rendimiento de nuestros prototipos en un 10 por ciento cada 12 meses".
"Si estableces ese objetivo en el 20%, podría ser demasiado alto".
Es un arreglo concreto. Pero la conexión entre el 10% y el 20% y GPT-5 no está clara.
El más valioso es el siguiente: el modelo multimodal Gobi de OpenAI.
La atención se centra en la competencia candente entre Google y OpenAI, en qué etapa.
Antes de hablar de Gobi, tenemos que hablar de la visión GPT. Esta generación de modelos es muy potente. Tome una foto de boceto, envíela directamente a GPT y el sitio web la hará por usted en minutos.
Por no hablar de la escritura de código.
Una vez finalizada la visión GPT, OpenAI podría lanzar un gran modelo multimodal más potente, con nombre en clave Gobi.
A diferencia de GPT-4, Gobi se construyó desde cero en un modelo multimodal.
Esto también despertó el interés de los espectadores: ¿es Gobi el legendario GPT-5?
Por supuesto, aún no sabemos a dónde ha llegado Gobi y no hay noticias definitivas.
Suleyman insiste en que Sam Altman puede no estar diciendo la verdad cuando recientemente dijo que no entrenaron GPT-5.
Vista de Marcus
Para empezar diciendo que es muy posible que ningún producto de prelanzamiento en la historia de la tecnología (con la posible excepción del iPhone) se haya esperado más que GPT-5.
No es solo porque los consumidores estén entusiasmados con él, no es solo porque un montón de empresas están planeando comenzar desde cero en torno a él, e incluso parte de la política exterior se basa en GPT-5.
Además, la llegada de GPT-5 también podría exacerbar las guerras de chips que acaban de intensificarse aún más.
Marcus dijo que también hay personas que apuntan específicamente al modelo a escala esperado de GPT-5 y le piden que suspenda la producción.
Por supuesto, hay bastantes personas que son muy optimistas, y algunas que imaginan que GPT-5 puede eliminar, o al menos disipar en gran medida, muchas de las preocupaciones que la gente tiene sobre los modelos existentes, como su falta de fiabilidad, sus tendencias sesgadas y su tendencia a verter tonterías autoritarias.
Pero Marcus cree que nunca tuvo claro si la simple construcción de un modelo más grande realmente resolvería estos problemas.
Hoy, algunos medios extranjeros dieron la noticia de que otro proyecto de OpenAI, Arrakis, tiene como objetivo hacer modelos más pequeños y eficientes, pero fue cancelado por la alta dirección porque no cumplió con los objetivos esperados.
Marcus dijo que casi todos pensábamos que GPT-4 lanzaría GPT-5 lo antes posible, y que a menudo se imagina que GPT-5 es mucho más poderoso que GPT-4, por lo que Sam sorprendió a todos cuando lo negó.
Ha habido mucha especulación al respecto, como los problemas de GPU mencionados anteriormente, y es posible que OpenAI no tenga suficiente dinero disponible para entrenar estos modelos (que son notoriamente caros de entrenar).
Pero, de nuevo, OpenAI no está tan bien financiada como cualquier startup. Para una empresa que acaba de recaudar 10.000 millones de dólares, incluso 500 millones de dólares en formación no es imposible.
Otra forma de decirlo es que OpenAI se da cuenta de que los costos de entrenar un modelo o ejecutarlo serán muy altos, y no están seguros de poder obtener ganancias con esos costos.
Eso parece tener algún sentido.
El tercer argumento, y la opinión de Marcus, es que OpenAI ya había hecho algunas pruebas de concepto durante la presentación de Altman en mayo, pero no estaban contentos con los resultados.
Al final, pueden llegar a la conclusión de que si GPT-5 es solo una versión ampliada de GPT-4, entonces no cumplirá con las expectativas y estará muy por debajo de los objetivos preestablecidos.
Si los resultados son solo decepcionantes o incluso una broma, entonces no vale la pena gastar cientos de millones de dólares en entrenar GPT-5.
De hecho, LeCun piensa de la misma manera.
GPT pasa de 4 a 5, que es más que solo 4plus. 4 a 5 debería ser del tipo que hace época.
Lo que se necesita aquí es un nuevo paradigma, no solo ampliar el modelo.
Entonces, en términos de cambio de paradigma, por supuesto, cuanto más rica sea la empresa, más probabilidades tendrá de lograr este objetivo. Pero la diferencia es que ya no tiene por qué ser OpenAI. Debido a que el cambio de paradigma es un nuevo camino, la experiencia o acumulación pasada puede no ser de mucha utilidad.
Del mismo modo, desde un punto de vista económico, si es cierto como sugiere Marcus, entonces el desarrollo de GPT-5 equivale a posponerse indefinidamente. Nadie sabe cuándo llegará la nueva tecnología.
Es así que ahora los vehículos de nueva energía generalmente tienen un alcance de cientos de kilómetros, y si quieres durar miles de kilómetros, necesitas una nueva tecnología de baterías. Además de la experiencia y el capital, también puede ser necesario un poco de suerte y oportunidad para abrirse paso a través de las nuevas tecnologías.
Pero en cualquier caso, si Marcus tiene razón, entonces el valor comercial de GPT-5 seguramente se reducirá mucho en el futuro.
Recursos:
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
¡Marcus analiza GPT-5! Se necesita urgentemente un nuevo paradigma, y OpenAI no tiene ninguna ventaja
Fuente original: New Zhiyuan
La noticia sobre GPT-5 ha vuelto a hacerse viral recientemente.
Desde el principio de la revelación de que OpenAI estaba entrenando en secreto GPT-5, hasta la posterior aclaración de Sam Altman; Más tarde, cuando se trató de cuántas GPU H100 se necesitaban para entrenar GPT-5, el CEO de DeepMind, Suleyman, entrevistó a OpenAI, que estaba entrenando en secreto GPT-5.
Y luego hubo una nueva ronda de especulaciones.
Intercalada con la audaz predicción de Altman de que GPT-10 aparecerá antes de 2030, más que la suma de toda la inteligencia humana, hay una nube AGI real.
y luego al reciente modelo multimodal de OpenAI llamado Gobi, y la fuerte demanda por el modelo Gimini de Google, la competencia entre los dos gigantes está a punto de comenzar.
Durante un tiempo, los últimos avances en los grandes modelos de lenguaje se han convertido en el tema más candente del círculo.
Parafraseando un poema antiguo, "todavía sosteniendo la pipa y cubriendo la cara a medias" para describirlo, es muy apropiado. Simplemente no sé cuándo podré realmente "salir del armario después de mucho tiempo".
Resumen de la línea de tiempo
De lo que vamos a hablar hoy está directamente relacionado con GPT-5, y es un análisis de nuestro viejo amigo Gary Marcus.
El punto central es solo una frase: GPT-4 a 5 no es tan simple como expandir el tamaño del modelo, sino un cambio en todo el paradigma de la IA. Y desde este punto de vista, OpenAI, que desarrolló GPT-4, no es necesariamente la empresa que llegó primero a 5.
Es decir, cuando hay que cambiar el paradigma, la acumulación previa no es muy transferible.
Pero antes de entrar en el punto de vista de Marcus, repasemos brevemente lo que le sucedió al legendario GPT-5 recientemente y lo que ha dicho el campo de la opinión pública.
Al principio, Karpathy, cofundador de OpenAI, tuiteó que H100 es un tema candente buscado por los gigantes, y que a todo el mundo le importa quién tiene esta cosa y cuántos hay.
GPT-4 puede haber sido entrenado en unos 10.000-25.000 A100
Meta acerca de 21000 A100
Tesla alrededor de 7000 A100
La IA de estabilidad es de aproximadamente 5000 A100
El Falcon-40B fue entrenado en 384 A100
Al respecto, Musk también participó en la discusión, según Musk, el entrenamiento GPT-5 puede tomar entre 30.000 y 50.000 H100.
Anteriormente, Morgan Stanley también dijo una predicción similar, pero el número total es un poco menor de lo que dijo Musk, alrededor de 25,000 GPU.
Por supuesto, en esta ola de poner GPT-5 sobre la mesa para hablar, Sam Altman debe salir a refutar los rumores, indicando que OpenAI no está entrenando GPT-5.
Algunos internautas audaces especularon que la razón por la que OpenAI lo negó probablemente fue solo el nombre del modelo de próxima generación, no GPT-5.
El deseo de GPU en toda la industria es el mismo. Según las estadísticas, el número total de GPU requeridas por todos los gigantes tecnológicos debe ser de más de 430.000. Es una cantidad astronómica de dinero, casi 15.000 millones de dólares.
Pero era demasiado indirecto hacer retroceder a GPT-5 a través de la cantidad de GPU, por lo que Suleyman, el fundador de DeepMind, "martilleó" directamente en una entrevista, diciendo que OpenAI estaba entrenando en secreto a GPT-5, no lo ocultes.
Por supuesto, en la entrevista completa, Suleyman también habló sobre muchos grandes chismes en la industria, como por qué DeepMind se está quedando atrás en la competencia con OpenAI, obviamente no se retrasa demasiado en el tiempo.
También había mucha información privilegiada, como lo que sucedió cuando Google lo adquirió en ese momento. Pero estos tienen poco que ver con GPT-5, y los amigos interesados pueden averiguarlo por sí mismos.
Con todo, esta ola es el último avance de GPT-5 por parte de los peces gordos de la industria, lo que hace que todos sospechen.
Después de eso, Sam Altman dijo en una conexión uno a uno: "Creo que antes de 2030, aparecerá AGI, llamado GPT-10, que es más que la suma de toda la inteligencia humana".
En este sentido, Altman vislumbró muchos escenarios futuros. Por ejemplo, cómo entiende AGI, cuándo aparecerá AGI, qué hará OpenAI si AGI realmente aparece, y qué debería hacer toda la humanidad.
Pero en términos de progreso real, Altman lo planifica de esta manera: "Le dije a la gente de la compañía que nuestro objetivo era mejorar el rendimiento de nuestros prototipos en un 10 por ciento cada 12 meses".
"Si estableces ese objetivo en el 20%, podría ser demasiado alto".
El más valioso es el siguiente: el modelo multimodal Gobi de OpenAI.
La atención se centra en la competencia candente entre Google y OpenAI, en qué etapa.
Antes de hablar de Gobi, tenemos que hablar de la visión GPT. Esta generación de modelos es muy potente. Tome una foto de boceto, envíela directamente a GPT y el sitio web la hará por usted en minutos.
Por no hablar de la escritura de código.
A diferencia de GPT-4, Gobi se construyó desde cero en un modelo multimodal.
Esto también despertó el interés de los espectadores: ¿es Gobi el legendario GPT-5?
Suleyman insiste en que Sam Altman puede no estar diciendo la verdad cuando recientemente dijo que no entrenaron GPT-5.
Vista de Marcus
Para empezar diciendo que es muy posible que ningún producto de prelanzamiento en la historia de la tecnología (con la posible excepción del iPhone) se haya esperado más que GPT-5.
No es solo porque los consumidores estén entusiasmados con él, no es solo porque un montón de empresas están planeando comenzar desde cero en torno a él, e incluso parte de la política exterior se basa en GPT-5.
Además, la llegada de GPT-5 también podría exacerbar las guerras de chips que acaban de intensificarse aún más.
Marcus dijo que también hay personas que apuntan específicamente al modelo a escala esperado de GPT-5 y le piden que suspenda la producción.
Por supuesto, hay bastantes personas que son muy optimistas, y algunas que imaginan que GPT-5 puede eliminar, o al menos disipar en gran medida, muchas de las preocupaciones que la gente tiene sobre los modelos existentes, como su falta de fiabilidad, sus tendencias sesgadas y su tendencia a verter tonterías autoritarias.
Pero Marcus cree que nunca tuvo claro si la simple construcción de un modelo más grande realmente resolvería estos problemas.
Hoy, algunos medios extranjeros dieron la noticia de que otro proyecto de OpenAI, Arrakis, tiene como objetivo hacer modelos más pequeños y eficientes, pero fue cancelado por la alta dirección porque no cumplió con los objetivos esperados.
Marcus dijo que casi todos pensábamos que GPT-4 lanzaría GPT-5 lo antes posible, y que a menudo se imagina que GPT-5 es mucho más poderoso que GPT-4, por lo que Sam sorprendió a todos cuando lo negó.
Ha habido mucha especulación al respecto, como los problemas de GPU mencionados anteriormente, y es posible que OpenAI no tenga suficiente dinero disponible para entrenar estos modelos (que son notoriamente caros de entrenar).
Pero, de nuevo, OpenAI no está tan bien financiada como cualquier startup. Para una empresa que acaba de recaudar 10.000 millones de dólares, incluso 500 millones de dólares en formación no es imposible.
Otra forma de decirlo es que OpenAI se da cuenta de que los costos de entrenar un modelo o ejecutarlo serán muy altos, y no están seguros de poder obtener ganancias con esos costos.
Eso parece tener algún sentido.
El tercer argumento, y la opinión de Marcus, es que OpenAI ya había hecho algunas pruebas de concepto durante la presentación de Altman en mayo, pero no estaban contentos con los resultados.
Al final, pueden llegar a la conclusión de que si GPT-5 es solo una versión ampliada de GPT-4, entonces no cumplirá con las expectativas y estará muy por debajo de los objetivos preestablecidos.
Si los resultados son solo decepcionantes o incluso una broma, entonces no vale la pena gastar cientos de millones de dólares en entrenar GPT-5.
De hecho, LeCun piensa de la misma manera.
GPT pasa de 4 a 5, que es más que solo 4plus. 4 a 5 debería ser del tipo que hace época.
Lo que se necesita aquí es un nuevo paradigma, no solo ampliar el modelo.
Entonces, en términos de cambio de paradigma, por supuesto, cuanto más rica sea la empresa, más probabilidades tendrá de lograr este objetivo. Pero la diferencia es que ya no tiene por qué ser OpenAI. Debido a que el cambio de paradigma es un nuevo camino, la experiencia o acumulación pasada puede no ser de mucha utilidad.
Del mismo modo, desde un punto de vista económico, si es cierto como sugiere Marcus, entonces el desarrollo de GPT-5 equivale a posponerse indefinidamente. Nadie sabe cuándo llegará la nueva tecnología.
Es así que ahora los vehículos de nueva energía generalmente tienen un alcance de cientos de kilómetros, y si quieres durar miles de kilómetros, necesitas una nueva tecnología de baterías. Además de la experiencia y el capital, también puede ser necesario un poco de suerte y oportunidad para abrirse paso a través de las nuevas tecnologías.
Pero en cualquier caso, si Marcus tiene razón, entonces el valor comercial de GPT-5 seguramente se reducirá mucho en el futuro.
Recursos: