La nouvelle de GPT-5 est récemment redevenue virale.
Depuis le tout début de la révélation qu’OpenAI entraînait secrètement GPT-5, jusqu’à la clarification ultérieure par Sam Altman ; Plus tard, lorsqu’il s’est agi de savoir combien de GPU H100 étaient nécessaires pour entraîner GPT-5, le PDG de DeepMind, Suleyman, a interviewé OpenAI, qui entraînait secrètement GPT-5.
Et puis il y a eu une nouvelle série de spéculations.
Entrecoupé de la prédiction audacieuse d’Altman selon laquelle GPT-10 apparaîtra avant 2030, plus que la somme de toute l’intelligence humaine, se trouve un véritable nuage AGI.
et puis au récent modèle multimodal d’OpenAI appelé Gobi, et à l’appel fort pour le modèle Gimini de Google, la concurrence entre les deux géants est sur le point de commencer.
Pendant un certain temps, les derniers progrès dans les grands modèles de langage sont devenus le sujet le plus brûlant dans le cercle.
Pour paraphraser un poème ancien, « tenant toujours le pipa et couvrant à moitié le visage » pour le décrire, c’est tout à fait approprié. Je ne sais tout simplement pas quand je pourrai vraiment « faire mon coming out après une longue période ».
Récapitulatif de la chronologie
Ce dont nous allons parler aujourd’hui est directement lié à GPT-5, et c’est une analyse de notre vieil ami Gary Marcus.
Le point central tient en une seule phrase : GPT-4 à 5 n’est pas aussi simple que d’étendre la taille du modèle, mais un changement dans l’ensemble du paradigme de l’IA. Et de ce point de vue, OpenAI, qui a développé GPT-4, n’est pas forcément l’entreprise qui a atteint 5 en premier.
En d’autres termes, lorsque le paradigme doit changer, l’accumulation antérieure n’est pas très transférable.
Mais avant d’entrer dans le point de vue de Marcus, passons brièvement en revue ce qui est arrivé au légendaire GPT-5 récemment et ce que le champ de l’opinion publique a dit.
Au début, Karpathy, le cofondateur d’OpenAI, a tweeté que H100 est un sujet brûlant recherché par les géants, et que tout le monde se soucie de savoir qui a cette chose et combien il y en a.
Ensuite, il y a eu beaucoup de discussions sur le nombre de GPU H100 que chaque entreprise devait former.
C’est à peu près tout.
GPT-4 a peut-être été entraîné sur environ 10 000 à 25 000 A100
Meta à propos de 21000 A100
Tesla environ 7000 A100
La stabilité de l’IA est d’environ 5000 A100
Le Falcon-40B a été formé sur 384 A100
À ce sujet, Musk a également participé à la discussion, selon Musk, la formation GPT-5 peut prendre entre 30 000 et 50 000 H100.
Auparavant, Morgan Stanley avait également fait une prédiction similaire, mais le nombre global est un peu inférieur à celui de Musk, soit environ 25 000 GPU.
Bien sûr, cette vague de mise sur la table de GPT-5 pour parler, Sam Altman doit sortir pour réfuter les rumeurs, indiquant qu’OpenAI ne forme pas GPT-5.
Certains internautes audacieux ont émis l’hypothèse que la raison pour laquelle OpenAI l’a nié était probablement simplement le changement de nom du modèle de nouvelle génération, et non GPT-5.
Quoi qu’il en soit, selon Sam Altman, c’est à cause du manque de GPU que beaucoup de plans sont retardés. Il a même dit qu’il ne voulait pas que trop de gens utilisent GPT-4.
L’engouement pour les GPU dans l’ensemble de l’industrie est le même. Selon les statistiques, le nombre total de GPU requis par tous les géants de la technologie doit être supérieur à 430 000. C’est une somme astronomique, près de 15 milliards de dollars.
Mais c’était un peu trop détourné de pousser GPT-5 à reculons à travers la quantité de GPU, alors Suleyman, le fondateur de DeepMind, a directement « martelé » dans une interview, disant qu’OpenAI entraînait secrètement GPT-5, ne le cachez pas.
Bien sûr, dans l’interview complète, Suleyman a également parlé de nombreux grands potins dans l’industrie, tels que la raison pour laquelle DeepMind est à la traîne dans la concurrence avec OpenAI, évidemment il n’est pas trop en retard dans le temps.
Il y avait aussi beaucoup d’informations privilégiées, comme ce qui s’est passé lorsque Google l’a acquis à l’époque. Mais ceux-ci n’ont pas grand-chose à voir avec GPT-5, et les amis intéressés peuvent le découvrir par eux-mêmes.
Dans l’ensemble, cette vague est le dernier progrès de GPT-5 par les gros bonnets de l’industrie, ce qui rend tout le monde méfiant.
Après cela, Sam Altman a déclaré dans une connexion en tête-à-tête : « Je pense qu’avant 2030, l’AGI apparaîtra, appelé GPT-10, qui est plus que la somme de toute l’intelligence humaine. »
D’une part, il prédit avec audace, et d’autre part, il nie qu’il entraîne GPT-5, ce qui rend difficile pour les autres de vraiment savoir ce que fait OpenAI.
À cet égard, Altman a envisagé de nombreux scénarios futurs. Par exemple, comment comprend-il l’IAG, quand l’IAG apparaîtra-t-elle, que fera OpenAI si l’IAG apparaît vraiment, et que devrait faire toute l’humanité.
Mais en termes de progrès réels, Altman le planifie de cette façon : « J’ai dit aux gens de l’entreprise que notre objectif était d’améliorer les performances de nos prototypes de 10 % tous les 12 mois. »
« Si vous fixez cet objectif à 20 %, c’est peut-être un peu trop élevé. »
C’est un arrangement concret. Mais le lien entre 10% et 20% et GPT-5 n’est pas clair.
Le plus précieux est le suivant : le modèle multimodal Gobi d’OpenAI.
L’accent est mis sur la concurrence acharnée entre Google et OpenAI, à quel stade.
Avant de parler de Gobi, nous devons parler de la vision GPT. Cette génération de modèles est très puissante. Prenez une photo de croquis, envoyez-la directement à GPT, et le site Web la fera pour vous en quelques minutes.
Sans parler de l’écriture de code.
Une fois la vision GPT terminée, OpenAI pourrait lancer un grand modèle multimodal plus puissant, dont le nom de code est Gobi.
Contrairement à GPT-4, Gobi a été construit à partir de zéro sur un modèle multimodal.
Cela a également suscité l’intérêt des spectateurs - Gobi est-il le légendaire GPT-5 ?
Bien sûr, nous ne savons pas encore d’où Gobi est venu, et il n’y a pas de nouvelles précises.
Suleyman est catégorique sur le fait que Sam Altman ne dit peut-être pas la vérité lorsqu’il a récemment déclaré qu’ils n’avaient pas entraîné GPT-5.
Vue de Marcus
Pour commencer par dire qu’il est tout à fait possible qu’aucun produit en pré-version dans l’histoire de la technologie (à l’exception peut-être de l’iPhone) n’ait été plus attendu que GPT-5.
Ce n’est pas seulement parce que les consommateurs sont enthousiastes à ce sujet, ce n’est pas seulement parce que tout un tas d’entreprises envisagent de repartir de zéro autour de cela, et même une partie de la politique étrangère est construite autour de GPT-5.
En outre, l’avènement de GPT-5 pourrait également exacerber les guerres des puces qui viennent de s’intensifier.
Marcus a déclaré qu’il y avait aussi des gens qui ciblaient spécifiquement le modèle à l’échelle attendu de GPT-5 et lui demandaient de suspendre la production.
Bien sûr, il y a un certain nombre de personnes qui sont très optimistes, et certaines qui imaginent que GPT-5 peut éliminer, ou du moins dissiper considérablement, bon nombre des préoccupations que les gens ont au sujet des modèles existants, telles que leur manque de fiabilité, leurs tendances biaisées et leur tendance à déverser des absurdités faisant autorité.
Mais Marcus pense qu’il n’a jamais été clair pour lui si le simple fait de construire un modèle plus grand résoudrait réellement ces problèmes.
Aujourd’hui, certains médias étrangers ont annoncé qu’un autre projet d’OpenAI, Arrakis, vise à créer des modèles plus petits et plus efficaces, mais qu’il a été annulé par la direction car il n’a pas atteint les objectifs escomptés.
Marcus a dit que presque tous pensaient que GPT-4 lancerait GPT-5 dès que possible, et que GPT-5 est souvent imaginé comme étant beaucoup plus puissant que GPT-4, alors Sam a surpris tout le monde quand il l’a nié.
Il y a eu beaucoup de spéculations à ce sujet, comme les problèmes de GPU mentionnés ci-dessus, et OpenAI n’a peut-être pas assez de liquidités pour entraîner ces modèles (qui sont notoirement coûteux à entraîner).
Mais là encore, OpenAI est à peine aussi bien financé que n’importe quelle startup. Pour une entreprise qui vient de lever 10 milliards de dollars, même 500 millions de dollars en formation n’est pas impossible.
Une autre façon de le dire est qu’OpenAI se rend compte que les coûts d’entraînement ou d’exécution d’un modèle seront très élevés, et qu’ils ne sont pas sûrs de pouvoir réaliser un profit à ces coûts.
Cela semble logique.
Le troisième argument, et l’opinion de Marcus, est qu’OpenAI avait déjà effectué des tests de preuve de concept lors de la présentation d’Altman en mai, mais qu’ils n’étaient pas satisfaits des résultats.
En fin de compte, ils peuvent conclure que si GPT-5 n’est qu’une version agrandie de GPT-4, alors il ne répondra pas aux attentes et sera loin d’atteindre les objectifs prédéfinis.
Si les résultats ne sont que décevants ou même une blague, alors l’entraînement GPT-5 ne vaut pas la peine de dépenser des centaines de millions de dollars.
En fait, LeCun pense de la même façon.
GPT passe de 4 à 5, ce qui est plus que 4plus. 4 à 5 devrait être le genre d’époque.
Ce qu’il faut ici, c’est un nouveau paradigme, et pas seulement une mise à l’échelle du modèle.
Donc, en termes de changement de paradigme, bien sûr, plus l’entreprise est riche, plus elle a de chances d’atteindre cet objectif. Mais la différence, c’est qu’il n’est plus nécessaire que ce soit OpenAI. Parce que le changement de paradigme est une nouvelle voie, l’expérience ou l’accumulation passée peut ne pas être d’une grande utilité.
De même, d’un point de vue économique, si c’est vrai comme le suggère Marcus, alors le développement de GPT-5 équivaut à être reporté indéfiniment. Personne ne sait quand la nouvelle technologie arrivera.
C’est comme ça maintenant que les véhicules à énergie nouvelle ont généralement une autonomie de centaines de kilomètres, et si vous voulez durer des milliers de kilomètres, vous avez besoin d’une nouvelle technologie de batterie. En plus de l’expérience et du capital, il faudra peut-être aussi un peu de chance pour percer de nouvelles technologies.
Mais dans tous les cas, si Marcus a raison, alors la valeur commerciale de GPT-5 diminuera sûrement beaucoup à l’avenir.
Ressources:
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Marcus passe en revue GPT-5 ! Un nouveau paradigme est nécessaire de toute urgence, et OpenAI n’a aucun avantage
Source d’origine : New Zhiyuan
La nouvelle de GPT-5 est récemment redevenue virale.
Depuis le tout début de la révélation qu’OpenAI entraînait secrètement GPT-5, jusqu’à la clarification ultérieure par Sam Altman ; Plus tard, lorsqu’il s’est agi de savoir combien de GPU H100 étaient nécessaires pour entraîner GPT-5, le PDG de DeepMind, Suleyman, a interviewé OpenAI, qui entraînait secrètement GPT-5.
Et puis il y a eu une nouvelle série de spéculations.
Entrecoupé de la prédiction audacieuse d’Altman selon laquelle GPT-10 apparaîtra avant 2030, plus que la somme de toute l’intelligence humaine, se trouve un véritable nuage AGI.
et puis au récent modèle multimodal d’OpenAI appelé Gobi, et à l’appel fort pour le modèle Gimini de Google, la concurrence entre les deux géants est sur le point de commencer.
Pendant un certain temps, les derniers progrès dans les grands modèles de langage sont devenus le sujet le plus brûlant dans le cercle.
Pour paraphraser un poème ancien, « tenant toujours le pipa et couvrant à moitié le visage » pour le décrire, c’est tout à fait approprié. Je ne sais tout simplement pas quand je pourrai vraiment « faire mon coming out après une longue période ».
Récapitulatif de la chronologie
Ce dont nous allons parler aujourd’hui est directement lié à GPT-5, et c’est une analyse de notre vieil ami Gary Marcus.
Le point central tient en une seule phrase : GPT-4 à 5 n’est pas aussi simple que d’étendre la taille du modèle, mais un changement dans l’ensemble du paradigme de l’IA. Et de ce point de vue, OpenAI, qui a développé GPT-4, n’est pas forcément l’entreprise qui a atteint 5 en premier.
En d’autres termes, lorsque le paradigme doit changer, l’accumulation antérieure n’est pas très transférable.
Mais avant d’entrer dans le point de vue de Marcus, passons brièvement en revue ce qui est arrivé au légendaire GPT-5 récemment et ce que le champ de l’opinion publique a dit.
Au début, Karpathy, le cofondateur d’OpenAI, a tweeté que H100 est un sujet brûlant recherché par les géants, et que tout le monde se soucie de savoir qui a cette chose et combien il y en a.
GPT-4 a peut-être été entraîné sur environ 10 000 à 25 000 A100
Meta à propos de 21000 A100
Tesla environ 7000 A100
La stabilité de l’IA est d’environ 5000 A100
Le Falcon-40B a été formé sur 384 A100
À ce sujet, Musk a également participé à la discussion, selon Musk, la formation GPT-5 peut prendre entre 30 000 et 50 000 H100.
Auparavant, Morgan Stanley avait également fait une prédiction similaire, mais le nombre global est un peu inférieur à celui de Musk, soit environ 25 000 GPU.
Bien sûr, cette vague de mise sur la table de GPT-5 pour parler, Sam Altman doit sortir pour réfuter les rumeurs, indiquant qu’OpenAI ne forme pas GPT-5.
Certains internautes audacieux ont émis l’hypothèse que la raison pour laquelle OpenAI l’a nié était probablement simplement le changement de nom du modèle de nouvelle génération, et non GPT-5.
L’engouement pour les GPU dans l’ensemble de l’industrie est le même. Selon les statistiques, le nombre total de GPU requis par tous les géants de la technologie doit être supérieur à 430 000. C’est une somme astronomique, près de 15 milliards de dollars.
Mais c’était un peu trop détourné de pousser GPT-5 à reculons à travers la quantité de GPU, alors Suleyman, le fondateur de DeepMind, a directement « martelé » dans une interview, disant qu’OpenAI entraînait secrètement GPT-5, ne le cachez pas.
Bien sûr, dans l’interview complète, Suleyman a également parlé de nombreux grands potins dans l’industrie, tels que la raison pour laquelle DeepMind est à la traîne dans la concurrence avec OpenAI, évidemment il n’est pas trop en retard dans le temps.
Il y avait aussi beaucoup d’informations privilégiées, comme ce qui s’est passé lorsque Google l’a acquis à l’époque. Mais ceux-ci n’ont pas grand-chose à voir avec GPT-5, et les amis intéressés peuvent le découvrir par eux-mêmes.
Dans l’ensemble, cette vague est le dernier progrès de GPT-5 par les gros bonnets de l’industrie, ce qui rend tout le monde méfiant.
Après cela, Sam Altman a déclaré dans une connexion en tête-à-tête : « Je pense qu’avant 2030, l’AGI apparaîtra, appelé GPT-10, qui est plus que la somme de toute l’intelligence humaine. »
À cet égard, Altman a envisagé de nombreux scénarios futurs. Par exemple, comment comprend-il l’IAG, quand l’IAG apparaîtra-t-elle, que fera OpenAI si l’IAG apparaît vraiment, et que devrait faire toute l’humanité.
Mais en termes de progrès réels, Altman le planifie de cette façon : « J’ai dit aux gens de l’entreprise que notre objectif était d’améliorer les performances de nos prototypes de 10 % tous les 12 mois. »
« Si vous fixez cet objectif à 20 %, c’est peut-être un peu trop élevé. »
Le plus précieux est le suivant : le modèle multimodal Gobi d’OpenAI.
L’accent est mis sur la concurrence acharnée entre Google et OpenAI, à quel stade.
Avant de parler de Gobi, nous devons parler de la vision GPT. Cette génération de modèles est très puissante. Prenez une photo de croquis, envoyez-la directement à GPT, et le site Web la fera pour vous en quelques minutes.
Sans parler de l’écriture de code.
Contrairement à GPT-4, Gobi a été construit à partir de zéro sur un modèle multimodal.
Cela a également suscité l’intérêt des spectateurs - Gobi est-il le légendaire GPT-5 ?
Suleyman est catégorique sur le fait que Sam Altman ne dit peut-être pas la vérité lorsqu’il a récemment déclaré qu’ils n’avaient pas entraîné GPT-5.
Vue de Marcus
Pour commencer par dire qu’il est tout à fait possible qu’aucun produit en pré-version dans l’histoire de la technologie (à l’exception peut-être de l’iPhone) n’ait été plus attendu que GPT-5.
Ce n’est pas seulement parce que les consommateurs sont enthousiastes à ce sujet, ce n’est pas seulement parce que tout un tas d’entreprises envisagent de repartir de zéro autour de cela, et même une partie de la politique étrangère est construite autour de GPT-5.
En outre, l’avènement de GPT-5 pourrait également exacerber les guerres des puces qui viennent de s’intensifier.
Marcus a déclaré qu’il y avait aussi des gens qui ciblaient spécifiquement le modèle à l’échelle attendu de GPT-5 et lui demandaient de suspendre la production.
Bien sûr, il y a un certain nombre de personnes qui sont très optimistes, et certaines qui imaginent que GPT-5 peut éliminer, ou du moins dissiper considérablement, bon nombre des préoccupations que les gens ont au sujet des modèles existants, telles que leur manque de fiabilité, leurs tendances biaisées et leur tendance à déverser des absurdités faisant autorité.
Mais Marcus pense qu’il n’a jamais été clair pour lui si le simple fait de construire un modèle plus grand résoudrait réellement ces problèmes.
Aujourd’hui, certains médias étrangers ont annoncé qu’un autre projet d’OpenAI, Arrakis, vise à créer des modèles plus petits et plus efficaces, mais qu’il a été annulé par la direction car il n’a pas atteint les objectifs escomptés.
Marcus a dit que presque tous pensaient que GPT-4 lancerait GPT-5 dès que possible, et que GPT-5 est souvent imaginé comme étant beaucoup plus puissant que GPT-4, alors Sam a surpris tout le monde quand il l’a nié.
Il y a eu beaucoup de spéculations à ce sujet, comme les problèmes de GPU mentionnés ci-dessus, et OpenAI n’a peut-être pas assez de liquidités pour entraîner ces modèles (qui sont notoirement coûteux à entraîner).
Mais là encore, OpenAI est à peine aussi bien financé que n’importe quelle startup. Pour une entreprise qui vient de lever 10 milliards de dollars, même 500 millions de dollars en formation n’est pas impossible.
Une autre façon de le dire est qu’OpenAI se rend compte que les coûts d’entraînement ou d’exécution d’un modèle seront très élevés, et qu’ils ne sont pas sûrs de pouvoir réaliser un profit à ces coûts.
Cela semble logique.
Le troisième argument, et l’opinion de Marcus, est qu’OpenAI avait déjà effectué des tests de preuve de concept lors de la présentation d’Altman en mai, mais qu’ils n’étaient pas satisfaits des résultats.
En fin de compte, ils peuvent conclure que si GPT-5 n’est qu’une version agrandie de GPT-4, alors il ne répondra pas aux attentes et sera loin d’atteindre les objectifs prédéfinis.
Si les résultats ne sont que décevants ou même une blague, alors l’entraînement GPT-5 ne vaut pas la peine de dépenser des centaines de millions de dollars.
En fait, LeCun pense de la même façon.
GPT passe de 4 à 5, ce qui est plus que 4plus. 4 à 5 devrait être le genre d’époque.
Ce qu’il faut ici, c’est un nouveau paradigme, et pas seulement une mise à l’échelle du modèle.
Donc, en termes de changement de paradigme, bien sûr, plus l’entreprise est riche, plus elle a de chances d’atteindre cet objectif. Mais la différence, c’est qu’il n’est plus nécessaire que ce soit OpenAI. Parce que le changement de paradigme est une nouvelle voie, l’expérience ou l’accumulation passée peut ne pas être d’une grande utilité.
De même, d’un point de vue économique, si c’est vrai comme le suggère Marcus, alors le développement de GPT-5 équivaut à être reporté indéfiniment. Personne ne sait quand la nouvelle technologie arrivera.
C’est comme ça maintenant que les véhicules à énergie nouvelle ont généralement une autonomie de centaines de kilomètres, et si vous voulez durer des milliers de kilomètres, vous avez besoin d’une nouvelle technologie de batterie. En plus de l’expérience et du capital, il faudra peut-être aussi un peu de chance pour percer de nouvelles technologies.
Mais dans tous les cas, si Marcus a raison, alors la valeur commerciale de GPT-5 diminuera sûrement beaucoup à l’avenir.
Ressources: