La "bataille des cent modèles" des grands modèles d'IA : le ralentissement de l'innovation technologique, la mise en œuvre technique devient clé

Le mois dernier, un "combat d'animaux" a éclaté dans le domaine de l'IA.

D'un côté, il y a Llama lancé par Meta, qui est très apprécié des développeurs grâce à ses caractéristiques open source. Après avoir étudié les documents et le code source de Llama, la société japonaise (NEC) a rapidement développé une version japonaise de ChatGPT, résolvant ainsi le problème des goulots d'étranglement du développement de l'IA au Japon.

L'autre partie est un grand modèle nommé Falcon. En mai, après la sortie de Falcon-40B, il a surpassé Llama pour atteindre la première place du "classement des LLM open source". Ce classement est établi par la communauté des modèles open source et fournit des critères pour évaluer les capacités des LLM. Llama et Falcon occupent alternativement la première place.

Après la sortie de Llama 2, la famille Llama est temporairement en tête. Mais début septembre, Falcon a lancé la version 180B, reprenant à nouveau la première place.

Il est intéressant de noter que les développeurs de Falcon sont l'Institut de recherche sur l'innovation technologique d'Abou Dhabi, aux Émirats arabes unis, et non une entreprise technologique. Des responsables émiratis ont déclaré : "Nous participons à ce domaine pour bouleverser les acteurs dominants."

Le jour suivant la publication de la version 180B, le ministre des Technologies de l'Intelligence Artificielle des Émirats Arabes Unis a été sélectionné parmi les "100 personnes les plus influentes dans le domaine de l'IA" par le magazine Time. Parmi les autres sélectionnés figurent le "père de l'IA" Geoffrey Hinton, Sam Altman d'OpenAI et le PDG de Baidu, Robin Li.

Aujourd'hui, le domaine de l'IA est entré dans une phase de concurrence féroce : tous les pays et entreprises disposant de ressources financières suffisantes s'efforcent de créer leur propre version de ChatGPT. Rien que dans la région du Golfe, il n'y a pas qu'un seul participant - en août, l'Arabie Saoudite a acheté plus de 3000 puces H100 pour ses universités afin d'entraîner des LLM.

Des investisseurs sur les plateformes sociales s'exclament : "À l'époque, je méprisais l'innovation des modèles commerciaux d'Internet, pensant qu'il n'y avait pas de barrière à l'entrée : la bataille des cent groupes, la bataille des cent voitures, la bataille des cent diffusions ; je ne pensais pas que l'entrepreneuriat en matière de grandes technologies et de modèles serait toujours une bataille des cent modèles..."

Comment une technologie dure, réputée difficile, a-t-elle évolué vers une situation où chaque pays a le même modèle et une production incroyable ?

Transformer change le monde

Les startups américaines, les géants technologiques chinois et les magnats du pétrole du Moyen-Orient peuvent entrer dans le domaine des grands modèles grâce à cet article célèbre : "Attention Is All You Need".

En 2017, huit informaticiens de Google ont publié l'algorithme Transformer dans cet article. Cet article est actuellement le troisième le plus cité de l'histoire de l'IA, et l'apparition du Transformer a déclenché cette vague actuelle d'engouement pour l'IA.

Les différents grands modèles actuels, y compris la série GPT qui a fait sensation dans le monde entier, sont tous basés sur la technologie Transformer.

Auparavant, "apprendre aux machines à lire" était un problème académique reconnu. Contrairement à la reconnaissance d'images, lors de la lecture, les humains ne se concentrent pas seulement sur les mots et les phrases actuels, mais ils comprennent également en tenant compte du contexte.

Par exemple, "Transformer" peut être traduit par "变形金刚", mais les lecteurs de cet article ne le comprendront pas de cette manière, car tout le monde sait qu'il ne s'agit pas d'un article sur un film d'Hollywood.

Les premiers réseaux de neurones avaient des entrées indépendantes, incapables de comprendre de longs paragraphes voire des articles entiers, ce qui entraînait des problèmes comme la traduction de "开水间" en "open water room".

Jusqu'en 2014, le scientifique Ilya Sutskever, qui avait travaillé chez Google avant de rejoindre OpenAI, a réalisé une percée. Il a utilisé des réseaux de neurones récurrents (RNN) pour traiter le langage naturel, ce qui a permis à Google Traduction de dépasser rapidement ses concurrents.

Le RNN propose un "design récurrent", permettant à chaque neurone de recevoir à la fois l'entrée actuelle et l'entrée du moment précédent, conférant ainsi au réseau de neurones la capacité de "prendre en compte le contexte".

L'apparition des RNN a suscité l'enthousiasme de la recherche académique, et plus tard, l'auteur du papier Transformer, Noam Shazeer(, a également mené des recherches approfondies. Cependant, les développeurs ont rapidement découvert que les RNN présentaient des défauts graves :

L'algorithme utilise un calcul séquentiel, bien qu'il puisse résoudre les problèmes de contexte, son efficacité d'exécution n'est pas élevée et il est difficile de traiter un grand nombre de paramètres.

La conception complexe des RNN a rapidement ennuyé Chazelle. Ainsi, à partir de 2015, Chazelle et sept passionnés ont commencé à développer un remplacement pour les RNN, et le résultat final est le Transformer.

Comparé aux RNN, le Transformer a deux grandes révolutions :

Premièrement, l'utilisation de l'encodage de position a remplacé la conception cyclique des RNN, permettant un calcul parallèle - cela a considérablement amélioré l'efficacité de l'entraînement, lui permettant de traiter de grandes quantités de données et d'emmener l'IA vers l'ère des grands modèles ; deuxièmement, cela a encore renforcé la capacité contextuelle.

Transformer résout d'un coup plusieurs défauts et devient progressivement la solution principale en traitement du langage naturel (NLP) ), donnant un sentiment de "sans Transformer, le NLP serait dans une nuit éternelle". Même Ilia a abandonné son propre RNN pour se tourner vers le Transformer.

En d'autres termes, le Transformer est l'ancêtre de tous les grands modèles d'aujourd'hui, car il a transformé les grands modèles d'une recherche théorique en un problème d'ingénierie pur.

En 2019, OpenAI a développé GPT-2 basé sur Transformer, qui a une fois ébloui le milieu académique. En réponse, Google a rapidement lancé une IA plus performante - Meena.

Comparé à GPT-2, Meena n'apporte aucune innovation algorithmique, elle a simplement 8,5 fois plus de paramètres d'entraînement et 14 fois plus de puissance de calcul. L'auteur du papier sur Transformer, Shazeer, a été grandement impressionné par cette "accumulation brutale" et a immédiatement rédigé un mémoire intitulé "Meena dévore le monde".

Depuis l'apparition des Transformers, la vitesse d'innovation des algorithmes de base dans le milieu académique a considérablement diminué. Des facteurs d'ingénierie tels que l'ingénierie des données, l'échelle de calcul et l'architecture des modèles sont devenus de plus en plus cruciaux dans la compétition en IA, et toute entreprise technologique ayant des capacités techniques peut développer de grands modèles.

Ainsi, le scientifique en informatique Andrew Ng a déclaré lors d'une conférence à l'Université de Stanford : "L'IA est un ensemble d'outils, y compris l'apprentissage supervisé, l'apprentissage non supervisé, l'apprentissage par renforcement et maintenant l'IA générative. Ce sont toutes des technologies générales, similaires à d'autres technologies générales telles que l'électricité et Internet."

OpenAI est sans aucun doute toujours le baromètre des LLM, mais l'institut d'analyse des semi-conducteurs Semi Analysis estime que la compétitivité de GPT-4 provient de solutions d'ingénierie - si c'est open source, tout concurrent peut rapidement le reproduire.

Cet analyste prévoit que, peut-être dans peu de temps, d'autres grandes entreprises technologiques pourront également développer de grands modèles aux performances équivalentes à celles de GPT-4.

Une douve construite sur du verre

Aujourd'hui, la "bataille des centaines de modèles" n'est plus une métaphore, mais une réalité.

Des rapports connexes montrent qu'à la fin de juillet de cette année, le nombre de grands modèles nationaux a atteint 130, dépassant les 114 des États-Unis, réalisant ainsi un dépassement sur la courbe. Divers mythes et légendes sont presque insuffisants pour nommer les entreprises technologiques nationales.

En dehors de la Chine et des États-Unis, d'autres pays relativement riches ont également réalisé un "modèle unique pour chaque pays": en plus du Japon et des Émirats arabes unis, il y a aussi Bhashini, dirigé par le gouvernement indien, et HyperClova X développé par la société internet coréenne Naver.

Cette scène semble nous ramener à l'époque de la bulle Internet, avec des entreprises se disputant leur "capacité à dépenser".

Comme mentionné précédemment, le Transformer transforme les grands modèles en un problème purement d'ingénierie. Tant que quelqu'un a de l'argent et des cartes graphiques, le reste est laissé aux paramètres. Cependant, un seuil d'entrée bas ne signifie pas que tout le monde peut devenir un géant à l'ère de l'IA.

Le "Animal Battle" mentionné au début est un exemple typique : bien que Falcon soit mieux classé que Llama, il est difficile de dire qu'il a eu un grand impact sur Meta.

Comme nous le savons tous, les entreprises open source leurs résultats de recherche afin de partager les bienfaits de la technologie avec la société et d'encourager l'intelligence collective. Avec l'utilisation et l'amélioration approfondies de Llama par des professeurs d'université, des institutions de recherche et des PME, Meta peut appliquer ces résultats à ses propres produits.

Pour les grands modèles open source, une communauté de développeurs active est la véritable force concurrentielle.

Meta a établi un ton de base open source dès la création de son laboratoire d'IA en 2015 ; Zuckerberg, ayant fait ses débuts dans les médias sociaux, comprend mieux l'art de "bien entretenir les relations avec le public".

Par exemple, en octobre, Meta a organisé l'événement "Incitations pour les créateurs en version IA" : les développeurs utilisant Llama 2 pour résoudre des problèmes sociaux tels que l'éducation et l'environnement ont la possibilité de recevoir un financement de 500 000 dollars.

Aujourd'hui, la série Llama de Meta est devenue un indicateur de référence pour les LLM open source.

À début octobre, parmi le Top 10 des classements de LLM open source, 8 sont basés sur Llama 2 et utilisent son protocole open source. Sur cette plateforme, le nombre de LLM utilisant le protocole open source de Llama 2 a déjà dépassé 1500.

Bien sûr, améliorer les performances comme Falcon n'est pas une mauvaise idée, mais la plupart des LLM sur le marché présentent encore un écart évident par rapport à GPT-4.

Par exemple, récemment, GPT-4 a atteint la première place du classement AgentBench avec un score de 4,41. AgentBench a été lancé conjointement par l'Université Tsinghua, l'Université d'État de l'Ohio et l'Université de Californie à Berkeley, afin d'évaluer la capacité de raisonnement et de prise de décision des LLM dans un environnement de génération ouverte multidimensionnelle. Le contenu des tests couvre des tâches dans 8 environnements différents, notamment les systèmes d'exploitation, les bases de données, les graphes de connaissances et les jeux de cartes.

Les résultats des tests montrent que le deuxième, Claude, n'a obtenu que 2,77 points, ce qui reste un écart assez important. Quant à ces LLM open source qui font tant de bruit, leurs scores se situent généralement autour de 1 point, soit moins d'un quart de celui de GPT-4.

Il faut savoir que GPT-4 a été publié en mars de cette année, ce qui est le résultat d'un retard de plus de six mois par rapport à la concurrence mondiale. Cette différence est due à l'équipe de scientifiques d'OpenAI, dont la "densité de QI" est extrêmement élevée, ainsi qu'à l'expérience accumulée au cours de recherches prolongées sur les LLM, ce qui leur permet de rester toujours en avance.

C'est-à-dire que la capacité clé des grands modèles n'est pas les paramètres, mais la construction de l'écosystème ( open source ) ou la capacité d'inférence pure ( fermée ).

Avec l'essor de la communauté open source, les performances des LLM pourraient converger, car tout le monde utilise des architectures de modèles et des ensembles de données similaires.

Un autre problème plus évident est que, à part Midjourney, il ne semble pas qu'un autre grand modèle puisse être rentable.

Point d'ancrage de la valeur

En août de cette année, un article intitulé "OpenAI pourrait faire faillite d'ici fin 2024" a suscité l'attention. Son propos peut presque se résumer en une phrase : OpenAI brûle trop d'argent.

L'article mentionne qu'après le développement de ChatGPT, les pertes d'OpenAI se sont rapidement creusées, atteignant environ 540 millions de dollars en 2022, et ils doivent simplement attendre que les investisseurs paient.

Bien que le titre de l'article soit accrocheur, il révèle la situation de nombreux fournisseurs de grands modèles : un déséquilibre sévère entre les coûts et les revenus.

Des coûts trop élevés signifient qu'actuellement, seuls Nvidia et peut-être Broadcom gagnent beaucoup d'argent grâce à l'IA.

Selon la société de conseil Omdia, Nvidia a vendu plus de 300 000 unités de H100 au deuxième trimestre de cette année. Il s'agit d'une puce AI, très efficace pour entraîner l'IA, que les entreprises technologiques et les institutions de recherche du monde entier s'arrachent. Si l'on empile les 300 000 unités de H100, leur poids équivaut à celui de 4,5 avions Boeing 747.

Les performances de Nvidia ont alors fortement augmenté, avec une augmentation des revenus de 854 % par rapport à l'année précédente, ce qui a choqué Wall Street. À titre d'information, le prix du marché de l'occasion pour le H100 a déjà grimpé à 40 000 à 50 000 dollars, alors que son coût matériel n'est d'environ que 3 000 dollars.

Le coût élevé de la puissance de calcul est devenu, dans une certaine mesure, un frein au développement de l'industrie. Un célèbre capital-risque a estimé que les entreprises technologiques du monde entier dépenseront environ 200 milliards de dollars par an pour la construction d'infrastructures de grands modèles ; en revanche, les grands modèles ne peuvent générer au maximum que 75 milliards de dollars de revenus par an, avec un écart d'au moins 125 milliards de dollars.

De plus, à l'exception de quelques rares cas comme Midjourney, la plupart des entreprises de logiciels n'ont pas encore réfléchi à la manière de générer des profits après avoir investi des coûts énormes. Surtout les deux grands leaders du secteur, Microsoft et Adobe, avancent de manière quelque peu hésitante.

L'outil de génération de code AI GitHub Copilot, développé en collaboration entre Microsoft et OpenAI, coûte 10 dollars par mois, mais en raison des coûts d'infrastructure, Microsoft perd en fait 20 dollars par utilisateur. Les utilisateurs intensifs peuvent même entraîner une perte mensuelle de 80 dollars pour Microsoft. Sur cette base, on peut supposer que le Microsoft 365 Copilot, qui est tarifé à 30 dollars, pourrait entraîner des pertes encore plus importantes.

De même, Adobe, qui vient de lancer l'outil Firefly AI, a rapidement mis en place un système de points associé pour éviter que les utilisateurs n'en abusent et ne causent des pertes à l'entreprise. Dès qu'un utilisateur dépasse le quota de points alloués par mois, Adobe réduira la vitesse du service.

Il faut savoir que Microsoft et Adobe sont déjà des géants du logiciel avec des scénarios commerciaux clairs et de nombreux utilisateurs payants. En revanche, la plupart des grands modèles avec une multitude de paramètres ont pour principale application le chat.

Il est indéniable que sans l'émergence d'OpenAI et de ChatGPT, cette révolution de l'IA ne se serait probablement pas produite ; mais à l'heure actuelle, la valeur apportée par l'entraînement des grands modèles soulève probablement un point d'interrogation.

De plus, avec l'intensification de la concurrence homogène et l'augmentation des modèles open source, l'espace disponible pour les fournisseurs de grands modèles pourrait être de plus en plus réduit.

Le succès de l'iPhone 4 n'est pas dû à son processeur A4 gravé en 45 nm, mais au fait qu'il peut jouer à Plants vs. Zombies et Angry Birds.