Cela fait près d’un an que le grand modèle est entré dans le champ de vision des gens, et sous la vague des grands modèles d’IA, les grandes entreprises technologiques se sont précipitées pour lancer leurs propres produits de grand modèle. Dans le même temps, les entreprises de divers secteurs accordent également une attention particulière aux grands modèles.
Si l’on dit que la situation des grands fabricants lançant des produits de modèles réduits à grande échelle pour former une « guerre de 100 modèles » est la première moitié de la « bataille » des grands modèles, alors la seconde moitié de cette « bataille » se concentrera davantage sur la capacité d’intégration des produits de modèles réduits à grande échelle, ainsi que sur la direction de développement de la plate-forme et de l’industrialisation.
La seconde moitié du jeu, la plateformisation et l’industrialisation deviendront la piste clé
Si l’on prend ChatGPT, le « créateur » du grand modèle, ChatGPT est une application et peut être considéré comme une application, tandis que GPT4 est un grand modèle, construisant une écologie similaire à un grand modèle, de sorte que les entreprises peuvent construire leurs propres grands modèles sur cette base.
D’après les cas ci-dessus, on peut voir qu’au cours de la dernière année près d’un an, toutes les entreprises se sont concentrées sur le polissage de produits similaires à « ChatGPT », et l’atterrissage se fait du côté des applications, tandis que du côté des entreprises, l’industrie manque toujours d’une plate-forme permettant aux entreprises d’appeler de manière flexible chaque grand modèle de produit, ou d’ouvrir un grand modèle pour leurs propres besoins en fonction d’un certain produit. Selon Li Gang, vice-président et directeur technique de Digital China, si un grand modèle veut réaliser l’explosion des applications du côté de l’entreprise, il a besoin d’une, voire de plusieurs plates-formes open source et open big model.
En ce qui concerne l’application de grands modèles au niveau de l’entreprise, nous devons mentionner le grand modèle de l’industrie, l’observation des médias en titane a révélé que le grand modèle actuel au niveau de l’industrie est encore au stade initial du développement, bien que de nombreuses entreprises aient lancé le grand modèle de l’industrie, mais l’application n’est pas très bonne.
Si l’on prend l’exemple de l’industrie financière en pleine croissance, Bloomberg a lancé en mars de cette année BloombergGPT, un grand modèle de langage pour le secteur financier, qui a attiré l’attention du marché sur les grands modèles dans les secteurs verticaux financiers, et en juin, l’Université Columbia et NYU Shanghai ont lancé FinGPT.
En Chine, en juillet, Huawei a lancé le modèle Pangu, dont l’un est l’un des nombreux modèles de l’industrie. En septembre, Ant Group a officiellement publié son « Ant Basic Model » auto-développé et le « Ant Financial Model » personnalisé sur cette base.
Li Gang a déclaré à Titanium Media que les types de grands modèles sur le marché sont principalement divisés en plusieurs catégories, l’une est le modèle de base général, d’une manière générale, ces grands modèles construisent une base de données à travers le corpus du langage naturel, et après le nettoyage, la formation et d’autres opérations, le grand modèle de base est créé, « Ce type de modèle, plus le corpus est grand, plus le nombre de paramètres est grand, plus la capacité est forte. » », a déclaré Li Gang.
L’autre type est le modèle de l’industrie, qui est très professionnel et nécessite un grand nombre de bases de connaissances de l’industrie, « À l’heure actuelle, le corpus de cette base de connaissances de l’industrie doit être contrôlé à 20 %, ni plus ni moins. » Li Gang a souligné : « S’il dépasse 20 %, le grand mannequin formé peut « ne pas être capable de parler », ce qui entraîne des obstacles à la communication, et moins de 20 % peuvent ne pas avoir le professionnalisme de l’industrie. » "
Couche « PaaS » pour la construction de grands modèles
Tout comme le cloud computing est divisé en IaaS, PaaS et SaaS, selon Huang Fu Ziqiao, directeur général du département de marketing stratégique de Digital China, à l’ère des grands modèles, les entreprises ont également besoin d’une plate-forme PaaS similaire à l’ère du cloud.
Afin de construire une plate-forme permettant aux entreprises de mieux utiliser les grands modèles, Digital China a récemment officiellement lancé la plate-forme Shenzhou Wenxue, parlant de l’importance de la sortie de la plate-forme, Li Gang a déclaré à Titanium Media : « Avec la plate-forme Shenzhou Wenxue comme noyau, nous ne faisons pas le grand modèle de base, mais l’intégration et le développement d’applications et la plate-forme de livraison du grand modèle, afin d’accélérer l’innovation de l’IA d’entreprise ; nous sommes le partenaire de service du big data, afin d’accélérer la mise à niveau de la gouvernance des données d’entreprise ; nous faisons des liens écologiques, des marchés modèles, des magasins de données, App Store, afin d’accélérer l’innovation industrielle et la rupture écologique. "
Au début de cette année, HUAWEI CLOUD a sorti le grand modèle Pangu et l’a classé selon L0, L1 et L2. Selon HUAWEI CLOUD, L0 fait référence au modèle de base, L1 fait référence au modèle industriel et L2 fait référence au modèle d’inférence pour les scénarios plus subdivisés.
En ce qui concerne les grands modèles de base, si l’on prend l’exemple du grand modèle de réseau de graphes, un grand modèle peut être adapté à plusieurs scénarios tels que l’optimisation des processus, la prédiction de séries chronologiques et l’analyse intelligente, et peut être appliqué à plusieurs industries telles que la finance, l’extraction du charbon et la fabrication.
En termes de modèles industriels, HUAWEI CLOUD a lancé des modèles industriels tels que le modèle financier de Pangu, le modèle de mine de Pangu, le modèle d’alimentation électrique de Pangu, le modèle d’inspection de la qualité de fabrication de Pangu et le modèle de molécule pharmaceutique de Pangu.
En termes de modèles d’inférence, par exemple, basés sur le modèle d’alimentation Pangu, HUAWEI CLOUD a lancé le modèle d’inspection de l’alimentation Pangu pour les scénarios de subdivision d’inspection de l’alimentation des drones par le biais d’une pré-formation + réglage fin des tâches en aval, qui résout les problèmes d’apprentissage de petits échantillons, d’apprentissage actif et d’apprentissage incrémental dans le système d’inspection intelligent des drones (détection des défauts), et résout les problèmes de charge de travail importante d’annotation de données massives et d’une grande variété de défauts.
Ce qui précède est la compréhension de HUAWEI CLOUD des grands modèles et de certaines des dispositions de l’industrie de HUAWEI CLOUD. Sur cette base, Huangfu Ziqiao a déclaré à Titanium Media que la plate-forme d’apprentissage de Digital China jouera le rôle de « convertisseur » en aidant les entreprises à passer de scénarios d’application industrielle L0 à L2, « offrant aux entreprises la possibilité de fournir une plate-forme PaaS similaire à l’ère du cloud computing ». », a déclaré Huangfu Ziqiao.
Par coïncidence, le directeur technique de Baidu, Wang Haifeng, a également déclaré publiquement que face au défi de l’industrialisation des modèles à grande échelle, l’industrie a besoin d’un modèle de fonderie de puces similaire pour adopter le modèle de « production intensive et d’application basée sur une plate-forme », c’est-à-dire que les entreprises disposant d’avantages complets en matière d’algorithmes, de puissance de calcul et de données encapsuleront le processus complexe de production de modèles et fourniront des services de modèles à grande échelle à des milliers d’industries grâce à une plate-forme de production à faible seuil et à haut rendement.
Selon Titanium Media, à l’heure actuelle, cette voie d’industrialisation a été vérifiée dans la pratique de l’industrie du grand modèle Wenxin, de Baidu et de diverses entreprises leaders de l’industrie, des institutions pour construire un grand modèle, y compris l’énergie, la finance, l’aérospatiale, la fabrication, les médias, la ville, les sciences sociales et le cinéma et la télévision et d’autres industries.
Réduction des coûts et abaissement du seuil sont l’objectif
Bien que les grands modèles aient progressivement pénétré dans tous les domaines de la vie, en termes de développement de grands modèles à ce stade, le coût d’utilisation de grands modèles est encore prohibitif pour de nombreuses entreprises pour les utilisateurs de niveau entreprise.
En prenant GPT-3 comme exemple, Nvidia a révélé qu’il faut 34 jours pour entraîner GPT-3 avec 175 milliards de paramètres, en utilisant 1 024 puces GPU A100, et que le coût d’une seule formation s’élève à 12 millions de dollars. Pour former des modèles d’IA à très grande échelle, Microsoft a même construit l’un des cinq meilleurs supercalculateurs au monde pour OpenAI.
Dans le même temps, selon le rapport « How Much Computing Power Does ChatGPT Needs " de Guosheng Securities, le coût de pré-entraînement des grands modèles est très élevé, le coût d’une formation dépassant un million de dollars américains. Ces frais couvrent non seulement l’architecture du modèle, la sélection de l’algorithme et la sélection des données d’entraînement, mais incluent également la grande quantité de ressources de calcul et le temps requis pour l’entraînement du modèle. Et avec la mise à niveau de la version grand modèle, son coût d’entraînement augmente également de manière exponentielle.
Robin Li, le fondateur, président et PDG de Baidu, a également souligné : « Aucune entreprise ne peut créer un modèle de langage aussi grand en quelques mois. » L’apprentissage profond et le traitement du langage naturel nécessitent des années de persévérance et d’accumulation, et ne peuvent pas être réalisés rapidement. "
Face à un coût aussi élevé de l’utilisation d’un grand modèle et de l’utilisation du seuil, il est inabordable pour les entreprises ordinaires, et c’est précisément à cause de cela que jusqu’à présent, il n’y a pas vraiment d’atterrissage parfait des produits de grand modèle de l’industrie sur le marché. À cet égard, Huangfu Ziqiao a déclaré que le coût de l’utilisation de grands modèles est le plus grand obstacle pour de nombreuses entreprises d’appliquer de grands modèles pour renforcer leurs activités, et que le positionnement de la plate-forme Shenzhou Wenxue est de permettre aux entreprises d’utiliser des produits de grands modèles à un coût de choix inférieur grâce à l’open source. « Il y a deux parties principales, l’une est la plate-forme et l’autre est l’application de scénario prête à l’emploi. Huangfu Ziqiao a déclaré à Titanium Media : « D’une part, ces deux parties espèrent rassembler davantage de partenaires écologiques pour responsabiliser conjointement les utilisateurs, et d’autre part, elles espèrent que les entreprises pourront utiliser des produits de modèles réduits à grande échelle plus rapidement et plus facilement. » "
C’est le consensus dans l’industrie pour réduire le coût et le seuil des grands modèles, qu’il s’agisse d’un GPU « difficile à trouver » ou de factures d’électricité élevées, qui sont les seuils pour les entreprises d’appliquer de grands modèles à ce stade, et tels que Shenzhou Wenxue, Baidu Qianfan, Kunlun Wanwei, etc., « différents styles », mais le même objectif - l’émergence de produits au niveau de la plate-forme qui « aident les grands modèles à atterrir », ainsi que le nombre croissant de partenaires dans l’écosystème des grands modèles, le seuil et le coût des grands modèles d’applications d’entreprise seront encore réduits. Nous nous rapprocherons également de plus en plus de l’inclusivité du modèle de l’industrie.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
La seconde moitié de la « guerre des 100 modèles » commencera, et la plate-forme deviendra la clé
Source d’origine : Titanium Media
Cela fait près d’un an que le grand modèle est entré dans le champ de vision des gens, et sous la vague des grands modèles d’IA, les grandes entreprises technologiques se sont précipitées pour lancer leurs propres produits de grand modèle. Dans le même temps, les entreprises de divers secteurs accordent également une attention particulière aux grands modèles.
Si l’on dit que la situation des grands fabricants lançant des produits de modèles réduits à grande échelle pour former une « guerre de 100 modèles » est la première moitié de la « bataille » des grands modèles, alors la seconde moitié de cette « bataille » se concentrera davantage sur la capacité d’intégration des produits de modèles réduits à grande échelle, ainsi que sur la direction de développement de la plate-forme et de l’industrialisation.
La seconde moitié du jeu, la plateformisation et l’industrialisation deviendront la piste clé
Si l’on prend ChatGPT, le « créateur » du grand modèle, ChatGPT est une application et peut être considéré comme une application, tandis que GPT4 est un grand modèle, construisant une écologie similaire à un grand modèle, de sorte que les entreprises peuvent construire leurs propres grands modèles sur cette base.
D’après les cas ci-dessus, on peut voir qu’au cours de la dernière année près d’un an, toutes les entreprises se sont concentrées sur le polissage de produits similaires à « ChatGPT », et l’atterrissage se fait du côté des applications, tandis que du côté des entreprises, l’industrie manque toujours d’une plate-forme permettant aux entreprises d’appeler de manière flexible chaque grand modèle de produit, ou d’ouvrir un grand modèle pour leurs propres besoins en fonction d’un certain produit. Selon Li Gang, vice-président et directeur technique de Digital China, si un grand modèle veut réaliser l’explosion des applications du côté de l’entreprise, il a besoin d’une, voire de plusieurs plates-formes open source et open big model.
En ce qui concerne l’application de grands modèles au niveau de l’entreprise, nous devons mentionner le grand modèle de l’industrie, l’observation des médias en titane a révélé que le grand modèle actuel au niveau de l’industrie est encore au stade initial du développement, bien que de nombreuses entreprises aient lancé le grand modèle de l’industrie, mais l’application n’est pas très bonne.
Si l’on prend l’exemple de l’industrie financière en pleine croissance, Bloomberg a lancé en mars de cette année BloombergGPT, un grand modèle de langage pour le secteur financier, qui a attiré l’attention du marché sur les grands modèles dans les secteurs verticaux financiers, et en juin, l’Université Columbia et NYU Shanghai ont lancé FinGPT.
En Chine, en juillet, Huawei a lancé le modèle Pangu, dont l’un est l’un des nombreux modèles de l’industrie. En septembre, Ant Group a officiellement publié son « Ant Basic Model » auto-développé et le « Ant Financial Model » personnalisé sur cette base.
Li Gang a déclaré à Titanium Media que les types de grands modèles sur le marché sont principalement divisés en plusieurs catégories, l’une est le modèle de base général, d’une manière générale, ces grands modèles construisent une base de données à travers le corpus du langage naturel, et après le nettoyage, la formation et d’autres opérations, le grand modèle de base est créé, « Ce type de modèle, plus le corpus est grand, plus le nombre de paramètres est grand, plus la capacité est forte. » », a déclaré Li Gang.
L’autre type est le modèle de l’industrie, qui est très professionnel et nécessite un grand nombre de bases de connaissances de l’industrie, « À l’heure actuelle, le corpus de cette base de connaissances de l’industrie doit être contrôlé à 20 %, ni plus ni moins. » Li Gang a souligné : « S’il dépasse 20 %, le grand mannequin formé peut « ne pas être capable de parler », ce qui entraîne des obstacles à la communication, et moins de 20 % peuvent ne pas avoir le professionnalisme de l’industrie. » "
Couche « PaaS » pour la construction de grands modèles
Tout comme le cloud computing est divisé en IaaS, PaaS et SaaS, selon Huang Fu Ziqiao, directeur général du département de marketing stratégique de Digital China, à l’ère des grands modèles, les entreprises ont également besoin d’une plate-forme PaaS similaire à l’ère du cloud.
Afin de construire une plate-forme permettant aux entreprises de mieux utiliser les grands modèles, Digital China a récemment officiellement lancé la plate-forme Shenzhou Wenxue, parlant de l’importance de la sortie de la plate-forme, Li Gang a déclaré à Titanium Media : « Avec la plate-forme Shenzhou Wenxue comme noyau, nous ne faisons pas le grand modèle de base, mais l’intégration et le développement d’applications et la plate-forme de livraison du grand modèle, afin d’accélérer l’innovation de l’IA d’entreprise ; nous sommes le partenaire de service du big data, afin d’accélérer la mise à niveau de la gouvernance des données d’entreprise ; nous faisons des liens écologiques, des marchés modèles, des magasins de données, App Store, afin d’accélérer l’innovation industrielle et la rupture écologique. "
Au début de cette année, HUAWEI CLOUD a sorti le grand modèle Pangu et l’a classé selon L0, L1 et L2. Selon HUAWEI CLOUD, L0 fait référence au modèle de base, L1 fait référence au modèle industriel et L2 fait référence au modèle d’inférence pour les scénarios plus subdivisés.
En ce qui concerne les grands modèles de base, si l’on prend l’exemple du grand modèle de réseau de graphes, un grand modèle peut être adapté à plusieurs scénarios tels que l’optimisation des processus, la prédiction de séries chronologiques et l’analyse intelligente, et peut être appliqué à plusieurs industries telles que la finance, l’extraction du charbon et la fabrication.
En termes de modèles industriels, HUAWEI CLOUD a lancé des modèles industriels tels que le modèle financier de Pangu, le modèle de mine de Pangu, le modèle d’alimentation électrique de Pangu, le modèle d’inspection de la qualité de fabrication de Pangu et le modèle de molécule pharmaceutique de Pangu.
En termes de modèles d’inférence, par exemple, basés sur le modèle d’alimentation Pangu, HUAWEI CLOUD a lancé le modèle d’inspection de l’alimentation Pangu pour les scénarios de subdivision d’inspection de l’alimentation des drones par le biais d’une pré-formation + réglage fin des tâches en aval, qui résout les problèmes d’apprentissage de petits échantillons, d’apprentissage actif et d’apprentissage incrémental dans le système d’inspection intelligent des drones (détection des défauts), et résout les problèmes de charge de travail importante d’annotation de données massives et d’une grande variété de défauts.
Ce qui précède est la compréhension de HUAWEI CLOUD des grands modèles et de certaines des dispositions de l’industrie de HUAWEI CLOUD. Sur cette base, Huangfu Ziqiao a déclaré à Titanium Media que la plate-forme d’apprentissage de Digital China jouera le rôle de « convertisseur » en aidant les entreprises à passer de scénarios d’application industrielle L0 à L2, « offrant aux entreprises la possibilité de fournir une plate-forme PaaS similaire à l’ère du cloud computing ». », a déclaré Huangfu Ziqiao.
Par coïncidence, le directeur technique de Baidu, Wang Haifeng, a également déclaré publiquement que face au défi de l’industrialisation des modèles à grande échelle, l’industrie a besoin d’un modèle de fonderie de puces similaire pour adopter le modèle de « production intensive et d’application basée sur une plate-forme », c’est-à-dire que les entreprises disposant d’avantages complets en matière d’algorithmes, de puissance de calcul et de données encapsuleront le processus complexe de production de modèles et fourniront des services de modèles à grande échelle à des milliers d’industries grâce à une plate-forme de production à faible seuil et à haut rendement.
Selon Titanium Media, à l’heure actuelle, cette voie d’industrialisation a été vérifiée dans la pratique de l’industrie du grand modèle Wenxin, de Baidu et de diverses entreprises leaders de l’industrie, des institutions pour construire un grand modèle, y compris l’énergie, la finance, l’aérospatiale, la fabrication, les médias, la ville, les sciences sociales et le cinéma et la télévision et d’autres industries.
Réduction des coûts et abaissement du seuil sont l’objectif
Bien que les grands modèles aient progressivement pénétré dans tous les domaines de la vie, en termes de développement de grands modèles à ce stade, le coût d’utilisation de grands modèles est encore prohibitif pour de nombreuses entreprises pour les utilisateurs de niveau entreprise.
En prenant GPT-3 comme exemple, Nvidia a révélé qu’il faut 34 jours pour entraîner GPT-3 avec 175 milliards de paramètres, en utilisant 1 024 puces GPU A100, et que le coût d’une seule formation s’élève à 12 millions de dollars. Pour former des modèles d’IA à très grande échelle, Microsoft a même construit l’un des cinq meilleurs supercalculateurs au monde pour OpenAI.
Dans le même temps, selon le rapport « How Much Computing Power Does ChatGPT Needs " de Guosheng Securities, le coût de pré-entraînement des grands modèles est très élevé, le coût d’une formation dépassant un million de dollars américains. Ces frais couvrent non seulement l’architecture du modèle, la sélection de l’algorithme et la sélection des données d’entraînement, mais incluent également la grande quantité de ressources de calcul et le temps requis pour l’entraînement du modèle. Et avec la mise à niveau de la version grand modèle, son coût d’entraînement augmente également de manière exponentielle.
Robin Li, le fondateur, président et PDG de Baidu, a également souligné : « Aucune entreprise ne peut créer un modèle de langage aussi grand en quelques mois. » L’apprentissage profond et le traitement du langage naturel nécessitent des années de persévérance et d’accumulation, et ne peuvent pas être réalisés rapidement. "
Face à un coût aussi élevé de l’utilisation d’un grand modèle et de l’utilisation du seuil, il est inabordable pour les entreprises ordinaires, et c’est précisément à cause de cela que jusqu’à présent, il n’y a pas vraiment d’atterrissage parfait des produits de grand modèle de l’industrie sur le marché. À cet égard, Huangfu Ziqiao a déclaré que le coût de l’utilisation de grands modèles est le plus grand obstacle pour de nombreuses entreprises d’appliquer de grands modèles pour renforcer leurs activités, et que le positionnement de la plate-forme Shenzhou Wenxue est de permettre aux entreprises d’utiliser des produits de grands modèles à un coût de choix inférieur grâce à l’open source. « Il y a deux parties principales, l’une est la plate-forme et l’autre est l’application de scénario prête à l’emploi. Huangfu Ziqiao a déclaré à Titanium Media : « D’une part, ces deux parties espèrent rassembler davantage de partenaires écologiques pour responsabiliser conjointement les utilisateurs, et d’autre part, elles espèrent que les entreprises pourront utiliser des produits de modèles réduits à grande échelle plus rapidement et plus facilement. » "
C’est le consensus dans l’industrie pour réduire le coût et le seuil des grands modèles, qu’il s’agisse d’un GPU « difficile à trouver » ou de factures d’électricité élevées, qui sont les seuils pour les entreprises d’appliquer de grands modèles à ce stade, et tels que Shenzhou Wenxue, Baidu Qianfan, Kunlun Wanwei, etc., « différents styles », mais le même objectif - l’émergence de produits au niveau de la plate-forme qui « aident les grands modèles à atterrir », ainsi que le nombre croissant de partenaires dans l’écosystème des grands modèles, le seuil et le coût des grands modèles d’applications d’entreprise seront encore réduits. Nous nous rapprocherons également de plus en plus de l’inclusivité du modèle de l’industrie.