Stability AI a publié plusieurs mises à jour de produits qui apporteront des capacités 3D aux modèles SD

Source de l’image : Généré par Unbounded AI

Stability AI, le développeur de Stable Diffusion (SD), un modèle de génération d’images open source, a annoncé aujourd’hui plusieurs nouvelles améliorations apportées à sa plateforme Stable Diffusion. Non seulement ces mises à jour offrent de nouvelles capacités de conversion de texte en image, mais elles exploitent également le monde de la création de contenu 3D.

La génération de modèles 3D est arrivée

L’amélioration la plus notable est le tout nouveau modèle 3D stable. Jusqu’à présent, Stable Diffusion s’est principalement concentré sur la génération d’images bidimensionnelles (2D). Les modèles 3D stables changeront cela, en fournissant des fonctionnalités qui aident à créer tout type de contenu 3D, y compris la conception graphique et même le développement de jeux vidéo.

Pour les graphistes, les artistes numériques et les développeurs de jeux, la création de contenu 3D peut être l’une des tâches les plus complexes et les plus chronophages, prenant souvent des heures (et parfois des jours) pour créer un objet 3D modérément complexe.

La capacité de Stable 3D à générer des objets 3D texturés de qualité conceptuelle à partir d’images ou d’illustrations, ou en écrivant des invites textuelles, élimine une grande partie de la complexité et permet aux non-experts de générer un modèle 3D de qualité brouillon en quelques minutes en sélectionnant un modèle.

Les objets créés avec Stable 3D sont au format de fichier standard « .obj », qui peut être modifié et affiné dans des outils 3D tels que Blender et Maya, ou importé dans des moteurs de jeu tels que Unreal Engine 5 ou Unity. Réduit considérablement la charge de travail des créateurs.

Stable 3D offre un environnement créatif rapide aux concepteurs, artistes et développeurs indépendants, leur permettant de créer des milliers d’objets 3D par jour à une fraction du coût.

Actuellement, Stability AI n’est ouvert qu’à un aperçu privé de Stable 3D, demandez l’accès

Remplacement du ciel

En plus de son incursion dans la génération de contenu 3D, Stability AI a également lancé l’outil Sky Replacer, qui est conçu pour faire exactement ce que son nom suggère : remplacer l’arrière-plan du ciel dans les images 2D.

La plate-forme Stable Diffusion propose désormais également Stable Fine-Tuning, conçu pour aider les entreprises à accélérer le processus de réglage fin des images pour des cas d’utilisation spécifiques.

De plus, l’entreprise intégrera un filigrane invisible pour l’authentification du contenu dans les images générées par l’API Stability AI. Alors que l’IA générative fait de plus en plus partie des flux de travail courants, ces nouvelles mises à jour sont toutes conçues pour aider les entreprises à développer leur créativité.

Emad Mostaque, PDG de Stability AI, a déclaré dans une interview : « Il s’agit de donner aux conteurs créatifs les outils dont ils ont besoin pour avoir un contrôle supplémentaire sur leurs images. "

L’espace de plus en plus concurrentiel de l’AIGC

Les avancées de Stability AI interviennent à un moment où le marché de la génération de texte en image devient de plus en plus concurrentiel.

Adobe a ciblé ce marché avec Firefly, un outil d’IA étroitement intégré au logiciel de conception de l’entreprise. Midjourney ajoute constamment de nouvelles fonctionnalités à sa technologie pour aider les concepteurs à générer des images. À ne pas négliger, OpenAI a récemment publié le modèle natif DALL-E 3 de ChatGPT, qui améliore la capacité à générer du texte dans les images.

Mostaque est bien conscient de ses concurrents et s’engage à aider Stability AI à se démarquer de plusieurs façons. En particulier, il a souligné que son entreprise est en train de passer d’une simple offre de modèles à une transmission d’idées. Il souligne qu’avec le nouveau Sky Replacer et les capacités de réglage fin, il s’agit d’étapes supplémentaires au-delà du modèle de base de base utilisé pour générer des images.

Sky Replacer est plus qu’une simple fonctionnalité, il est également axé sur les cas d’utilisation professionnels.

Le concept de remplacement des arrière-plans dans les images n’est pas nouveau. Dans les applications d’IA non génératives, les arrière-plans peuvent souvent être remplacés par des techniques telles que l’écran vert et l’incrustation chromatique.

Selon M. Mostaque, Stability AI crée et automatise des flux de travail en plus de ces technologies classiques afin de rendre les processus rapides et efficaces pour les utilisateurs professionnels. Changer la couleur d’arrière-plan du ciel ne consiste pas seulement à ajouter une forme de flair créatif, c’est une fonctionnalité avec un cas d’utilisation très spécifique et pratique.

« Sky Replacer, par exemple, est très utile pour l’immobilier. »

Mostaque souligne que les utilisateurs veulent pouvoir avoir différents arrière-plans et différents effets d’éclairage. Fondamentalement, a-t-il souligné, il s’agit de fournir un contrôle, car les organisations ont leurs propres flux de travail pour générer des images et du contenu. Ce que fait Stability AI, c’est créer des flux de travail optimisés pour aider à obtenir le contrôle nécessaire pour différents cas d’utilisation.

« Sky Replacer est le premier d’une série de produits que nous allons lancer et qui sont très spécifiques à l’industrie et à l’entreprise, en nous appuyant sur notre expérience au cours des 6 à 12 derniers mois. »

Stable 3D élargit les cas d’usage de Stable Diffusion

Le nouveau modèle 3D stable fonctionne en étendant le modèle de diffusion utilisé dans Stable Diffusion pour inclure des jeux de données 3D supplémentaires et la vectorisation.

« Je suis vraiment excité à l’idée de pouvoir créer le monde entier en 3D. »

Mostaque a expliqué que Stable 3D a été construit sur la base du travail de Stable Diffusion and Stability AI sur Objaverse-XL, l’un des plus grands ensembles de données 3D ouverts au monde. La création et le rendu d’images 3D ont longtemps été un processus gourmand en ressources, mais Mostaque est optimiste quant au fait que la stabilisation 3D sera plus efficace que les méthodes traditionnelles de génération d’images 3D. Il a souligné qu’il est encore tôt pour stabiliser l’IA, mais il est optimiste quant au fait que la technologie évoluera et se développera régulièrement au fil du temps. La version 3D stable est initialement disponible en préversion privée.

« C’est très efficace par rapport à la création de modèles 3D traditionnels. Ce qui prenait beaucoup de temps à construire est maintenant en train d’obtenir les premières approbations très rapidement. "

Filigranes et décret de Biden sur l’IA

L’administration Biden a publié un décret sur l’intelligence artificielle cette semaine, dont l’un des composants consiste à intégrer des filigranes dans le contenu généré.

Stability AI intègre désormais des filigranes invisibles et des informations d’identification de contenu dans son API. Content Credentials est un effort multifournisseur de l’industrie qu’Adobe et d’autres font appel pour aider à fournir des informations sur le contenu aux auteurs. Mostaque dit que c’est une chose responsable à faire d’ajouter des filigranes invisibles et des informations d’identification de contenu. Cela fait également partie de l’effort plus large de Stability AI pour apporter de l’authenticité au contenu qu’elle génère.

« Nous sommes vraiment en train de déployer une série d’initiatives et d’autres initiatives autour de cette question, ainsi que des recherches supplémentaires, parce que nous voulons savoir ce qui est vrai et ce qui est faux », a déclaré Mostaque. Cela aide également à certains des mécanismes d’attribution et autres que nous construisons pour les futures versions. "

Ressources: