IA : une base de modèles 3D révolutionnaire, et pourquoi vos créations en font peut-être partie

Cet article est également disponible en: Anglais

Mise à jour : ajout de précisions, dont une réaction de Sketchfab.

Des chercheurs viennent de dévoiler Objaverse, une base de données colossale de plus de 800 000 modèles 3D associés à une description texte.
Disponible au téléchargement, elle contient des modèles sous licence Creative Commons ou totalement libres de droits récupérés sur la plateforme Sketchfab. Autrement dit, si vous avez partagé des modèles sur cette plateforme, ils ont sans doute servi à alimenter cette base de données. Y compris si vous avez utilisé le tag NoAI censé exclure un usage de ce type, comme nous le verrons plus bas.

Pourquoi cette base ?

Dans la publication Objaverse: A Universe of Annotated 3D Objects, Matt Deitke et al. expliquent leur démarche. De gros ensembles de données sont déjà disponibles pour le texte ou les images, et ils sont un des fondamentaux ayant permis l’émergence des IA actuelles : des outils comme ChatGPT ou MidJourney ne sauraient pas générer de texte, d’images sans disposer de telles ressources, qu’elles soient publiques ou non, commerciales ou libres.

Du côté des modèles 3D, les ressources étaient jusqu’ici plus limitées. On trouve essentiellement des bases de données de petite ou moyenne taille, ou très spécialisées, ce qui limite les usages possibles.
Avec des bases massives et diversifiées, on verrait émerger de multiples IA toujours plus puissantes. On peut par exemple imaginer des outils capables de générer des modèles 3D à partir de texte, de faire de la retopologie automatique, d’identifier ce que représente un modèle 3D ou même un objet réel, de générer des animations. Les usages couvrent aussi d’autres secteurs comme la vision informatique. Enfin, une telle base peut aussi servir de benchmark/données de test, et pas seulement pour l’entraînement.

Des modèles récupérés sur Sketchfab

Vous l’aurez compris : les usages sont potentiellement massifs, d’où l’initiative de constituer une telle base. Pour créer Objaverse, les chercheurs expliquent avoir aspiré en masse des modèles 3D de Sketchfab : plus de 800 000 issus de plus de 100 000 artistes, avec des objets modélisés, animés ou non, des scans 3D, etc. Les descriptions, tags ont aussi été récupérés.
La base s’appuie uniquement sur des modèles qui étaient proposés sous licence libre (Creative Commons – By pour l’essentiel).

Objaverse est déjà utilisée

Des usages sont déjà en place : Text2Tex, par exemple, est un projet de génération de textures à partir de texte qui a été créé à l’aide d’Objaverse.

Matt Deitke, l’auteur principal de la publication qui dévoile Objaverse, évoque d’autres exemples comme Zero-1-to-3, un système qui permet notamment de faire une reconstruction 3D d’un objet à partir d’une simple image.

Un usage qui pose question

Dans l’absolu, cette aspiration de modèles 3D respecte la licence de mise en ligne sur Sketchfab, mais elle pose plusieurs questions.
De nombreux artistes ont mis en ligne leurs modèles 3D à une époque où ce genre d’usage pour les IA n’était pas vraiment envisagé. Par ailleurs, la base Objaverse ne semble pas prendre en compte les tags NoAI proposés par Sketchfab, justement mis en place pour exclure ce genre d’usage. On peut aussi se demander si des IA n’utiliseront pas la base avec un usage commercial en tête, au mépris de la licence initiale. Evidemment, ce ne serait pas du fait de l’équipe Objaverse et cette dérive est déjà possible avec un téléchargement classique sur Sketchfab, mais disposer du dataset facilite une dérive de grande ampleur.
Enfin, de nombreux modèles Sketchfab sous licence Creative Commons… ne sont en fait pas sous licence Creative Commons. Quelques secondes de recherche permettent par exemple de trouver un asset présenté comme rippé depuis un jeu Nintendo, et très légèrement modifié. Il n’est donc absolument pas sous licence libre.

En réaction à l’arrivée d’Objaverse, certains artistes ont choisi de supprimer leur compte Sketchfab, d’autres proposent, sans doute sous forme de blague, de ruiner l’intérêt de ce genre de base en mettant volontairement en ligne des modèles qui relèvent de la soupe de polygone, associés à des tags courants. Ce qui reviendrait à poster du spam, chose que Sketchfab et les autres utilisateurs pourraient ne pas apprécier.

Comment savoir si vos modèles sont inclus ?

L’équipe derrière Objaverse a mis en place un outil d’exploration, disponible ici. En cherchant votre pseudonyme Sketchfab ou une description, vous pourrez vérifier si vos modèles sont présents.

La réaction de Sketchfab

Alban Denoyel, CEO et cofondateur de Sketchfab (qui appartient à Epic Games et sera bientôt fusionnée au sein de Fab), a réagi sur Twitter.

Sa réponse tient en quatre points :

• il souligne que Sketchfab n’était pas au courant de la création d’Objaverse, et qu’Epic Games n’a pas d’intérêt à ce que ce genre de chose se produise ;
• il avance qu’Objaverse a été créée avant la mise en place du système de tag NoAI sur Sketchfab, d’où sa non prise en compte ;
• il souligne qu’il s’agit de contenu Creative Commons ou totalement libre de droits, proposés au téléchargement par les artistes eux-mêmes. En clair, les artistes ont autorisé des usages de ce type, même si ce n’était pas forcément ce à quoi ils pensaient lors du partage ;
• enfin, il explique que l’équipe Sketchfab/Epic examine actuellement les recours possibles.

Le compte officiel Sketchfab a de son côté publié des tweets expliquant « que « comprendre les inquiétudes des artistes ». L’équipe indique « se pencher sur la situation ».

Du côté des recours, il n’est pas sûr à ce stade que Sketchfab puisse agir. On peut ceci dit peut-être se demander si la licence d’un modèle recouvre aussi sa description ou non (les CGU évoquent l’asset 3D uniquement). Dans ce dernier cas, il serait alors possible de proposer une base de modèles mais pas en y associant les descriptions.

Nous avons demandé à Sketchfab des éclaircissements et mettrons à jour l’article le cas échéant. De même, nous avons demandé aux auteurs du projet quelques précisions (prise en compte du tag NoAI, cas des modèles présentés sous licence CC alors qu’ils ne le sont pas). Là encore, une mise à jour de l’article sera faite.

Une situation complexe

Cette affaire montre les limites des tags NoAI adoptés par certaines plateformes de contenus créatifs, puisqu’ils ne sont pas rétroactifs. Plus largement, l’affaire souligne le dilemme d’un partage sous licence libre, qui peut donner lieu à des usages très éloignés de ceux envisagés à l’époque de la publication.

Enfin, cette nouvelle souligne que le fait qu’un outil avance être entraîné sur des données libres de droit ne suffit pas, si les données en question n’ont pas été vérifiées manuellement. Actuellement, un outil entraîné sur Objaverse utilisera entre autres des objets 3D sous copyright, mais aussi des modèles sous licence Creative Commons dont les auteurs ne voulaient pas qu’ils soient utilisés par IA. Cela soulève des points éthiques et juridiques : on espère que l’équipe derrière Objaverse répondra à ces inquiétudes.

D’ici là et si vous avez un compte Sketchfab, vous pouvez activer le tag NoAI sur tous vos modèles téléchargeables via la page Settings/Account, si vous le souhaitez. Ce tag sera alors appliqué sur les modèles passés et futurs… Mais évidemment pas sur les téléchargements déjà opérés par des tiers.

Nous vous tiendrons informés des futures annonces autour d’Objaverse et de ce type de base de données. N’hésitez pas à nous suivre sur Youtube, Instagram, Facebook, Twitter, LinkedIn pour ne pas manquer nos futurs contenus.