Cet article est également disponible en:
English
Après la génération d’images par IA, la création de vidéo est évidemment la prochaine étape. Si certains outils existent déjà, ils sont le plus souvent très perfectibles, se contentant de générer des séquences courtes, avec une caméra relativement statique. Gen-2 de Runway en est un bon exemple.
OpenAI s’attaque désormais à ce marché avec Sora, une IA générative qui vient officiellement d’être dévoilée. Elle peut créer des séquences d’1 minute maximum à partir d’un prompt (une requête sous forme de texte) ou en s’appuyant sur une image. Sora peut aussi prolonger une vidéo existante, ou combler les trous d’une vidéo dont certains passages ne sont pas disponibles.
Les résultats sont impressionnants. Jugez plutôt :
D’autres vidéos sont disponibles sur le site de Sora.
Encore des imperfections
Evidemment, ces vidéos générées par Sora ne sont pas exemptes d’artefacts et d’erreurs : en les regardant attentivement, on constera des problèmes d’échelle, des éléments qui posent problème : les jambes des passants sur la vidéo de la jeune femme marchant dans Tokyo ont par exemple un comportement parfois erratique, et dans l’exemple d’une pieuvre donnée sur le site, des ventouses sont placées du mauvais côté, des bras fusionnent durant la vidéo.
D’autres exemples : le sommet de bâtiments sur une vue de Santorin qui ne respecte pas la perspective (et reste face caméra alors que celle-ci tourne autour des bâtiments), un train dont les wagons ont des longueurs différentes (il suffit de compter le nombre de fenêtres), une chaise change de forme, un crabe aux pattes qui ondulent de façon incohérente…
Malgré les défauts, un résultat impressionnant
Sora ne propose donc pas des résultats parfaits, mais ils restent particulièrement réalistes, et dans bien des cas ils pourront tromper le spectateur au premier visionnage. Ce qui, pour bien des usages, est suffisant.
Ethique : OpenAI tente de rassurer autour de Sora, mais…
Evidemment, la première question que pose ce genre d’outil est l’usage éthique, en particulier dans un contexte où IA, deepfakes sont déjà régulièrement utilisés pour créer de la désinformation, ou s’attaquer à des personnalités.
OpenAI se veut rassurant, et explique travailler avec des experts en désinformation, contenus haineux, biais, qui auront pour mission de mettre le modèle d’IA générative à l’épreuve. Autrement dit, le but sera explicitement de tenter de générer du contenu non éthique, pour trouver les limites de Sora et l’encadrer, la guider.
En outre, OpenAI explique construire des outils qui permettront par exemple de détecter qu’une vidéo est issue de Sora, et précise que des métadonnées seront incluses.
OpenAI ajoute que les méthodes existantes de contrôle des prompts seront utilisées : l’idée étant ici d’analyser et rejeter un prompt qui serait détecté comme violant la politique d’utilisation. Ce qui, en théorie, devrait permettre de filtrer les demandes de contenu de type ultraviolence, images pornographiques, contenus haineux, images de célébrités, ou violation de copyright.
Enfin, OpenAI précise que des outils viendront vérifier les frames de chaque vidéo avant de les montrer aux utilisateurs.
Il faudra évidemment vérifier en pratique si ces promesses sont tenues.
On notera qu’OpenAI n’évoque pas sur la page de Sora la question de la source des données utilisées pour entraîner l’IA. Il s’agit pourtant d’un point crucial (comme l’a montré l’actualité récente). Un choix qui contraste avec d’autres entreprises comme NVIDIA, Adobe, qui insistent sur l’usage de données récoltées de façon éthique.
Autre point non évoqué, l’impact écologique de Sora, l’entraînement de tels modèles demandant énormément de ressources. Idéalement, il serait utile de disposer de données à ce sujet.
Et après ?
Pour l’heure, Sora reste un outil fermé et non un produit commercialisé. Vous ne pouvez donc pas vous en servir. En revanche, un rapport technique est disponible, si vous souhaitez en savoir plus sur les coulisses. On y trouvera au passage d’autres exemples de vidéos, et des références de publications scientifiques.
D’ici la sortie d’un éventuel produit, Sora relance en tous cas les débats sur l’usage des IA génératives. Au vu des progrès spectaculaires accomplis ces derniers mois, on peut raisonnablement penser que les défauts se feront moins visibles avec le temps, que ce soit pour créer des rendus stylisés ou des vidéos ayant l’apparence d’images réelles.
De quoi imaginer la possibilité de créer des films, séries, émissions de télévision, vidéos Youtube sans caméra ni moteur de rendu. Avec tous les avantages que cela comporte… Mais aussi de colossaux risques éthiques.
Plus que jamais, les enjeux juridiques, éthiques, et les réflexions sur l’impact du côté de l’industrie de l’image, doivent être au coeur des réflexions. Evidemment, faire avancer ces réflexions, régulations ou freins aussi vite que les progrès des IA génératives, constitue en soi un défi.
Nous continuerons évidemment à suivre ces sujets dans les semaines, mois à venir.
