Guilin Liu, Fitsum A. Reda, Kevin J. Shih, Ting-Chun Wang, Andrew Tao et Bryan Catanzaro de NVIDIA présentent leur publication intitulée Image Inpainting for Irregular Holes Using Partial Convolutions.
Au coeur de ce projet : la reconstruction de zones masquées sur une image, grâce à l’intelligence artificielle.
Des travaux existent déjà sur le sujet, mais souffrent de contraintes importantes : les zones masquées doivent souvent être rectangulaires et situées vers le centre de l’image. Ici, la liberté est bien plus grande. L’utilisateur peut masquer une zone arbitraire et placée à n’importe quel endroit.
L’intérêt de la méthodé ? Pouvoir, par exemple, supprimer un élément d’une image, et demander à l’algorithme de remplir le trou de façon très réaliste. Il devient aussi possible de récupérer une image corrompue ou ayant des pixels manquants, et de compenser le problème.
La vidéo ci-dessous donne une idée des possibilités : la méthode semble bien plus puissante que les outils disponibles en production (comme le remplissage basé sur le contenu de Photoshop). L’algorithme gère de façon impressionnante des trous/masques de grande taille, et peut même recréer un visage relativement réaliste après effacement des deux yeux d’une personne.
