SIGGRAPH 2017 : retour sur la publication Constrained Palette-Space Exploration

Nicolas Mellado (NM) : Dans cette étude nous avons évalué deux choses:
 – la capacité d’un utilisateur à construire une palette respectant de nombreuses contraintes (harmonie entre les couleurs, contrastes, et lisibilité par une personne daltonienne), et ce avec ou sans notre système,
 – la pertinence des palettes interpolées par notre système, en comparaison avec une interpolation couleur par couleur.
Les tests ont été réalisés sur 30 utilisateurs, aucun n’ayant de déficience visuelle connue.
Les deux évaluations ont permis de mesurer un avantage significatif à utiliser notre méthode.
Concernant l’exploration, l’étude montre une augmentation significative de la capacité des utilisateurs à produire une palette respectant les contraintes demandées, en utilisant notre méthode.
Concernant l’interpolation, les utilisateurs ont considéré que les palettes générées par notre méthode d’interpolation étaient de bon intermédiaires (70% des utilisateurs satisfaits), soit bien plus que pour les palettes obtenues en interpolant couleur par couleur (36% des utilisateurs satisfaits).

David Vanderhaeghe (DV) : Ces études portent sur l’évaluation de l’approche et des résultats produits, et non pas des outils applicatifs envisageables. Dans ces travaux nous avons proposé plusieurs applications, mais il reste beaucoup de travail de développement pour fournir des outils aboutis pour l’utilisateur ainsi que de faire leur évaluation.

NM :Concernant l’exploration interactive, si l’on compare notre implémentation avec l’existant sur des problématiques similaires (harmonies entre 4 couleurs par exemple), les performances sont semblables (inférieur à la milliseconde).
Sur des problèmes plus complexes et avec plus de couleurs (par exemple 13 couleurs et 50 contraintes), nous restons sur un temps de réponse généralement inférieur à 25 millisecondes, donc temps réel. Nous illustrons également un cas extrême, avec 50 couleurs et environ 1500 contraintes, qui nécessite lui 3 secondes de résolution.

Concernant l’interpolation, l’optimisation des chemins est réalisée en temps interactif, jusqu’à 4 secondes pour les cas le plus complexe. Une fois les chemins optimisés, les palettes intermédiaires peuvent ensuite être générées en temps constant (<1 milliseconde).

NM : Nous illustrons dans l’article plusieurs cas d’application possible:
 – exploration mêlant harmonie et contrastes entre les couleurs. Cela permettrait d’étendre les outils généralistes que l’on trouve sur le web,
 – prise en compte du contexte de visualisation (déficiences visuelles, consommation énergétique des écrans) lors du processus de design, pour trouver un compromis avec les besoins artistiques,

DV : Pour comprendre ce point il faut prendre l’historique du projet. Les premières recherches ont été motivé par le projet MAPSTYLE (ANR-12-CORD-0025) sur la stylisation des cartes. Ce projet a été mené en partenariat avec l’IGN qui est demandeur de méthode de stylisation pour les cartes qu’ils produisent.
Dans ce cadre, nous avons travaillé avec les chercheurs de l’IGN sur la formalisation du problème de contrôle des légendes (et du tracé associé sur une carte) notamment au niveau des couleurs. Nous avons en particulier exprimé les différentes contraintes propre aux cartes (relation sémantique, relation d’ordre) et travaillé sur l’interpolation de couleurs. C’est à ce niveau que sont intervenu Charlotte Hoarau, Sidonie Christophe et Mathieu Brédif. Loïc Barthe a principalement travaillé sur la formulation (l’écriture mathématique pour transmettre nos travaux) et sur la rédaction de l’article. Pour ce qui est de Nicolas et moi-même, Nicolas est au cœur du projet, il est le principal (si ce n’est l’unique) développeur, et j’ai pris une position de guide spirituel pour l’identification du besoin et la recherche d’applications.

NM : Je rajouterai que David a fait plus que le guide spirituel, c’est aussi le dessinateur officiel du teaser. Plus sérieusement, la conception de l’approche a été réalisée conjointement, même s’il est vrai que je me suis occupé de l’implémentation.

NM : Nous souhaitons en effet développer cette thématique dans le groupe de recherche STORM. Deux axes principaux se dégagent actuellement:
 – concernant l’utilisation de la méthode au delà de notre prototype de recherche: nous sommes actuellement en contact avec des entreprises pour spécialiser la méthode et y intégrer des contraintes correspondant à des connaissances métier.
 – concernant l’extension à d’autres informations que la couleur, par exemple des paramètres de textures procédurales ou des propriétés de matériau pour un moteur 3d.

Ci-dessous : illustration issue du projet MapStyle, avec ici un continuum entre une carte et une photographie aérienne

NM : J’encadre un étudiant en thèse qui démarre le mois prochain sur des problématiques d’analyse de nuages de points 3d (classification et reconstruction sous forme de primitives).
Je m’intéresse également à l’alignement de nuages de points, un problème assez courant lorsque l’on utilise des scanners lasers, de la photogrammétrie, etc. Je maintien une bibliothèque libre sur le sujet.
Et évidemment tous les aspects précédemment mentionnés sur la couleur, avec un étudiant démarrant prochainement un stage dans l’équipe, et co-encadré avec David.

NM : Comme chaque année, beaucoup de choses en peu de jours.
Une approche que j’ai beaucoup aimé est celle présenté par Aberman et ses co-auteurs, appelée Dip Transform, et qui permet de reconstruire la surface d’un objet en l’immergeant dans un liquide à plusieurs reprise (avec des orientations différentes), et en analysant le volume de liquide déplacé à chaque itération [projet évoqué sur 3DVF, NDLR].
Coté rendu, je sélectionnerai le modèle d’iridescence proposé par Belcour et Barla [là encore, nous vous avions proposé un article sur le sujet, NDLR].

DV: J’ai noté de très bons articles en rendu, tant hors ligne que temps réel, comme ceux de la session Reflectance & Scattering, ainsi que Example-Based Synthesis of Stylized Facial Animations pour le côté stylisation [voir notre article sur cette publication, NDLR].

– La page du projet, avec publication et compléments ;

– Les pages web de Nicolas Mellado et  David Vanderhaeghe, qui vous donneront notamment accès à leurs autres publications ;

– La page de l’équipe de recherche Storm, et celle du projet MapStyle.