Avec Maxine, NVIDIA va éliminer vos problèmes de visioconférence

Avec le confinement et le télétravail, puis la généralisation de conférences et évènements virtualisés, les connexions internet de mauvaise qualité sont devenues une plaie récurrente. Définition réduite, vidéo hachée gênent les échanges.

NVIDIA propose justement d’éliminer ce problème en divisant considérablement la bande passante nécessaire pour ce type d’usage, avec jusqu’à 10 fois moins de débit nécessaire.

La solution miracle proposée : NVIDIA Maxine, une plateforme de streaming vidéo dans le cloud s’appuyant sur l’intelligence artificielle. Il s’agit en fait de repenser totalement la façon dont les données sont envoyées : au lieu d’expédier l’ensemble des pixels filmés par votre webcam, l’intelligence artificielle analyse le visage et ses points clés, et se charge de ré-animer le visage chez votre interlocuteur. En très résumé, donc, au lieu d’envoyer un flux vidéo, vous contrôlez l’animation de votre doublure numérique.

Cette approche, selon NVIDIA, permet d’économiser jusqu’à 90% de bande passante par rapport à la compression H.264. Mieux encore, explique NVIDIA, il devient possible d’effectuer des corrections au passage. Ainsi, avec un flux vidéo classique, vous regardez votre écran et non la webcam, et la personne avec qui vous échangez a donc le sentiment que vous regardez à côté d’elle. En redressant le visage, il deviendra possible de la « regarder » droit dans les yeux.
Autres fonctions évoquées : l’utilisation d’un avatar photoréaliste dirigé par la voix et sa tonalité émotionnelle, la suppression intelligente des bruits ambiants, le recadrage automatique, la traduction temps réel.

A ce stade, la plateforme Maxine est disponible en accès anticipé pour les spécialistes (partenaires logiciels, startups, constructeurs informatiques…). Il faudra donc patienter encore un peu avant de voir cette technologie dans vos réunions.

D’ici là, les vidéos ci-dessous vous en apprendront plus surles aspects techniques et les résultats actuels. Certains artefacts sont évidemment présents, mais l’amélioration reste énorme par rapport à un flux vidéo 360p non fluide.