Les humains sont des animaux sociaux, et nos vêtements et accessoires sont des éléments clés de l'expression de soi et de la communication dans notre vie quotidienne.Comme les réseaux sociaux se sont progressivement étendus dans le monde en ligne, le besoin de numérisation des vêtements et des accessoires est également grand.

Dans le document de recherche intitulé MEGANE: Morphable Eyeglass et Avatar Network, des chercheurs de l'Université nationale australienne et de Meta se sont concentrés sur la modélisation des lunettes,un accessoire de tous les jours pour des milliards de personnes dans le monde entierEn particulier, ils soutiennent que pour atteindre le réalisme, il ne suffit pas de modéliser les lunettes seules, et l'interaction des lunettes avec le visage doit également être prise en compte.

D'un point de vue géométrique, les lunettes et le visage humain se déforment mutuellement au point de contact, de sorte que la forme des lunettes et du visage ne peut être déterminée indépendamment.De même., leur apparition est couplée par le transport global de la lumière, et des ombres et des réflexions mutuelles peuvent apparaître et affecter le rayonnement.Des méthodes de calcul pour modéliser de telles interactions sont donc nécessaires pour atteindre le réalisme.

Les méthodes originales ne reproduisent pas fidèlement toutes les interactions géométriques et photométriques qui existent dans le monde réel, ou les résultats d'animation souffrent souvent d'incohérences de vue et de temps.Bien que les méthodes de rendu neuronal émergentes réalisent un rendu photoréaliste des têtes humaines et des objets généraux de manière cohérente en 3D, les méthodes connexes ne prennent pas en compte les interactions entre les objets et conduisent à des combinaisons d'objets peu fiables.

Contrairement aux méthodes existantes, l'équipe vise à modéliser les interactions géométriques et photométriques entre les montures de lunettes et le visage humain de manière basée sur les données.À cette fin, ils ont lancé MEGANE.

Ce modèle unique de lunettes déformables et réilluminables représente la forme et l'apparence du cadre et son interaction avec le visage humain.Pour prendre en charge les modifications de la topologie et l'efficacité du rendu, les chercheurs utilisent une représentation hybride qui combine la géométrie de surface et les représentations 3D volumétriques.

Comme la représentation hybride fournit une correspondance explicite entre les lunettes, sa structure peut être déformée subtilement selon la forme de la tête.le modèle est conditionné par un modèle génératif de haute fidélité de la tête humaine, ce qui lui permet de cibler spécifiquement la déformation et les changements d'apparence du porteur.