Maison / Technologie / Faire des photos en mouvement une réalité

Faire des photos en mouvement une réalité

Suivre
( 0 Abonné(e)s )
X

Suivre

E-mail : *
Derrière la magie: Réaliser des photos en mouvement  Faire des photos en mouvement une réalité 1 behindthemag

"Untitled" (1939) de Pablo Picasso sort du cadre. Crédit: Université de Washington

Les gens qui entraient et sortaient des photographies étaient réservés au monde de Harry Potter. Mais maintenant, des informaticiens de l'Université de Washington ont apporté cette magie à la vie réelle.

Leur algorithme, Réveil photo, peut prendre une personne d’une photo 2D ou d’une œuvre d’art et la faire courir, marcher ou sauter hors du cadre. Le système permet également aux utilisateurs de visualiser l'animation en trois dimensions à l'aide d'outils de réalité augmentée. Les chercheurs présenteront leurs résultats le 19 juin à la Conférence sur la vision par ordinateur et la reconnaissance des formes à Long Beach, en Californie. Cette recherche a d'abord attiré l'attention des médias lorsqu'elle a été publiée sous forme de préimpression en décembre sur ArXiv.

"Il s'agit d'un problème fondamental très difficile dans la vision par ordinateur", a déclaré le co-auteur Ira Kemelmacher-Shlizerman, professeur agrégé à la faculté d'informatique et d'ingénierie Paul G. Allen de l'UW. "Le grand défi ici est que l'entrée ne provient que d'une seule position de caméra. Une partie de la personne est donc invisible. Notre travail associe des avancées techniques à un problème ouvert sur le terrain et une visualisation créative artistique."

Auparavant, les chercheurs pensaient qu'il serait impossible d'animer une personne à court d'une seule photo.

"Certains travaux antérieurs tentent de créer un personnage 3D en utilisant plusieurs points de vue", a déclaré le co-auteur Brian Curless, professeur à l'école Allen. "Mais vous ne pouviez toujours pas donner vie à quelqu'un et le laisser sortir d'une scène, et vous ne pouviez pas faire rentrer AR. Il était vraiment surprenant que nous puissions obtenir des résultats convaincants en utilisant une seule photo."

Les applications de Photo Wake-Up sont nombreuses, a déclaré l’équipe. Les chercheurs pensent que cela pourrait offrir aux joueurs une nouvelle façon de créer des avatars qui leur ressemblent, une méthode permettant aux visiteurs d'interagir avec les peintures d'un musée d'art – par exemple, s'asseoir pour prendre le thé avec Mona Lisa – ou quelque chose qui permet aux enfants de donner vie à leurs dessins. Exemples dans le document de recherche inclure animer Stephen Curry des Golden State Warriors à quitter la cour, Paul McCartney à sauter de la couverture de "Aide!" album et "Icare" de Matisse pour sortir de son cadre.

Derrière la magie: Réaliser des photos en mouvement  Faire des photos en mouvement une réalité behindthemag

Stephen Curry quitte le terrain. Crédit: Université de Washington

Pour que la magie devienne une réalité, Photo Wake-Up commence par identifier une personne dans une image et en réalisant un masque du contour du corps. À partir de là, un modèle 3D est associé à la position du corps du sujet. Ensuite, l’algorithme fait quelque chose d’étonnant: afin de déformer le modèle afin qu’il ressemble réellement à la personne sur la photo, il projette la personne 3D dans un 2D.

"Il est très difficile de manipuler précisément en 3D", a déclaré le co-auteur Chung-Yi Weng, un étudiant au doctorat de l'école Allen. "Peut-être que vous pouvez le faire grossièrement, mais toute erreur sera évidente lorsque vous animerez le personnage. Nous devons donc trouver un moyen de gérer les choses à la perfection, et il est plus facile de le faire en 2D."

Derrière la magie: Réaliser des photos en mouvement  Faire des photos en mouvement une réalité 2 behindthemag

«Icare» de Matisse (1944). Crédit: Université de Washington

Photo Wake-Up stocke des informations 3D pour chaque pixel: sa distance par rapport à la caméra ou à l'artiste et la manière dont les articulations d'une personne sont connectées. Une fois que le modèle a été déformé pour correspondre à la forme de la personne, l'algorithme colle sur la texture, les couleurs de l'image. Il génère également le dos de la personne en utilisant les informations de l'image et du modèle 3D. Ensuite, l’outil assemble les deux côtés pour former une personne 3D capable de faire demi-tour.

Une fois que le personnage 3D est prêt à fonctionner, l'algorithme doit configurer l'arrière-plan de sorte qu'il ne laisse pas d'espace vide. Photo Wake-Up remplit le trou derrière la personne en empruntant des informations provenant d'autres parties de l'image.

Derrière la magie: Réaliser des photos en mouvement  Faire des photos en mouvement une réalité 3 behindthemag

Photo Wake-up permet également aux utilisateurs de visualiser l'animation en trois dimensions à l'aide d'outils de réalité augmentée. Crédit: Université de Washington

Actuellement, Photo Wake-Up fonctionne mieux avec des images de personnes tournées vers l'avant et peut animer à la fois des créations artistiques et des photographies de personnes réelles. L'algorithme peut également gérer certaines photos où les bras des personnes bloquent une partie de leur corps, mais il n'est pas encore capable d'animer des personnes qui ont les jambes croisées ou qui se bloquent une grande partie de leur corps.

"Photo Wake-Up est une nouvelle façon d'interagir avec les photos", a déclaré Weng. "Il ne peut pas tout faire pour l'instant, mais ce n'est que le début."


Transformer des photos en une expérience interactive


Fourni par
Université de Washington

Citation:
                                                 Derrière la magie: Réaliser des photos en mouvement (11 juin 2019)
                                                 récupéré le 11 juin 2019
                                                 de https://techxplore.com/news/2019-06-magic-photos-reality.html

Ce document est soumis au droit d'auteur. Mis à part toute utilisation équitable à des fins d’étude ou de recherche privée, aucun
                                            partie peut être reproduite sans autorisation écrite. Le contenu est fourni seulement pour information.

Source

A propos newstrotteur-fr

Découvrez également

Madrid émerge en tant que centre de production de séries télévisées thesuccessof 310x165

Madrid émerge en tant que centre de production de séries télévisées

Suivre ( 0 Abonné(e)s ) X Suivre E-mail : * Suivre Ne plus suivre Le …

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *