Les filtres sur Snapchat et compagnie, vous connaissez. Mais pas sûr que vous soyez très familier avec celui-ci. En plus de faire débat, il est très impressionnant et trompe facilement l'œil humain.
Un filtre fou qui change votre visage
Les filtres existent depuis bien longtemps sur les applications de réseaux sociaux. De plus en plus utilisés, ils sont devenus des outils parfaits pour faire des memes, et ce grâce à l’amélioration de la capacité photographique des smartphones. Imaginez-vous en 2010 avec votre iPhone 4, vous pensez qu’il était possible d’ajouter ne serait-ce que des oreilles de chien pouvant se déplacer en fonction des mouvements de votre visage ? Oh que non.
Puissance et performances en photo et vidéo, c’est bien ce dont sont équipés les smartphones d’aujourd’hui. Depuis quelques semaines, un filtre fait beaucoup parler sur l’application TikTok. Il s’agit d’un “maquillant automatique”, permettant d’ajouter du maquillage adapté au visage de chaque personne, et suivant les mouvements du visage. Le plus impressionnant, c’est que les personnes l’utilisant peuvent passer leur main sur leur visage, ou même le toucher, et le filtre ne bronche pas. Un cran au-dessus des autres, ce filtre appelé Bold Glamour est bluffant.
Bien évidemment, il n’en a pas fallu plus pour que cela parte en débat houleux sur la toile. Comment savoir si quelqu’un utilise un filtre ou non ? Peut-on accepter qu’une IA décide des critères de beauté de manière arbitraire et mette de côté certaines ethnies ? Est-ce qu’on ne va pas trop loin ? Des questions auxquelles je ne donnerai pas de réponse. Personnellement, mon job est de vous transmettre l’explication claire et précise du fonctionnement de ce filtre presque magique.
Comment ça fonctionne ?
Avec tous les filtres et autres petites innovations logicielles qui apparaissent régulièrement, on a tendance à prendre pour acquis certaines nouveautés, sans se poser la question : mais comment ça marche ? Comment un filtre parmi d’autres sur TikTok peut vous maquiller sans aucun souci et vous suivre en direct ?
Heureusement, Luke Hurd est un homme qui possède un compte Twitter et qui nous partage son explication. Pour commencer, il est important de faire la différence entre un simple filtre en 3D et un filtre fait au machine learning.
Les premiers filtres, et encore de nombreux qui circulent aujourd’hui sont basés sur une captation de votre visage dans son ensemble. Via la caméra frontale de votre smartphone, l’application réalise un modèle 3D et applique le filtre à la manière d’un masque. Cette technique possède un problème : puisque le masque ne fonctionne qu’en un seul bloc, couvrir son visage ou le détourner un peu crée des interférences assez rapidement.
La magie derrière le filtre Bold Glamour, se cache du machine learning. Vous avez déjà entendu ce terme je suppose. Ici, le filtre peut s’adapter au visage de chaque personne pour lui appliquer un résultat personnalisé. Pour cela, il passe par une base de données de centaines d’autres visages pour modifier directement le flux vidéo de votre caméra selfie, en temps réel, et surtout pixel par pixel. Ainsi, en plus d’avoir un résultat fou, même si vous recouvrez votre visage à moitié, l’autre moitié n’aura aucun souci d’affichage.