L’installation
En partenariat avec Instagram, nous avons créé six effets spécifiques au site et à l’exposition pour « Takashi Murakami : Marcher sur la queue d’un arc-en-ciel », qui a ouvert ses portes au Broad Museum en mai 2022.
Lorsqu’ils sont expérimentés dans le contexte de l’exposition de Murakami, sa première exposition dans un musée américain à avoir une composante ar, ces effets ar évoluent en installations elles-mêmes qui sont déverrouillées via des vinyles d’activation personnalisés sur place. Les visiteurs scannaient les vinyles pour lancer des effets Instagram Spark AR qui utilisent la capacité de suivi de cible pour placer des objets 3D autour d’eux.
Dans les six effets ar, nous avons tiré parti des personnages vibrants et expressifs de Murakami pour appliquer un espace physique avec des couches supplémentaires de richesse – y compris les emblématiques Ohana Flowers, Mr. DOB, les démons “Um” et “A”, Pom & Me, My Lonesome Cowboy et HIROPON – unifiant davantage sa vision artistique avec l’architecture et la philosophie de The Broad, tout en soutenant le voyage du visiteur depuis l’East-West Bank Plaza à l’extérieur du musée jusqu’à l’espace galerie “Land of the Dead”.
L’outil
Spark AR Studio est un outil de création de réalité augmentée qui permet aux utilisateurs de créer des effets ar pour un éventail de plates-formes de la famille Meta, notamment Instagram, Facebook, Messenger et Portal. Les expériences sont destinées aux appareils mobiles ou tablettes. Spark AR comprend plusieurs applications de bureau pour la création et la simulation, ainsi qu’un portail en ligne pour la publication et l’analyse.
Depuis le lancement de sa version bêta publique en 2019, Spark AR a démocratisé le processus de développement afin que n’importe qui puisse créer des effets ar, quelle que soit son expérience en programmation.
Du point de vue de la création, Spark AR permet des prototypes haute et basse fidélité ; l’outil est flexible et maintient un niveau de facilité dans le transport des idées du papier vers l’espace virtuel. Cela accélère en effet notre processus d’itération et permet de mettre en œuvre rapidement les commentaires sans trop de déconnexion entre nos responsables créatifs et nos technologues créatifs.
Au cœur de l’outil se trouve également sa grande disponibilité ; Rendre les expériences ar disponibles sur Instagram améliore la portée, même si ces expériences sont spécifiques au site. En alignant les activations sur une plate-forme de médias sociaux existante, la plupart des visiteurs n’auraient pas besoin de télécharger des applications supplémentaires pour profiter de l’expérience. Les effets s’ouvrent via la caméra Instagram, permettant instantanément aux visiteurs de partager ce qu’ils voient.
Dans Spark AR, la logique d’un effet est souvent construite à l’aide d’un système de script visuel appelé Patch Editor, essentiellement en connectant des nœuds ensemble. Les créateurs peuvent choisir de développer via l’éditeur de correctifs ou via des scripts traditionnels, ou une combinaison des deux. Bien que les compétences en codage ne soient pas impératives, une compréhension de la logique de programmation serait très bénéfique car elle se reflète très bien dans la disposition des nœuds. La création de scripts vous permettrait également d’intégrer des techniques plus avancées dans vos effets.
Exemples
À l’aide de Spark AR, l’équipe de Buck Creative Technology – dirigée par Kirin Robinson et Daniel Vettorazi – a calibré les effets afin que les objets 3D s’instancient après que le visiteur a scanné le vinyle du sol. Ces objets ont été précisément disposés en fonction de la position et de l’angle de chaque vinyle.
Les actifs de patch sont des nœuds regroupés qui optimisent notre flux de travail dans l’éditeur de patch, ce qui est crucial pour créer des effets ar avancés. Kirin et Daniel ont créé un “système de coloris procéduraux” en utilisant des éléments de patch personnalisés qui nous ont permis d’appliquer douze jeux de couleurs différents aux mêmes animations faciales pour les fleurs d’Ohana. Douze coloris ont été condensés en quatre feuilles de sprites pouvant accueillir huit secondes d’animation !
En appliquant un modèle scanné en 3D du hall de The Broad avec une texture d’occlusion, nous avons pu creuser des alcôves dans les murs où se tiennent les démons jumeaux.
Utilisant la même technique d’occlusion, le sol s’ouvre sur un portail souterrain avec une profondeur volumétrique, d’où émergent les avatars Murakami HIROPON et My Lonesome Cowboy.
Nous avons réglé une minuterie pour déclencher une animation de fleurs 3D s’épanouissant à côté de M. DOB, et a construit un système de particules avec des sprites animés pleuvant de M. Le nuage de DOB, montrant chaque fleur individuelle s’éveillant, bâillant et souriant avant de se dissoudre.
Des astuces
Pour toute personne intéressée, la plate-forme Spark AR fournit une abondance de ressources d’apprentissage, de modèles de projet et d’actifs réutilisables. En plus de sa documentation, Spark propose également un programme pour poursuivre une certification professionnelle.
Lorsque j’ai téléchargé le logiciel pour la première fois en septembre 2019, je n’avais aucune connaissance en programmation, ni aucune compréhension de la conception 3D. Mon premier effet publié était résolument simple, avec un seul png transparent sur le visage.
Cette première étape semblait assez simple, mais au fil du temps, j’ai pris conscience de la grande variété de disciplines affiliées à l’ar, compte tenu des qualités spatiales et interactives du médium. D’une part, une prise de conscience du pipeline d’actifs 2D et 3D fait partie intégrante du flux de travail Spark AR et de l’expérience finale. Cette liste s’étend à l’animation, à la conception visuelle, à la scénographie, aux mécanismes de jeu et au-delà… Qu’est-ce qui rend une expérience de réalité virtuelle immersive et convaincante ? Quelles techniques élèvent sa fidélité visuelle ? Quelles configurations sont les plus appropriées pour optimiser les performances en temps réel ? Ce sont les types de questions que vous pourriez poser lorsque vous explorez l’outil, des questions auxquelles vous devrez trouver des réponses lorsque vous commencerez à utiliser Spark AR de manière professionnelle.
Si vous ne savez pas par où commencer, je vous suggère de vous plonger dans la documentation et le programme officiels. Rejoignez le groupe communautaire Spark AR sur Facebook ; C’est une plateforme permettant aux créateurs de tous niveaux de partager des projets, d’échanger des idées et d’apprendre les uns des autres.
Dernières pensées
Spark AR est un outil fascinant qui nous permet d’annoter le monde avec un nouveau langage visuel. Alors que nous explorons et créons avec cet outil, nous devons également nous concentrer sur ce qui maximise la valeur de l’ar pour les gens. Parfois, prendre du recul pour évaluer le « pourquoi » est essentiel pour garantir que notre utilisation des technologies naissantes est toujours étayée par une véritable intention. Mais avant d’en arriver là, je vous encourage à essayer simplement avec un esprit ouvert – un sens de la curiosité est tout ce dont vous avez besoin pour commencer.