me.time.frame – conception

La première installation que j’ai présentée en public est intitulée Miroir temporel. Il s’agit d’un écran stéréoscopique serti dans un cadre lumineux, assorti d’une paire de caméras orientée vers l’interacteur.

Conception logicielle

Le modus operandi de l’installation rappelle celui du miroir (présenter une image renversée et stéréoscopique de celui qui la contemple), mais en noir et blanc avec un remappage temporel, c’est-à-dire que la réflexion perçue n’est pas en synchronie avec les mouvements de l’interacteur. Ce décalage se fait de deux manières : la texture de remappage et la variation du délai temporel.

Au niveau de la texture de remappage, il s’agit d’utiliser une image en niveaux de gris pour déterminer le délai d’affichage de zones localisées de l’image. L’image n’est donc pas décalée de manière uniforme; certaines régions sont plus en retard que d’autres, et ce sur une même image. Confronté à ce type de représentation, on peut éprouver un ressentiment d’étrangeté puisqu’on revoit les gestes qu’on a posés, présentés de manière asynchrone. Au niveau technique, le remappage fonctionne comme suit : plus les pixels de cette texture de référence sont sombres, plus la zone correspondante de la captation sera décalée dans le temps. Après avoir expérimenté avec différents motifs, je me suis arrêté sur une texture en dégradé circulaire puisque j’ai réalisé en observant les sujets que le milieu du cadre restait relativement immobile, et les gens utilisaient davantage leurs mains en périphérie. J’ai donc augmenté le décalage au centre, et l’ai progressivement diminué vers les bordures.

Rapidement, j’ai réalisé que les gens n’agissaient pas tous avec la même intensité dans leurs gestuelle. Or, lorsqu’ils bougent trop vite, l’image devient hachurée étant donné la trop grande variation temporelle entre les zones avoisinantes de remappage.

Les déplacements rapides occasionnent des artefacts.

Pour diminuer ces artéfacts, j’ai effectué une modulation du délai imparti selon la rapidité du mouvement de l’interacteur. Pour ce faire, j’ai utilisé un des opérateurs Texture3D déjà présents pour le remappage temporel afin de comparer la captation en temps réel de la caméra avec la même source, mais plus ancienne. Grâce à un difference key, on peut jauger de la variation dans le temps de l’image captée et ainsi modifier interactivement la valeur de décalage temporel. Un grand mouvement se traduit donc par un faible décalage.

J’ai également tenté d’abolir tout décalage dans certaines circonstances pour solliciter un sentiment d’inversion temporelle. Dans mes recherches, je suis tombé sur des publications sur la réversion de l’action et de la perception temporelle. Selon ces expériences, lorsqu’on introduit progressivement un délai temporel entre une action et le résultat perçu de cette action – par exemple actionner un interrupteur pour déclencher un flash lumineux – notre cerveau assimile progressivement ce délai et il devient dès lors imperceptible. Or, si l’on abolit subitement ce délai, notre perception est que le flash anticipe notre geste (Stetson et al, 2006). Le mécanisme que j’ai mis en place est le suivant : si le sujet se déplace rapidement, le module de décalage temporel est contourné et le miroir agit en temps réel. Malheureusement, mes désirs se sont butés à des limitations technologiques : même en connectant le plus simplement possible les différents opérateurs, le décalage demeurait de plusieurs centaines de millisecondes. Or pour ressentir l’inversion temporelle, il aurait probablement fallu être en deçà de 100 millisecondes.

Un autre aspect majeur de l’installation est son recours à la stéréoscopie, grâce à une paire de caméras qui sont reliées à un écran stéréoscopique. La raison de cet ajout est pour ajouter un sentiment de présence à l’expérience – selon Lombard et Ditton, la présence serait « an illusion that a mediated experience is not mediated » (1997). Or, en recourant à un dispositif ayant une plus grande fidélité perceptuelle, l’expérience se veut plus transparente, estompant du coup certaines traces de médiation, puisque la simulation du miroir traditionnel y est plus fidèle. Pour convertir une paire d’images discrètes en images stéréoscopique, j’ai mis à profit une composante stéréoscopique que j’ai créée auparavant dans TouchDesigner.

Conception physique

Au niveau de la conception physique de l’installation, j’ai tenté plusieurs itérations avant d’en arriver à la forme courante. Toutes les composantes se veulent modulaires, pour pouvoir éventuellement effectuer des améliorations incrémentales au design.

Au niveau de la caméra, j’ai tenté diverses configurations pour optimiser l’écart inter-axial (la distance entre deux caméras stéréoscopiques). Pour susciter l’impression que le sujet se voit dans le miroir, j’ai dû placer la caméra devant l’affichage, puisque la mettre en haut de l’écran modifiait trop la parallaxe. La configuration courante se veut plus élégante et discrète, et obstrue peu l’image.

Le module d’affichage proprement dit a subi plusieurs modifications. Dans les phases initiales de conception de ce projet doctoral, la prémisse était que le projet pressenti reprendrait en quelque sorte le portrait photographique. Or, une des affinités du portrait est d’évoquer une expérience esthétique. Pour que le sujet ressente l’attrait de sa représentation, il m’a été apparent que la lumière devait être mise à profit.

Prototype initial d’éclairage.

Après des essais avec des lampes halogènes et un diffuseur, j’ai opté pour une source d’éclairage dans le pourtour de l’image, orienté vers l’avant. L’illumination est à mi-chemin entre une lumière annulaire et un classique clamshell.

Essai d’illumination périphérique.

Le prototype suivant s’est fait avec un ruban de DEL monté sur un carton (ci-contre).

Après des essais concluants, j’ai opté pour sertir cette source de lumière dans un cadre en acrylique et en bois. Pour plus d’élégance, j’ai incliné les panneaux diffuseurs en acrylique vers l’intérieur, ce qui recentre l’attention de l’interacteur vers le centre de l’image.

 

Diverses étapes de la conception du cadre.

Présentation

La présentation de l’installation a également été sujette à plusieurs itérations. Au niveau de l’emplacement physique, j’ai réalisé qu’un espace plus exigu devant les caméras était bénéfique, puisqu’il force l’interacteur à s’approcher de l’œuvre, ce qui augmente la taille de son reflet virtuel, et la proximité exacerbe la parallaxe stéréoscopique, sollicitant davantage le sentiment de présence. Une surface unie derrière le sujet entraîne deux autres bienfaits : elle isole le sujet sur l’image, et empêche les caméras de faire le focus sur les éléments en arrière-plan. Par rapport à la hauteur, il est difficile de déterminer un niveau idéal puisque l’orientation perpendiculaire des caméras par rapport à l’écran limitent le champ de vision à ce qui est directement en face, et les gens n’ont pas tous la même taille. La version présentée était montée sur un solide pied d’éclairage, mais ce dernier manque de délicatesse et rend l’œuvre moins transparente. L’ordinateur et son écran étaient également à proximité pour ajuster les réglages dans TouchDesigner au besoin, ce qui n’est pas idéal mais s’est avéré nécessaire dans cette première itération.

Réception

J’ai présenté cette installation en public pour la première fois dans le cadre des portes ouvertes de l’école NAD. Elle fut accompagnée d’autres travaux faits par les professeurs et les étudiants de maitrise (un plateau télévisuel virtuel sur HTC Vive, un film sur une mosaïque de 9 écrans, ainsi que mon autre installation, Photostéréosynthèse numérique). Les lumières fluorescentes au plafond étaient éteintes pour créer une ambiance feutrée; l’illumination provenait seulement des écrans disséminés dans la salle.

À prime abord, l’œuvre a bien été reçue par le public. Malgré quelques problèmes techniques initiaux, tout a bien fonctionné, plusieurs de mes intuitions ont été validées. J’ai fait un effort pour me tenir à l’écart des interacteurs, et de ne pas leur donner d’instructions préalables. Certaines personnes ont jeté un regard bref, ce qui ne leur a pas permis d’apprécier le décalage temporel. D’autres y ont trouvé du plaisir en gesticulant, et d’autres encore sont restés en attente, immobiles pendant de longs moments, se refusant de « jouer » pour la caméra.

J’ai constaté plusieurs problèmes potentiels au niveau de l’installation. Premièrement, étant donné que les caméras sont perpendiculaires à l’affichage, la hauteur de l’œuvre est très importante. J’ai souvent dû ajuster la hauteur du pied pour l’adapter aux personnes de petite taille et aux enfants, ce qui n’est pas idéal. Sans ajustements, les gens très grands devaient également se recroqueviller pour bien se voir dans l’écran.

Le recours aux lunettes stéréoscopiques était également un frein à la transparence de l’expérience. Je devais souvent intervenir pour que les gens mettent les lunettes mises à leur disposition. Au final, quelques dizaines de personnes ont fait l’expérience, souvent en la recommandant à ceux qui les accompagnaient.

Perspectives d’avenir

Cette première expérience a été très enrichissante. Elle m’a permis de tirer quelques conclusions et de réfléchir à des améliorations à l’installation et d’explorer des avenues de recherche ultérieures.

En ce qui a trait à l’installation physique proprement dite, plusieurs perfectionnements pourraient être apportés. Une des limitations apparentes était la petite taille de l’écran, ce qui entraine entres autres des problèmes d’ajustement de hauteur pour s’adapter à la taille de l’interacteur. Pour atténuer ce problème, le recours à un plus grand affichage serait avisé. Disposer l’écran verticalement permettrait de surcroit à l’installation d’agir comme un miroir plain-pied, et rendrait l’expérience plus transparente. Malheureusement, une telle installation compliquerait le recours à la stéréoscopie, puisque les écrans 3D passifs (à lunettes polarisées) ne possèdent qu’une parallaxe horizontale, et leur angle de vue vertical est très faible. Le recours à un affichage 3D actif (à lunettes dotées d’obturateurs ACL) serait envisageable, mais ces derniers ne semblent plus être commercialisés. Étant donné la réticence du public à porter des lunettes, un affichage autostéréoscopique (sans lunettes) serait une solution idéale, mais ces derniers sont excessivement rares et dispendieux, et ne sont utilisés pour l’instant que pour de l’affichage publicitaire. Cette option devrait toutefois être explorée, advenant une source de financement adéquate. Dans l’immédiat, le recours à un grand écran vertical rendrait l’installation plus immersive grâce à son angle de vue plus grand, mais viendrait paradoxalement diminuer le sentiment de présence étant donné l’absence de stéréoscopie.

Le dispositif de support (le pied d’éclairage) serait également à revoir. Il possède l’avantage de pouvoir en ajuster la hauteur, mais cette solution est inélégante et quelque peu hasardeuse étant donné le poids cumulé de l’écran et de son cadre en bois. La solution envisagée serait de l’accrocher au mur, potentiellement à l’aide d’un câble en acier fin, idéalement muni d’un contrepoids pour l’ajustement de la hauteur.

La configuration des caméras est plus élégante que dans les versions précédentes, mais elle présente des limitations quant à son utilisation face au grand public. Les gens qui s’enthousiasment un peu trop ont tendance à heurter la caméra et en rompre l’alignement. Il est donc nécessaire de réorienter correctement les caméras, ce qui interrompt l’expérience et implique nécessairement la présence d’un assistant. Des caméras complètement fixes, serties dans un boitier discret seraient à envisager dans une version ultérieure. Des caméras manuelles à mise au point fixe assureraient également une image plus stable au niveau du focus et de l’exposition.

Un aspect qui n’a pas été suffisamment exploré à mon avis est la texture de remappage temporel. Je me suis arrêté sur un dégradé circulaire, non pas parce que c’était une solution idéale, mais pour des raisons arbitraires : un dégradé linéaire me semblait un peu trop simple, et une texture générée procéduralement était trop aléatoire (dans mes essais initiaux, le sujet pensait que c’était une distorsion spatiale (warp), et non pas une manipulation temporelle). Le modus operandi du remappage temporel devrait donc être réexaminé.

La transparence du dispositif est également problématique à mon avis, c’est-à-dire que les moyens techniques utilisés pour le bon fonctionnement de l’installation sont trop ostentatoires, et nuisent à l’expérience. La présence de l’ordinateur à proximité est un bon exemple. Dans le cas des portes ouvertes du NAD, étant donné la nature de la clientèle sur place, il y avait un intérêt à présenter l’envers du décor, et de laisser à la vue le mode de fonctionnement de l’installation. Toutefois, dans le cadre d’une installation muséale, il serait fondamental de tester et peaufiner l’interaction pour qu’on puisse en envisager une utilisation par le public en général sans assistance; les miroirs mécaniques de Daniel Rozin constituent une référence intéressante à cet égard. D’un point de vue utopique, la forme que pourrait prendre l’installation serait un simple affichage autostéréoscopique accroché au mur, semblable à un miroir, qui opère une manipulation spatiale et temporelle sur la représentation de la personne qui le contemple.

Conception idéalisée de l’installation.

Finalement, je constate qu’il serait avisé de considérer l’aspect sonore de l’installation. Par exemple, on pourrait envisager que l’écart du décalage temporel soit également appuyé par des changements dans la tonalité de l’ambiance sonore émise par l’installation (ce qui a été implémenté avec brio par le collectif anno lab dans leur installation A Tail of Spacetime).