Inspiration
J’ai toujours eu un intérêt pour les procédés de représentation marginaux, surtout lorsqu’on tente de reproduire la physionomie humaine en portrait. Lors de mes recherches à la maîtrise, je suis tombé sur une invention intéressante : la photostéréosynthèse de Louis Lumière. Il s’agit d’un dispositif de photographie en relief qui ne dépend pas d’une prise de vue stéréoscopique. Pour obtenir l’effet de profondeur, on saisit d’un même sujet plusieurs clichés à très faible profondeur de champ sur plaques de verre, que l’on superpose ensuite. En variant notre point de vue, on ressent une impression de relief.
À l’époque de sa conception (vers 1920), Lumière a dû recourir à un dispositif de prise de vue très complexe afin d’atteindre une profondeur de champ de quelques millimètres seulement. L’ouverture maximale des objectifs de l’époque étant limitée, la solution trouvée était d’osciller l’objectif et le plan focal grâce à une manivelle pendant la prise de vue, pour créer un flou de mouvement dans les zones où le plan focal et l’objectif ne concordaient pas. On déplaçait la caméra et on répétait l’opération pour chaque plaque de verre. On peut examiner les détails de l’invention de Lumière dans le compte-rendu de la séance l’Académie des Sciences du 8 novembre 1920.
Réinterprétation numérique
J’ai entrepris de réinterpréter le dispositif de manière numérique. Pendant mes recherches, j’ai appris que Garnet Hertz (Emily Carr University of Art + Design) a entamé des efforts semblables en 2009. Son site web ne semble toutefois pas indiquer si ses essais ont dépassé le stade de la recherche de financement.
Dans mon implémentation pressentie, je désirais superposer les clichés aux différents niveaux de foyer dans une scène 3D, pour ensuite déplacer la caméra virtuelle en concordance avec le point de vue du spectateur, tel que capté par un dispositif de suivi de visage.
Dispositif de prise de vue
Au niveau de la prise de vue du portrait proprement dit, quoiqu’il soit intéressant de tenter de reproduire la caméra oscillante de l’époque, adapter le dispositif original pour qu’il puisse fonctionner avec une caméra numérique pose plusieurs problèmes techniques difficiles à résoudre. Je me suis donc résigné pour l’instant à utiliser un appareil et des objectifs contemporains. Des tests initiaux m’ont fait réaliser que mon matériel de prise de vue habituel n’est pas adéquat pour obtenir une profondeur de champ suffisamment mince. J’ai donc emprunté un appareil plein cadre ainsi qu’un objectif f/1.4, ce qui a aidé à obtenir une zone de foyer très restreinte, l’ouverture et la taille du plan focal étant les facteurs principaux qui déterminent la profondeur de champ.
Au niveau des sujets représentés, je désirais prendre différents portraits, et j’ai demandé entre autres à mes étudiants et mes collègues de poser aimablement pour moi.
J’ai mis en place un éclairage intime dans le studio qui n’était ni trop latéral ou contrasté, et qui mettait en valeur les traits subtils du visage.
Pour ne pas qu’ils se déplacent d’une pose à l’autre, je leur ai maintenu la nuque contre un appuie-tête qui n’est pas sans rappeler ceux utilisés dans la photographie des premiers temps (l’époque du daguerréotype et du collodion humide.
Le recours à cet accessoire n’est pas explicité dans les documents de Lumière, mais devrait vraisemblablement être utilisé lors de ses essais dans les années vingt.
Les images résultantes ont ensuite été traitées dans Adobe Lightroom pour les traduire en noir et blanc et optimiser la netteté et le contraste local.
Conception logicielle
Au niveau de l’interaction dans le logiciel, j’ai pensé initialement reprendre le module d’animation en parallaxe simulée (2.5D) que j’avais créé précédemment pour suggérer le relief à même des photos statiques. J’ai associé ce module à une composante de suivi de visage par Kinect.
Étant donné que j’avais sous la main une collection appréciable de portraits à différents niveaux de foyer, j’ai cru bon générer un module qui pourrait afficher ces portraits en boucle, comme un diaporama. J’ai dû adapter la solution pour compenser le fait que le nombre de prises de vue dans chaque série était variable.
Pour l’affichage, une instance géométrique est créée pour chaque cliché. Deux caméras virtuelles (pour une sortie stéréoscopique) adaptent leur position en fonction de l’endroit où se situe le spectateur incluant sa distance de l’écran, tel que rapporté par la Kinect. L’image est simultanément décalée dans la caméra pour simuler une anamorphose (c’est-à-dire que l’affichage est distordu pour créer une fausse perspective – voir plus loin).
L’essai initial présentait plusieurs lacunes. Premièrement, la superposition des images en simple transparence rendait l’image dense et laiteuse. Recourir à un mode de fusion qui faisait disparaitre les pixels clairs fut une nette amélioration (ce qui émule le comportement des plaques de verre de Lumière). Toutefois, la densité des ombres cumulées n’était pas agréable. Pour superposer seulement les zones au foyer, il fallait trouver un moyen de générer une couche alpha qui concordait avec le degré de netteté de la source. L’opérateur find edges n’étant pas suffisamment précis, je me suis replié sur la technique avérée de convolution avec une matrice personnalisée qui générait un filtre high pass. Le résultat était alors passé à l’alpha.
J’ai mis le tout dans un opérateur Component pour pouvoir le cloner aisément sur chaque calque. Le résultat était beaucoup plus fidèle à l’esprit de l’original, mais on perdait tout de même une grande part de la netteté initiale à travers la superposition de nombreux calques.
Artéfact physique
Parallèlement, j’ai cru bon de créer une reproduction physique des œuvres de Lumière, question de valider si mon implémentation numérique se comparait favorablement à l’expérience de l’artéfact réel. Plutôt que de transférer des images sur des plaques de verre d’une quelconque manière, j’ai recouru à de la pellicule transparente pour imprimante jet d’encre de haute qualité. Après avoir imprimé et taillé une mosaïque de poses d’une même série, j’ai ensuite empilé en alternance les pellicules imprimées entre des plaques de verre. Le tout a été serti dans un cadre en bois. Ce qui en ressort est un portrait dense, qui affiche un relief subtil lorsqu’on l’incline. L’effet est plus saisissant lorsque vu à travers une source lumineuse intense. L’artéfact en question, de par son poids, est agréable à manipuler.
Alternative à variation de mise au point
Lors de mes expérimentations dans TouchDesigner, j’ai eu un accident heureux. J’ai constaté par hasard que l’image perçue était beaucoup plus nette si on n’affiche que trois calques à la fois. Pour déterminer quels niveaux de mise au point sont visibles, j’ai utilisé le paramètre de distance de l’observateur provenant de la Kinect. Pour éviter un effet d’apparition saccadé, un mécanisme de fondus-enchainés fait apparaître les calques de manière fluide. Lorsque le spectateur atteint les extrémités de la zone, le portrait devient progressivement plus flou et clair. Le résultat est que l’interacteur doit continuellement s’approcher et s’éloigner du portrait pour ajuster sa perception de distance. Il en résulte une négociation entre l’œuvre et l’observateur pour que ce dernier puisse entrevoir le portrait dans son entièreté.
Réception du public
Lorsque qu’elle fut présentée lors de l’évènement portes ouvertes du NAD, l’installation fut bien reçue. Un de ses attraits est la grande taille de l’affichage stéréoscopique, ce qui fait ressortir les détails fins des portraits présentés. Étant donné ce grand écran, les gens ne s’approchent pas trop, ce qui contourne un des écueils de la Kinect v1, c’est-à-dire sa trop grande distance minimum de détection.
Mis à part l’exigence de porter des lunettes stéréoscopiques, les affordances de l’installation sont plutôt intuitives. Les gens, curieux, trouvent généralement d’eux-mêmes le modus operandi de l’œuvre. Toutefois, mon impression personnelle est que paradoxalement, l’expérience manque de profondeur, c’est-à-dire que les gens la perçoivent comme une curiosité amusante et non pas une œuvre proprement dite.
Cette impression est exacerbée par le fait que la Kinect s’avère quelque peu capricieuse dans un contexte réel – elle s’accommode mal de la présence de plusieurs personnes et tente d’en suivre une seule à la fois, même si cette dernière n’est plus dans la zone d’influence de la caméra. La solution bricolée rapidement a été de bidouiller une commande qui réinitialise la Kinect, mais ce processus prend tout de même plusieurs secondes, et interrompt l’expérience de l’interacteur en expectative.
Avenues de recherche ultérieures
Fort de la réception positive du public, j’ai pensé pousser l’installation plus loin. Voici donc quelques pistes pour bonifier l’œuvre.
En premier lieu, l’aspect physique de l’installation pourrait être amélioré. Un affichage mural contribuerait à épurer l’apparence esthétique. De plus, le mouvement de la caméra virtuelle est approximatif. Pour rendre l’expérience plus transparente, il serait avisé de recourir à un véritable algorithme d’anamorphose (j’ai d’ailleurs effectué quelques recherches en ce sens. Les faiblesses de la Kinect devraient également être adressées. Lorsque le suivi échoue, il serait nécessaire d’implémenter un mécanisme qui ferait part de la défaillance à l’interacteur de manière intuitive. À l’instar des casques de réalité virtuelle, il serait intéressant si l’image devenait surexposée pour indiquer à l’interacteur que le suivi est interrompu pendant la réinitialisation du Kinect, pour qu’il cesse de gesticuler inutilement. De plus, une meilleure compréhension du protocole de communication de la Kinect serait de mise.
Pour la prise de vue, une des limitations a été l’accès à l’équipement approprié. Il serait avisé d’effectuer des essais avec des objectifs de différentes longueurs focales, pour déterminer s’ils ont une influence appréciable sur la profondeur de champ. Avec le matériel présentement disponible, une des limitations est la distance minimale de mise au point. Ces problèmes pourraient potentiellement être amoindris en recourant à d’autres objectifs.
De manière plus ambitieuse, on pourrait ré-envisager l’œuvre pour lui adjoindre un module de prise de vue automatisé, qui photographierait le sujet dans un premier temps et lui présenterait le résultat dans un second temps, dans l’esprit du photomaton. J’imagine une installation qui reprendrait la forme d’une chambre photographique grand format, avec l’objectif d’un côté, et l’image de l’autre. Ce serait certes un défi technique considérable, mais ce ne serait pas impensable.
Pour ce qui est de l’artéfact physique (la reproduction de la photostéréosynthèse sur verre), il serait intéressant d’en faire une version de plus grande taille, plus fidèle aux dimensions prescrites par Lumière. Selon Ernest Coustet dans La Photographie Stéréoscopique, « La chambre noire reçoit des plaques 18 x 24, et le modèle est photographié en demi-grandeur » (1925), il faudrait également préserver la proportion de l’écart entre les poses de l’objet photographié et celui de sa reproduction.
Finalement, il serait fort intéressant de contacter Garnet Hertz pour s’informer à savoir si ses tentatives ont porté fruit – il serait regrettable de dupliquer une démarche avérée, et à l’inverse, judicieux de nourrir ma recherche d’expérimentations préalables.