Temps réel

Définition

La notion de temps réel est liée à celle de latence : durée qui s'écoule entre l'action et la réaction. La latence dépend par exemple du temps de propagation d'un signal, de la durée d'un traitement par un ordinateur, de la durée nécessaire à mettre en place la réponse, etc...

Selon les sens humains, la latence est perceptible ou pas. On dit que quelque chose se déroule en temps réel lorsque l'être humain ne perçoit pas de délai entre le moment où il agit et le moment où le retour sensoriel apparaît. Le temps reel apparaît donc différent selon les sens sollicités...

Différents ordres de grandeurs

Le sens humain le plus sensible à la latence est l'ouÏe. C'est pour cela qu'il est très désagréable pour les musiciens d'avoir un retard entre leurs gestes et la restitution sonore. Le retour d'information est indispensable au jeu musical instrumental et c'est dans cette situation que le son doit réagir instantanément. La latence ne doit pas dépasser quelques millièmes de secondes.

Dans une installation artistique, pour qu'un spectateur ait l'impression de déclencher un phénomène instantanément en marchant, en bougeant ou en touchant, il suffit que la latence soit inférieure à 0,3 seconde. C'est un autre ordre de grandeur.

D'un autre côté, si le spectateur peut jouer avec l'oeuvre, en l'influençant avec des mouvements plus localisés, plus rapides, le temps de réaction doit être plus faible (en dehors de toute latence volontairement ajoutée par l'artiste).

La notion de temps réel est très liée à la vitesse de réaction maximale de l'installation qui doit être liée à la vitesse maximale d'action du spectateur.

Pour une installation qui s'intéresse au déplacement de spectateurs piétons, un capteur qui réagit au 1/50e de seconde, voire au 1/20e de seconde, est un capteur temps réel.

La notion de temps réel est importante pour conserver l'impression de liberté du spectateur, qui ne doit pas avoir l'impression de modifier son comportement pour s'adapter à la vitesse de réaction de l'oeuvre et de suivre un mode d'emploi (hors choix artistique volontaire, bien sûr).

Temps réel en video

D'une façon générale, les difficultés de gestion du temps réel apparaissent plutôt dans le cas de la vidéo. Deux définitions du temps réel se heurtent dans ce cas précis :
- on peut considérer qu'on est en temps réel lorsque l'ordinateur arrive à traiter tout le flux de données sans accumuler de retard, même s'il existe un délai perceptible de réaction par rapport au spectateur ou à la chose captée.
- on peut aussi considérer que le temps réel correspond à la définition donnée auparavant et qu'il ne doit pas y avoir de latence perceptible.

La deuxième définition est plus exigeante que la première. Elle peut conduire à mettre en place des algorithmes complexes de prédiction du comportement pour maintenir le temps réel.

Il existe de toute façon en reconnaissance par camera classique une latence impossible à diminuer qui se compte en nombre d'images : en effet, lorsqu'une image est prise par la caméra, elle est ensuite transférée dans la carte graphique, durée pendant laquelle une autre image est prise. Elle doit ensuite être transférée dans la mémoire pour être traitée. Le retard minimal est donc de deux images.

Nos solutions

Notre but est de trouver des solutions temps réel alternatives à l'usage de caméra, ne générant pas de latence perceptible et soulageant l'ordinateur d'une partie de ses calculs, ce qui permet ensuite d'obtenir une installation qui fonctionne en temps réel.

Par exemple, l'utilisation d'une reconnaissance hardware de couleur sur vidéo, directement sur le signal vidéo, évite de prendre d'emblée un retard d'une image lors du transfert dans la carte d'acquisition de l'ordinateur, avant même de commencer le traitement. Elle permet ensuite de gagner aussi du temps sur l'analyse de couleur. L'ordinateur est alors dédié à la réaction et non plus à la captation.

Une autre possibilité est d'utiliser un tapis sensitif pour détecter en temps réel la présence et la localisation de plusieurs personnes dans une pièce. Pour un coùt inférieur à celui de l'installation d'une caméra (ou de plusieurs cameras selon la taille de la pièce) et d'un ordinateur dédié, un tapis-contact est beaucoup plus simple à mettre en oeuvre, ne nécessite pas de réglages complexes, est indépendant de l'éclairage et donne une information extrêmement précise et indépendante des problèmes de déformations, parallaxe, etc... inhérents aux caméras (voir la page "Comparaison tapis - camera").

Un autre exemple est le détecteur de mouvement vidéo par LDR. Il permet de détecter en temps réel des mouvements à plusieurs endroits simultanément sur une vidéo (couleurs ou noir et blanc) et décharge ainsi l'ordinateur de ce type de traitement.

Enfin, l'exemple le plus low tech d'une alternative à la reconnaissance par caméra est l'utilisation de "caméras cartons" à base de lentilles de Fresnel, à très bas coût. Elles permettent de faire de la triangulation en temps réel et ainsi d'analyser ce qu'il se passe dans des zones tridimensionnelles localisées.