Une bande verticale de quelques dizaines de pixels observe l'image. Tout ce qui la franchit en bougeant produit une note, d'autant plus aiguë que le passage est haut dans le cadre. La bande du bas conserve la trace de ce qui a sonné, comme un sismogramme.
La bande ne compare pas l'image à un fond mémorisé. Elle compare trois vues espacées dans le temps et ne retient que ce qui a changé entre la première et la deuxième, puis entre la deuxième et la troisième. Un pixel réellement en déplacement satisfait les deux conditions. Un reflet, une variation d'éclairage ou du bruit de capteur n'en satisfont qu'une et disparaissent.
L'espacement entre ces vues est réglable. Une ondulation lente ne se trahit pas d'une image à la suivante, mais devient franche sur cinq ou six images d'écart. C'est le problème classique de l'ouverture : une surface uniforme qui se déplace ne change de valeur que sur ses contours.
Le seuil n'est pas un nombre mais une proportion. À chaque image, les pixels de la bande sont classés par intensité de mouvement, et seuls les plus mobiles sont gardés, dans la part choisie. Une scène calme et une scène chargée donnent donc la même densité de notes, sans retoucher un réglage. Un plancher mesuré sur l'image elle-même empêche le bruit de passer quand rien ne bouge.
La bande isole des groupes de pixels contigus qui se détachent du fond, puis mesure leur centre, leur hauteur et leur déplacement horizontal. Un oiseau de quatre pixels déclenche donc une note, alors qu'une moyenne par tranche l'aurait noyé. La vitesse donne la force de la note, le sens sa place dans le stéréo, et un objet qui traverse réellement la ligne redéclenche, alors qu'un objet qui stationne devant reste silencieux.
La stabilisation estime le déplacement d'ensemble de l'image, celui de la caméra, et le retranche avant analyse. Sans cette étape, la moindre prise à la main fait sonner la totalité du cadre. Un changement de plan ou un panoramique brutal est détecté et mis en silence pendant une seconde.
L'atténuation du répétitif entretient une estimation du mouvement habituel de chaque pixel et exige de la dépasser. Elle éteint les feuillages agités et les macroblocs de compression. Elle est coupée par défaut, car un sujet qui ondule sans arrêt au même endroit finirait par être appris comme du bruit.
La ligne donne le rythme et la hauteur. L'harmonie avance à son propre pas : elle ne réagit pas à chaque objet détecté, sinon elle hériterait de la nervosité de la détection.
Deux grandeurs lentes la pilotent. La tension est la densité de notes moyennée sur plusieurs secondes. La couleur est la luminance moyenne de l'image entière. Aucune des deux ne choisit un accord : elles pondèrent les passages d'un degré à l'autre dans une grammaire. La tonique appelle la sous-dominante ou la dominante, la dominante résout ou trompe l'attente. La suite reste donc toujours grammaticale sans jamais se répéter à l'identique.
À chaque changement, le nouvel accord est cherché dans le renversement le plus proche du précédent, celui qui demande le moins de déplacement en demi-tons. C'est cette conduite des voix qui distingue une harmonie écrite d'une harmonie tirée au sort. Le changement attend un creux d'activité, ce qui donne l'impression d'une respiration.
L'attraction décide du rapport entre la ligne et l'accord. À zéro, les notes restent libres dans la gamme. À cent, elles ne tombent que sur les notes de l'accord. Entre les deux, les notes hors accord deviennent des notes de passage.
| Sujet | Lissage | Écart | Part retenue | Hauteur minimale |
|---|---|---|---|---|
| Rideau, drapeau, branche | 1 px | 6 images | 4 % | 4 px |
| Oiseau, passant, véhicule | 2 px | 1 à 2 images | 2 % | 3 px |
| Foule, rue passante | 2 px | 2 images | 1 % | 6 px |
| Eau, vagues, pluie | 2 px | 3 images | 6 % | 2 px |
| Silhouette sur fond uni | 1 px | sans objet | sans objet | 4 px |
La dernière ligne suppose de choisir Les formes sombres ou Les formes claires plutôt que Les pixels qui ne sont pas immobiles. Sur un mur blanc et un sujet noir, le contraste brut est plus stable que le mouvement.
| Intention | Durée d'accord | Attraction | Fond | Bourdon |
|---|---|---|---|---|
| Premier essai | 12 s | 35 % | 50 % | active |
| Consonant, tenu | 16 s | 80 % | 65 % | active |
| Documentaire, étrange | 24 s | 15 % | 30 % | active |
| Nerveux, mobile | 4 s | 60 % | 45 % | coupée |
La colonne de gauche de la page de l'instrument affiche les mesures qui comptent.
| Mesure | Ce qu'elle dit |
|---|---|
| amplitude | Le mouvement le plus fort trouvé dans la bande. À zéro, le problème est en amont du seuil. |
| images analysées | La cadence réelle de la source, 25 ou 30 selon le fichier. Jamais 60. |
| seuil | La valeur courante. Si elle monte alors que rien ne bouge, la part retenue est trop haute. |
| pixels retenus | Combien de pixels passent le seuil. Quelques centaines est un bon ordre de grandeur. |
| caméra | Le déplacement d'ensemble estimé. Doit rester à zéro sur un plan fixe. |
| tension, lumière | Les deux entrées de l'harmonie, entre zéro et un. |
Un enregistrement conserve la bande telle qu'elle défile, la liste des notes et la suite d'accords. Quatre sorties en découlent. La bande en image, avec son axe des degrés et ses repères de temps. La partition en dessin vectoriel, où chaque note est un rectangle dont l'épaisseur suit la vélocité, et où les changements d'accord sont marqués. Les notes en tableau, avec temps, durée, degré, nom, numéro, vélocité, panoramique et accord. Le film enfin, image et bande réunies, avec le son de l'instrument.
Une seule règle de conduite : activer le son avant de lancer l'enregistrement, sinon la piste audio n'est pas raccordée et le film sort muet.