Waveframe écoute une image. Une bande verticale y est posée, et tout ce qui la franchit en bougeant devient une note, d'autant plus aiguë que le passage est haut. Un oiseau qui s'envole, un rideau dans une fenêtre ouverte, une foule à un carrefour : chaque scène a une musique, et l'instrument ne fait que la relever.
Il ne s'agit pas de reconnaître ce qui est filmé. L'instrument ne sait pas qu'il regarde un oiseau, et cela vaut mieux : il ne cherche pas un corps, une silhouette ou un visage, seulement du mouvement. Ce qu'il entend d'une scène ne dépend donc pas de ce qu'elle représente mais de la façon dont elle bouge. Deux plans du même sujet, l'un pris au vent et l'autre au calme, ne donnent pas la même pièce.
Le geste de départ tient en une phrase : filmer quelque chose, et voir la musique que ça fait.
Le principe de la ligne de balayage est ancien. Il vient de la photographie à fente, où le film défile derrière une ouverture étroite et enregistre le temps sur l'axe horizontal plutôt que l'espace. C'est ce qui produit les images de photo-finish, et les déformations qu'on y voit sont des traces de vitesse.
La version sonore de ce principe circule chez les artistes qui travaillent avec des outils de rendu temps réel, où une colonne de pixels sert de corde à pincer. Waveframe reprend cette idée et la déplace dans un navigateur, sans installation, avec deux ajouts : une lecture du mouvement qui tient sur des scènes ordinaires et non seulement sur un studio contrôlé, et une harmonie qui avance sous la ligne mélodique.
Aucune image ne quitte l'appareil. Tout le calcul a lieu dans le navigateur : la vidéo, l'analyse, la synthèse sonore, l'encodage du film. Aucune requête n'est émise vers un domaine tiers, aucune fonte n'est chargée à distance, aucun cookie n'est déposé, aucune mesure d'audience n'est faite. Il n'y a donc rien à accepter en arrivant sur cette page.
Les fichiers exportés sont écrits localement, par le navigateur, dans le dossier de téléchargement habituel.
Une seule page, sans dépendance ni bibliothèque. L'analyse d'image se fait sur un canevas, la synthèse en Web Audio, la capture du film en MediaRecorder. La cadence d'analyse suit les images réellement présentées par la source, jamais celle de l'écran.
La page applique un système de design dont les règles sont fixées à part : papier blanc et encre noire, aucune couleur, aucune ombre, aucun angle arrondi, aucune icône. Deux familles typographiques, un serif pour les titres et un monospace pour tout le reste. Une grille en tiers dont le premier reste vide, réservé aux dates, aux mesures et aux étiquettes. Les états s'y disent par un filet, une graisse, une inversion ou une position, jamais par une couleur.
Deux directions sont ouvertes. Une lecture qui comprendrait les articulations d'un corps, ce qui permettrait de confier une voix à chaque membre plutôt qu'à une masse. Et une harmonie non fonctionnelle, sans cadence, où un centre modal se déplacerait lentement, plus proche de ce que la matière filmée appelle peut-être.