Gesture Synth Online — Reproduce música con gestos de mano

Qué

GestureSynth.me es un sintetizador musical gratuito basado en el navegador que utiliza el seguimiento de manos mediante webcam para traducir gestos en audio en tiempo real. Está dirigido a músicos, educadores y aficionados que desean crear música sin hardware o instalaciones de software externas, posicionándose como una alternativa accesible y centrada en la privacidad a los controladores MIDI tradicionales.

Características

• Selección de acordes con ambas manos – Los dedos levantados de la mano izquierda eligen los grados del acorde (I–V, VI, VII) mientras la inclinación de la muñeca cambia entre cualidades mayor y menor.
• Control de expresión y armonía – La altura de la mano derecha ajusta el volumen, el número de dedos selecciona tríadas, inversiones o variaciones de acordes de séptima, la inclinación de la muñeca modifica un filtro paso bajo y la extensión del pulgar cambia la octava.
• Dos modos de interpretación – El modo Gestos permite tocar con acordes; el modo Theremin asigna la posición vertical de la mano derecha a una afinación continua para expresión melódica.
• Secuenciador de bucle de cuatro pistas – Permite tempo (30–300 BPM), compás, grabación cuantizada, mezcla por pista y exportación local a WAV (o WebM como alternativa).
• Procesamiento local con privacidad – Los fotogramas de la webcam se analizan en el navegador mediante MediaPipe; no se sube ni almacena video, audio o datos del usuario en servidores, y no se requiere permiso de micrófono.

Consejos útiles

• Utiliza una iluminación suave y frontal y un fondo que contraste con tus manos para mejorar la fiabilidad del seguimiento.
• Colócate a aproximadamente una longitud de brazo de la webcam, manteniendo ambas muñecas, palmas y yemas de los dedos completamente dentro del encuadre.
• Ejecuta el sintetizador en Chrome o Edge de escritorio recientes para obtener soporte óptimo de cámara, WebAssembly y Web Audio; habilita el modo de bajo rendimiento en dispositivos más lentos.
• En el modo Theremin, comienza con movimientos lentos de la mano para mapear el rango de afinación antes de intentar pasajes melódicos rápidos.

Habilidades OpenClaw

Dentro del ecosistema OpenClaw, GestureSynth.me podría accederse mediante una habilidad de navegador sin cabeza que lance la aplicación web, capture la corriente de audio generada y la envíe a agentes posteriores para análisis, remix o transcripción. Un flujo de trabajo probable implicaría una habilidad OpenClaw “gesto‑a‑MIDI” que interprete los datos del seguimiento de manos (p. ej., número de dedos, ángulo de la muñeca) en eventos MIDI simbólicos, permitiendo la integración con asistentes de composición, herramientas de arreglos impulsadas por IA o bots de interpretación colaborativa. Esta combinación ampliaría las capacidades de los agentes de creación musical al añadir una modalidad de entrada natural basada en cámara, reduciendo potencialmente la dependencia de controladores físicos en entornos remotos o educativos.