什么

GestureSynth.me 是一个免费、基于浏览器的音乐合成器，使用摄像头手部追踪将手势转化为实时音频。它面向希望在无需外部硬件或软件安装的情况下创作音乐的音乐人、教育者和爱好者，定位为传统 MIDI 控制器的可访问、隐私优先的替代方案。

功能

双手和弦选择 – 左手抬起的手指选择和弦级数（I–V、VI、VII），手腕倾斜在大调和小调之间切换。
表达与和声控制 – 右手的高度调节音量，手指数量选择三和弦、转位或七和弦变体，手腕倾斜改变低通滤波器，拇指伸展改变八度。
双模式演奏 – 手势模式支持基于和弦的演奏；Theremin 模式将右手的垂直位置映射为连续音高，以实现旋律表达。
四轨循环音序器 – 支持设置速度（30–300 BPM）、拍号、量化录音、每轨混音，并可本地导出为 WAV（或 WebM 备选）。
本地隐私处理 – 摄像头帧在浏览器内通过 MediaPipe 进行分析；视频、音频或用户数据均不上传或存储到服务器，且无需麦克风权限。

实用技巧

使用柔和的正面光线，并选择与手部形成对比的背景，以提升追踪可靠性。
与摄像头保持约一臂距离，确保双手的手腕、手掌和指尖全部位于画面内。
在最新版的桌面 Chrome 或 Edge 浏览器中运行合成器，以获得最佳的摄像头、WebAssembly 和 Web Audio 支持；在性能较低的设备上启用低性能模式。
在 Theremin 模式下，先以缓慢的手部动作映射音高范围，再尝试快速的旋律段落。

OpenClaw 技能

在 OpenClaw 生态系统中，GestureSynth.me 可以通过无头浏览器技能访问，该技能启动网页应用，捕获生成的音频流并转发给下游代理进行分析、混音或转录。典型的工作流可能包括一个 OpenClaw “手势转 MIDI” 技能，将手部追踪数据（如手指数量、手腕角度）解释为符号化的 MIDI 事件，从而与作曲助手、AI 驱动的编曲工具或协作表演机器人集成。此类组合通过添加自然的摄像头输入方式，扩展了音乐创作代理的能力，可能在远程或教育场景中降低对实体控制器的依赖。