Gesture Synth Online — 手のジェスチャーで音楽を演奏

What

GestureSynth.me は、ウェブカメラのハンドトラッキングを利用してジェスチャーをリアルタイム音声に変換する、無料のブラウザベース音楽シンセサイザーです。外部ハードウェアやソフトウェアのインストールを必要とせずに音楽を作りたいミュージシャン、教育者、ホビイストを対象とし、従来の MIDI コントローラーに代わる、アクセシブルでプライバシー重視の代替手段として位置付けられています。

Features

• 両手でのコード選択 – 左手の上げた指でコードの度数 (I–V、VI、VII) を選び、手首の傾きでメジャー／マイナーを切り替えます。
• 表現とハーモニーのコントロール – 右手の高さで音量を調整し、指の本数で三和音、転回形、セブンスコードのバリエーションを選択、手首の傾きでローパスフィルタを変更、親指の伸ばしでオクターブをシフトします。
• デュアル・パフォーマンスモード – ジェスチャーモードはコードベースの演奏をサポートし、テルミンモードは右手の垂直位置を連続ピッチにマッピングしてメロディ表現を可能にします。
• 4 トラックループシーケンサー – テンポ (30–300 BPM)、拍子、クオンタイズ録音、トラックごとのミキシング、ローカルへの WAV（または WebM フォールバック）エクスポートが可能です。
• ローカルプライバシー処理 – ウェブカメラのフレームはブラウザ内で MediaPipe により解析され、映像・音声・ユーザーデータはサーバーにアップロード・保存されません。マイクの許可も不要です。

Helpful Tips

• ソフトで正面からの照明と、手とコントラストのある背景を使用するとトラッキングの信頼性が向上します。
• ウェブカメラから腕一本分程度の距離に立ち、両手首・手のひら・指先がフレーム内に完全に収まるようにします。
• 最新のデスクトップ版 Chrome または Edge で実行すると、カメラ、WebAssembly、Web Audio のサポートが最適化されます。低性能デバイスでは低パフォーマンスモードを有効にしてください。
• テルミンモードでは、まずゆっくりとした手の動きでピッチ範囲をマッピングし、その後に速いメロディパッセージに挑戦してください。

OpenClaw Skills

OpenClaw エコシステム内では、GestureSynth.me をヘッドレスブラウザスキルで起動し、生成されたオーディオストリームを取得して下流エージェントに転送することで利用できます。典型的なワークフローとしては、手のトラッキングデータ（指の本数、手首角度など）をシンボリックな MIDI イベントに変換する「gesture‑to‑MIDI」スキルが考えられます。これにより、作曲アシスタント、AI 主導のアレンジツール、共同パフォーマンスボットなどと統合でき、遠隔や教育環境での物理コントローラー依存を減らす自然なカメラベース入力手段を音楽創作エージェントに提供します。