GitHub - wpydcr/NanoAvatar: 古いAndroid端末でもリアルタイムかつ高品質なトーキングアバター：初フレームまでわずか103ms、41 FPS · GitHub

概要

NanoAvatarは、クラウドレンダリングサーバーに依存せず、モバイルデバイスやデスクトップGPU上でローカルに動作するよう設計されたオープンソースのリアルタイム・トーキングアバター生成エンジンです。エッジAIエンジニアやインタラクティブアプリケーション開発者を対象としており、サーバーサイドでのアバター動画生成に伴う高いインフラコストとネットワークレイテンシを解消します。コンシューマー向けエッジハードウェア上でリアルタイムレンダリングを実現する、軽量・低遅延のリップシンクフレームワークとして位置づけられています。

主な機能

• オンデバイス・モバイル推論: 専用のFullパッケージおよびLiteパッケージによりAndroidチップセット上でローカル動画生成を実行し、クラウドGPUレンダリングの継続的なコストを排除します。
• 低遅延ストリーミングアニメーション: ストリーミングText-to-Speech（音声合成）パイプラインとの連携時、約0.3秒でリップシンク動画のレンダリングを開始し、リアルタイム対話における応答遅延を最小限に抑えます。
• 量子化デスクトップランタイム: NVIDIA GPU上のPyTorch内でINT8およびW8A16の混合TorchScriptモデルを直接実行し、カスタムCUDA動的リンクライブラリによる運用の複雑さを回避します。
• 対話型AIモード: Alibaba Cloud DashScope API（Qwen言語モデルおよびCosyVoice音声合成に対応）に直接接続し、即時性の高い音声ベースのアバター対話を実現します。

実用的なヒント

• モデルのライセンス条項の確認: 基本コードはMITライセンスですが、コアとなるリップシンクモデルの重みはCC BY-NC 4.0の対象であり、作成者に明示的な許諾を得ない商用利用は禁止されています。
• ターゲットハードウェアに応じたモデルの選択: Snapdragon 8 Gen 1などの旧型ハードウェアを対象とする場合は、メモリ使用量を許容範囲内に収め、十分なフレームレートを維持するためにLiteモデルパッケージをデプロイしてください。
• Webランタイムの前提条件の確認: ローカルのWeb環境セットアップ時にランタイム環境の不整合を防ぐため、デプロイ先ホストでPython 3.11および互換性のあるPyTorch CUDAビルドが動作していることを確認してください。

OpenClawスキル

NanoAvatarのリポジトリには、OpenClawエコシステムとのネイティブな統合に関する記載はありません。想定されるユースケースとして、OpenClawエージェントが生成した音声データをローカルのNanoAvatarランタイムに直接ルーティングするよう構成することで、自律型エージェントのワークフローからエッジデバイス上にアニメーション動画フィードを出力できるようになります。このアーキテクチャにより、自動カスタマーサービスやキオスク端末向けアプリケーションにおいて、外部のストリーミング動画インフラ費用を発生させることなく、完全にローカルハードウェア上でインタラクティブなビジュアルエージェントを提供することが可能になります。