GitHub - wpydcr/NanoAvatar: Avatares parlantes en tiempo real y de alta calidad, incluso en un teléfono Android antiguo: 41 FPS con solo 103 ms hasta el primer fotograma. · GitHub

Qué es

NanoAvatar es un motor de código abierto para la generación de avatares parlantes en tiempo real, diseñado para ejecutarse localmente en dispositivos móviles y GPU de escritorio sin depender de servidores de renderizado en la nube. Dirigido a ingenieros de edge AI y desarrolladores de aplicaciones interactivas, resuelve los elevados costes de infraestructura y la latencia de red asociados a la generación de vídeo de avatares en servidores. Se posiciona como un framework de sincronización labial ligero y de baja latencia, capaz de ofrecer renderizado en tiempo real en hardware perimetral de consumo.

Características

• Inferencia móvil en el dispositivo: Ofrece generación de vídeo local en chipsets Android mediante paquetes específicos Full y Lite, eliminando la necesidad de incurrir en costes periódicos por renderizado en GPU en la nube.
• Animación en streaming de baja latencia: Comienza a renderizar vídeo con sincronización labial en aproximadamente 0,3 segundos cuando recibe flujos continuos de texto a voz, minimizando la latencia de respuesta durante interacciones en directo.
• Entorno de ejecución cuantizado para escritorio: Ejecuta modelos TorchScript mixtos en INT8 y W8A16 directamente en PyTorch sobre GPU NVIDIA, evitando la complejidad operativa de las bibliotecas de enlace dinámico personalizadas de CUDA.
• Modo de IA conversacional: Se conecta directamente con las API DashScope de Alibaba Cloud (compatibles con los modelos de lenguaje Qwen y el sistema de texto a voz CosyVoice) para habilitar diálogos inmediatos con avatares basados en voz.

Consejos útiles

• Revisar los términos de licencia del modelo: Aunque el código base utiliza la licencia MIT, los pesos del modelo principal de sincronización labial están bajo CC BY-NC 4.0, lo que prohíbe el uso comercial sin contactar al autor para obtener una licencia explícita.
• Adecuar el hardware de destino a la variante del modelo: Despliegue el paquete del modelo Lite cuando trabaje con hardware más antiguo, como el Snapdragon 8 Gen 1, para mantener un consumo de memoria aceptable y tasas de fotogramas fluidas.
• Verificar los requisitos del entorno web: Asegúrese de que el host de despliegue ejecute Python 3.11 y versiones de PyTorch compatibles con CUDA para evitar conflictos en el entorno de ejecución durante la configuración web local.

Habilidades de OpenClaw

El repositorio de NanoAvatar no documenta ninguna integración nativa con el ecosistema de OpenClaw. Como caso de uso hipotético, se podría configurar un agente de OpenClaw para enviar el audio de voz generado directamente a un entorno de ejecución local de NanoAvatar, lo que permitiría a los flujos de trabajo de agentes autónomos emitir transmisiones de vídeo animadas en dispositivos perimetrales. Esta arquitectura permitiría que aplicaciones de quiosco o de atención al cliente automatizada proporcionen agentes visuales interactivos que operen por completo en hardware local, sin incurrir en costes de infraestructura externa para la transmisión de vídeo.