Avatar humano

Fondo

Una startup en modo oculto se inspiró para inventar un nuevo modelo de compromiso digital que vincula inteligencia artificial, aprendizaje automático, visión por ordenador y hardware para lograr un avatar realista en tiempo real. Esta solución podría permitir a las organizaciones empresariales interactuar con las personas de formas sin precedentes para escenarios como la formación y los juegos de rol.

La captura facial que incluye el contexto emocional se había desarrollado en Hollywood; la innovación de esta startup es que la captura facial se produciría en tiempo real. Aunque las oportunidades para las producciones de cine y televisión son fáciles de ver, este cliente también vio una enorme necesidad insatisfecha en el ámbito público/privado sin todo el trabajo de posprocesamiento que Hollywood invierte meses en crear avatares y escenas realistas.

Desafío

Para representar los rasgos faciales del avatar en tiempo real, la solución tiene que funcionar más rápido que en tiempo real, pero con una tecnología tan nueva, nadie tenía experiencia en construirla.

No había un camino claro y obvio para la tecnología, por lo que los elementos de hardware y software debían diseñarse conjuntamente. Además, la solución final tenía que ser extremadamente eficiente en términos de ciclos de cálculo sin sacrificar la calidad ni la fiabilidad.

Este proyecto incluía ingredientes como una intensa presión de tiempo, experiencia en hardware y software de vanguardia, creación de una experiencia de usuario aparentemente imposible que no se había hecho antes... todo ello en medio de un mercado laboral sin parangón con una competencia extraordinaria para científicos de datos e ingenieros.

Kopius* fue contratada porque el equipo directivo de la startup de transformación digital había oído hablar de la reputación de innovación técnica de Kopius.

Kopius tenía experiencia trabajando en la incertidumbre y podía gestionar un proyecto que exigía la creación rápida de prototipos y una entrega técnica impecable en un entorno de desarrollo ágil.

"Kopius demostró una agilidad constante ante diversas incógnitas y variables. Fue estupendo trabajar con un socio tecnológico que no nos exigía que le dijéramos exactamente qué hacer y cuándo hacerlo para que pudiéramos tener éxito."

Solución

A lo largo del proceso, el equipo de ingenieros de Kopius presentaba documentos científicos concisos y bien documentados que articulaban la arquitectura y las estrategias de ingeniería que debían tenerse en cuenta. A continuación, Kopius realizaba un experimento, recibía comentarios y creaba fichas de trabajo para finalizar un conjunto de requisitos para el siguiente sprint.

El trabajo comenzó probando una serie de enfoques de hardware y sensores, al tiempo que se exploraban formas de captar las texturas superficiales y los rasgos del rostro humano en movimiento. El último obstáculo era procesar los datos recibidos de las cámaras y los sensores más rápido que en tiempo real.

En última instancia, la solución requería que el hardware capturara imágenes a 60 fotogramas por segundo para que pudieran renderizarse y reproducirse a 24 fotogramas por segundo, que es el estándar para videoconferencias y el ojo humano percibe como fluidas. Los datos se almacenan y procesan en una estación de trabajo local, ya que los riesgos de latencia y retardo de la computación en nube suponían un riesgo excesivo para el rendimiento.

Kopius investigó docenas de cámaras y sensores antes de seleccionar las cámaras 3D Intel RealSense con sensor RBG integrado, que ofrecen la mayor profundidad y rendimiento.

"Los ingenieros de Kopius no sólo aceptaron el reto, sino que lo disfrutaron. Necesitábamos asociarnos con una empresa que se sintiera cómoda con lo desconocido, que pudiera hacer la investigación necesaria, que tuviera la experiencia técnica para innovar, y que luego diera como resultado un producto empresarial - y esa era Kopius." Fundador de una empresa emergente en modo oculto.

"Cuando piensas en asociarte con un consultor tecnológico externo, la relación entre los ingenieros es especialmente importante. La colaboración y la comunicación de Kopius fueron perfectas y permitieron nuestra rápida integración."

Resultados

Como parte de la solución, Kopius también creó una solución personalizada que generaba datos sintéticos ilimitados de rostros para el aprendizaje automático. Así, el cliente no tuvo que comprar rostros anotados a terceros, lo que supuso un ahorro de decenas de miles de dólares en datos de formación.

La solución final en tiempo real impulsa los avatares de la startup en un entorno 3D totalmente interactivo, con detalles como diferentes luces y sombras que reflejan la elección de entornos interiores y exteriores.

Además de crear algo que nunca antes se había hecho, Kopius ayudó a la startup a colaborar sin esfuerzo entre los dos equipos para crear una plataforma de calibre empresarial que era algo más que un experimento científico. El trabajo de Kopius se ha integrado perfectamente en la solución más amplia de la empresa emergente.

Kopius consiguió que esta empresa emergente pudiera lanzar al mercado la V1 de su producto comercial de avatares mucho más rápido que si intentara contratar orgánicamente los conjuntos de habilidades adecuados en sus primeras etapas.  

"Kopius es nuestro socio de referencia para la innovación de gama alta que aborda los problemas más difíciles. Sus contribuciones aceleraron nuestra innovación y salida al mercado".

*El trabajo se realizó bajo el nombre comercial anterior, Valence