Avatar humano

Antecedentes

Una startup stealth se inspiró para inventar un nuevo modelo de compromiso digital que vincula inteligencia artificial, Machine Learning, visión por computadora y hardware para lograr un avatar realista en tiempo real. Esta solución podría permitir a las empresas a interactuar con las personas de formas totalmente nuevas, que incluyen escenarios de formación y los juegos de rol.

La captura facial que incluye el contexto emocional se había desarrollado en Hollywood; la innovación de esta startup es que la captura facial se produciría en tiempo real. Aunque las oportunidades para las producciones de cine y televisión son fáciles de ver, este cliente también vio una enorme necesidad insatisfecha en el ámbito público/privado sin todo el trabajo de posprocesamiento que Hollywood invierte meses en crear avatares y escenas realistas.

Desafío

Para representar los rasgos faciales del avatar en tiempo real, la solución tiene que funcionar más rápido que en tiempo real, pero con una tecnología tan nueva, nadie tenía experiencia en construirla.

No había un camino claro y obvio para la tecnología, los elementos de hardware y software debían diseñarse juntos. Además, la solución final tenía que ser extremadamente eficiente en términos de ciclos de cálculo sin sacrificar  calidad ni confiabilidad.

Este proyecto incluía ingredientes como una intensa presión de tiempo, experiencia en hardware y software de vanguardia, creación de una experiencia de usuario aparentemente imposible que no se había hecho antes... todo ello en medio de un mercado laboral diferente con una competencia extraordinaria para científicos de datos e ingenieros.

Kopius* fue contratada porque el equipo directivo de la startup de transformación digital había oído hablar de la reputación de innovación técnica de Kopius.

Kopius tenía experiencia trabajando en la incertidumbre y podía gestionar un proyecto que exigía la creación rápida de prototipos y una entrega técnica impecable en un entorno de desarrollo agile.

"Kopius demostró una agilidad constante ante diversas incógnitas y variables. Fue muy bueno trabajar con un socio tecnológico que no nos exigía que le dijéramos exactamente qué hacer y cuándo hacerlo para que pudiéramos tener éxito."

Solución

A lo largo del proceso, el equipo de ingenieros de Kopius presentaba documentos científicos concisos y bien documentados que articulaban la arquitectura y las estrategias de ingeniería que debían tenerse en cuenta. A continuación, Kopius realizaba un experimento, recibía comentarios y creaba fichas de trabajo para finalizar un conjunto de requisitos para el siguiente sprint.

El trabajo comenzó probando una serie de enfoques de hardware y sensores, al tiempo que se exploraban formas de captar las texturas superficiales y los rasgos del rostro humano en movimiento. El último obstáculo era procesar los datos recibidos de las cámaras y los sensores más rápido que en tiempo real.

En última instancia, la solución requería que el hardware capturara imágenes a 60 fotogramas por segundo para que pudieran renderizarse y reproducirse a 24 fotogramas por segundo, que es el estándar para videoconferencias y el ojo humano percibe como fluidas. Los datos se almacenan y procesan en una estación de trabajo local, ya que los riesgos de latencia y retardo de la computación en nube suponían un riesgo excesivo para el rendimiento.

Kopius investigó docenas de cámaras y sensores antes de seleccionar las cámaras 3D Intel RealSense con sensor RBG integrado, que ofrecen la mayor profundidad y rendimiento.

"Los ingenieros de Kopius no sólo aceptaron el desafío, sino que lo disfrutaron. Necesitábamos asociarnos con una empresa que se sintiera cómoda con lo desconocido, que pudiera hacer la investigación necesaria, que tuviera la experiencia técnica para innovar, y que luego diera como resultado un producto empresarial - y esa era Kopius." Fundador de una empresa emergente en modo oculto.

"Cuando piensas en asociarte con un consultor tecnológico externo, la relación entre los ingenieros es especialmente importante. La colaboración y la comunicación de Kopius fueron perfectas y permitieron nuestra rápida integración."

Resultados

Como parte de la solución, Kopius también creó una solución personalizada que generaba datos sintéticos ilimitados de rostros para el Machine Learning. Así, el cliente no tuvo que comprar rostros anotados a terceros, lo que supuso un ahorro de decenas de miles de dólares en datos de formación.

La solución final en tiempo real impulsa los avatares de la startup en un entorno 3D totalmente interactivo, con detalles como diferentes luces y sombras que reflejan la elección de entornos interiores y exteriores.

Además de crear algo que nunca antes se había hecho, Kopius ayudó a la startup a colaborar sin esfuerzo entre los dos equipos para crear una plataforma de calibre empresarial que era algo más que un experimento científico. El trabajo de Kopius se ha integrado perfectamente en la solución más amplia de la empresa emergente.

Kopius consiguió que esta empresa emergente pudiera lanzar al mercado la V1 de su producto comercial de avatares mucho más rápido que si intentara contratar orgánicamente los conjuntos de habilidades adecuados en tus primeras etapas.  

"Kopius es nuestro socio de referencia para la innovación de gama alta que aborda los problemas más difíciles. tus contribuciones aceleraron nuestra innovación y salida al mercado".

*El trabajo se realizó bajo el nombre comercial anterior, Valence