Por Yuri Brigance

El auge de modelos generativos como ChatGPT y Stable Diffusion ha generado mucho debate sobre el futuro del trabajo y el lugar de trabajo asistido por IA. Hay una gran expectación por las nuevas e impresionantes capacidades que promete esta tecnología, así como preocupación por la pérdida de puestos de trabajo a causa de la automatización. Veamos en qué punto nos encontramos hoy, cómo podemos aprovechar estas nuevas tecnologías de texto generadas por IA para potenciar la productividad y qué cambios pueden suponer para un lugar de trabajo moderno.

¿Te quitará el trabajo ChatGPT?

Es la pregunta que todo el mundo se hace. La IA puede generar imágenes, música, texto y código. ¿Significa esto que tu trabajo como diseñador, desarrollador o redactor está a punto de automatizarse? Pues sí. Tu trabajo se automatizará en el sentido de que será mucho más eficiente, pero tú seguirás al mando.

En primer lugar, no toda automatización es mala. Antes de que se generalizaran las computadoras, los impuestos se hacían con papel y lapicera. ¿Abandonaron los programas fiscales modernos el negocio de los contables? En absoluto. Facilitó su trabajo automatizando tareas repetitivas, aburridas y repetitivas. Los contables fiscales son ahora más eficientes que nunca y pueden centrarse en dominar la legislación fiscal en lugar de perder horas empujando papel. Se ocupan de casos fiscales más complicados, personalizados y adaptados a usted o a su empresa. Del mismo modo, es justo suponer que estas nuevas herramientas generativas de IA aumentarán los trabajos creativos y los harán más eficientes y agradables, no los suplantarán por completo.

En segundo lugar, los modelos generativos se entrenan con contenidos creados por humanos. Esto molesta a muchos, especialmente a los creadores, cuyas obras se utilizan como datos de entrenamiento sin el permiso explícito del artista, lo que permite al modelo replicar su estilo artístico único. Stability.ai planea resolver este problema permitiendo a los artistas optar por que tus obras no formen parte del conjunto de datos, pero, siendo realistas, no hay forma de garantizar el cumplimiento y no hay forma definitiva de demostrar si su arte se sigue utilizando para entrenar modelos. Pero esto abre interesantes oportunidades. ¿Qué pasaría si concedieras la licencia de tu estilo a una empresa de inteligencia artificial? Si eres un artista de éxito y tu trabajo tiene demanda, podría haber un futuro en el que concedieras licencias para que tu trabajo se utilizara como datos de entrenamiento y te pagaran cada vez que se generara una nueva imagen basada en tus creaciones anteriores. Es posible que los creadores de IA responsables puedan calcular el nivel de actualizaciones de gradiente durante el entrenamiento y el porcentaje de activación neuronal asociado a muestras específicas de datos para calcular cuánto de tu arte bajo licencia fue utilizado por el modelo para generar un resultado. Del mismo modo que Spotify paga una pequeña cantidad al músico cada vez que alguien reproduce una de tus canciones, o que sitios web como Flaticon.com pagan una cantidad al diseñador cada vez que se descarga uno de tus iconos. Resumiendo, es probable que pronto veamos controles más estrictos sobre cómo se construyen los conjuntos de datos de formación en lo que respecta a las obras con licencia frente al dominio público.

Veamos algunas implicaciones positivas de este lugar de trabajo y esta tecnología asistidos por IA en relación con algunas funciones creativas y cómo esta tecnología puede agilizar determinadas tareas.

Como diseñador de interfaz de usuario, cuando diseñas interfaces web y para móviles es probable que dediques mucho tiempo a buscar imágenes de archivo. Las imágenes deben ser relevantes para la empresa, tener los colores adecuados, dejar espacio para superponer texto, etc. Algunas imágenes pueden ser oscuras y difíciles de encontrar. Se pueden pasar horas buscando la imagen de archivo perfecta. Con la IA, basta con generar una imagen a partir de un texto. Puede pedir al modelo que cambie la iluminación y los colores. ¿Necesitas espacio para un título? Utiliza inpainting para despejar una zona de la imagen. ¿Necesitas añadir un elemento específico a la imagen, como un cucurucho de helado? Muéstrale a AI dónde lo quieres y lo integrará sin problemas. ¿Necesitas buscar códigos de colores RGB/HEX complementarios? Pídele a ChatGPT que genere algunas combinaciones.

¿Va a desaparecer el trabajo de los fotógrafos? Lo más probable es que no. Siguen apareciendo nuevos dispositivos y hay que incorporarlos periódicamente a los datos de formación. Si somos inteligentes a la hora de conceder licencias de estos activos con fines de capacitación, es posible que tengas  más ingresos que antes, ya que la IA puede utilizar una parte de tu imagen y pagarte una tarifa parcial por cada solicitud muchas veces al día, en lugar de que un usuario compre una licencia por vez. Sí, hay que trabajar para habilitar esta funcionalidad, por eso es importante plantearse las cosas ahora y trabajar hacia una solución que beneficie a todos. Pero los modelos generativos entrenados hoy estarán lamentablemente obsoletos dentro de diez años, así que los modelos seguirán necesitando nuevos datos del mundo real generados por humanos para mantener su relevancia. Las empresas de IA tendrán una ventaja competitiva si pueden obtener licencias de conjuntos de datos de alta calidad, y nunca se sabe cuáles de tus imágenes utilizará la IA; incluso podría averiguar qué fotos tomar más para maximizar ese flujo de ingresos.

Los ingenieros de software, especialmente los que trabajan en servicios profesionales, a menudo tienen que alternar entre varios lenguajes de programación. Incluso en el mismo proyecto, pueden utilizar Python, JavaScript / TypeScript y Bash al mismo tiempo. Es difícil cambiar de contexto y recordar todas las peculiaridades de la sintaxis de un lenguaje en particular. ¿Cómo hacer eficientemente un bucle for en Python vs Bash? ¿Cómo desplegar un Cognito User Pool con un autorizador Lambda usando AWS CDK? Acabamos googleando estos fragmentos porque trabajar con tantos lenguajes nos obliga a recordar conceptos de alto nivel en lugar de elementos sintácticos específicos. GitHub Gist existe con el único propósito de descargar fragmentos de código útil de la memoria local (tu cerebro) a un almacenamiento externo. Con tanto que aprender, y cosas en constante evolución, es más fácil ser consciente de que existe una técnica o algoritmo concreto (y dónde buscarlo) que recordarlo con insoportable detalle como si recitáramos un poema. Herramientas como ChatGPT integradas directamente en el IDE reducirían la cantidad de tiempo que los desarrolladores dedican a recordar cómo crear una nueva clase en un lenguaje que hace tiempo que no utilizan, cómo configurar la lógica de bifurcación o construir un script que mueva un montón de archivos a AWS S3. Podrían simplemente pedirle al IDE que rellene esta repetición de tareas para pasar a resolver los desafíos algorítmicos más interesantes.

Un ejemplo de cómo usar los decoradores de Python en ChatGPT . El texto y el fragmento de código de ejemplo son muy informativos.

Para los redactores, puede ser difícil superar el bloqueo del escritor que supone no saber por dónde empezar o cómo concluir un artículo. A veces resulta difícil describir de forma concisa un concepto complicado. ChatGPT puede ser útil en este sentido, sobre todo como herramienta para buscar rápidamente información aclaratoria sobre un tema. Aunque es justificada tener precaución, como ha demostrado recientemente Stephen Wolfram, CEO de Wolfram Alpha, que argumenta de forma convincente que las respuestas de ChatGPT no siempre deben tomarse al pie de la letra... Así que la clave está en investigar por tu cuenta. Así las cosas, el modelo de OpenAI suele ser un buen punto de partida para explicar un concepto y, como mínimo, puede ofrecer pistas para seguir investigando. Pero por ahora, los escritores siempre deben verificar tus respuestas. Recordemos también que ChatGPT no ha sido entrenado con ninguna información nueva creada después del año 2021, por lo que no está al tanto de las novedades sobre la guerra en Ucrania, las cifras actuales de inflación o las recientes fluctuaciones del mercado bursátil, por ejemplo.

En conclusión

Los modelos de base como ChatGPT y Stable Diffusion pueden aumentar y agilizar los flujos de trabajo, y aún están lejos de poder amenazar directamente un puesto de trabajo. Son herramientas útiles mucho más capaces que los modelos de aprendizaje profundo de enfoque espefício, y requieren cierto grado de supervisión y precaución. ¿Serán aún mejores estos modelos dentro de 5-10 años? Sin duda. Y para entonces, puede que nos hayamos acostumbrado a ellos y tengamos varios años de experiencia trabajando con estos agentes de IA, incluidas tus peculiaridades y errores.

Hay una cosa importante que debemos tener en cuenta sobre los Modelos Fundacionales y el futuro del lugar de trabajo asistido por IA: en el presente, la capacitación sigue siendo muy costosa. No están conectados a Internet y no pueden consumir información en tiempo real, en modo de entrenamiento incremental en línea. No hay una base de datos en la que cargar los nuevos datos, lo que significa que para incorporar nuevos conocimientos, el conjunto de datos debe crecer para encapsular la información reciente, y el modelo debe afinarse o volver a entrenarse desde cero en este conjunto de datos más grande. Es difícil verificar que el modelo produzca información objetivamente correcta, ya que el conjunto de datos de entrenamiento no está etiquetado y el procedimiento de entrenamiento no está totalmente supervisado. Hay alternativas interesantes de código abierto en el horizonte (como la StableDiffusion basada en U-Net), y técnicas para ajustar partes del modelo más grande a una tarea específica, pero éstas tienen un enfoque más específico, requieren cantidad de retoques con hiperparámetros, y en general están fuera del alcance de este artículo en particular.

Es difícil predecir exactamente dónde estarán los modelos básicos dentro de cinco años y cómo influirán en el lugar de trabajo asistido por IA, ya que el campo del Machine Learning evoluciona rápidamente. Sin embargo, es probable que los modelos básicos sigan mejorando en términos de precisión y capacidad para gestionar tareas más complejas. Por ahora, sin embargo, parece que aún nos queda algo de tiempo antes de preocuparnos seriamente por perder nuestros puestos de trabajo a manos de la IA. Deberíamos aprovechar esta oportunidad para mantener ahora conversaciones importantes que garanticen que el futuro desarrollo de estos sistemas tenga una trayectoria ética.

Para obtener más información sobre nuestras soluciones de IA generativa, ponte en contacto con nosotros hoy mismo. Kopius es líder en consultoría y servicios de tecnología digital nearshore.

Recursos adicionales:

• ¿Qué diferencia a los modelos ChatGPT y Foundation de los modelos habituales de IA?

Por Yuri Brigance

Aquí se presenta lo que separa a los modelos fundacionales de los modelos habituales de IA. Exploramos las razones por las que estos modelos son difíciles de entrenar y cómo entenderlos en el contexto de los modelos de IA más tradicionales.

¿Qué son los Modelos Fundacionales?

¿Qué son los modelos básicos y en qué se diferencian de los modelos tradicionales de IA de aprendizaje profundo? El Centro de IA Centrada en el Ser Humano del Instituto Stanford define un modelo básico como "cualquier modelo entrenado con datos amplios (generalmente utilizando autosupervisión a escala) que puede adaptarse a una amplia gama de tareas posteriores". Esto describe también muchos modelos estrechos de IA, como MobileNets y ResNets, que también pueden ajustarse y adaptarse a distintas tareas.

Las distinciones clave aquí son "autosupervisión a escala" y "amplia gama de tareas".

Los modelos Foundation se entrenan con cantidades ingentes de datos sin etiquetar o semietiquetados, y el modelo contiene órdenes de magnitud más de parámetros entrenables que un modelo de aprendizaje profundo típico destinado a ejecutarse en un smartphone. Esto hace que los modelos básicos sean capaces de generalizarse a una gama mucho más amplia de tareas que los modelos más pequeños entrenados en conjuntos de datos específicos del dominio. Es un error común pensar que arrojar muchos datos a un modelo hará que de repente haga algo útil sin más esfuerzo. En realidad, estos modelos de gran tamaño son muy buenos para encontrar y codificar patrones intrincados en los datos con poca o ninguna supervisión, patrones que pueden explotarse de diversas formas interesantes, pero es necesario realizar una buena cantidad de trabajo para utilizar este conocimiento oculto aprendido de forma útil.

La arquitectura de los modelos básicos de IA

El aprendizaje no supervisado, semisupervisado y por transferencia no son conceptos nuevos y, hasta cierto punto, los modelos de fundamentos también entran en esta categoría. Estas técnicas de aprendizaje se remontan a los inicios de los modelos generativos, como las máquinas de Boltzmann restringidas y los autocodificadores. Estos modelos más sencillos constan de dos partes: un codificador y un descodificador. El objetivo de un autocodificador es aprender una representación compacta (conocida como codificación o espacio latente) de los datos de entrada que capte los rasgos o características importantes de los datos, lo que se conoce como "separación lineal progresiva" de los rasgos que definen los datos. Esta codificación puede utilizarse después para reconstruir los datos de entrada originales o generar datos sintéticos completamente nuevos introduciendo variables latentes modificadas de forma inteligente en el descodificador.

Un ejemplo de arquitectura de un modelo autoencodificador convolucional de imágenes se entrena para reconstruir su propia entrada, por ejemplo: imágenes. La modificación inteligente del espacio latente permite generar imágenes completamente nuevas. Esto se puede ampliar añadiendo un modelo adicional que codifique las indicaciones de texto en representaciones latentes que el descodificador entienda para permitir la funcionalidad de texto a imagen.

Muchos modelos modernos de ML utilizan esta arquitectura, y la parte del codificador se denomina a veces columna vertebral, mientras que el decodificador se denomina cabeza. A veces los modelos son simétricos, pero con frecuencia no lo son. Muchas arquitecturas de modelos pueden servir como codificador o columna vertebral, y el resultado del modelo puede adaptarse a un problema específico modificando el decodificador o la cabeza. No hay límite en el número de cabezas que puede tener un modelo, ni en el número de codificadores. Las columnas vertebrales, las cabezas, los codificadores, los decodificadores y otras abstracciones de alto nivel son módulos o bloques construidos a partir de múltiples capas lineales, convolucionales y de otros tipos de redes neuronales básicas. Podemos intercambiarlas y combinarlas para producir diferentes arquitecturas de modelos a medida, del mismo modo que utilizamos diferentes marcos y bibliotecas de terceros en el desarrollo de software tradicional. Esto, por ejemplo, nos permite codificar una frase en un vector latente que luego puede descodificarse en una imagen.

Modelos básicos para el procesamiento del lenguaje natural

Los modelos modernos de Procesamiento del Lenguaje Natural (PLN) como ChatGPT entran en la categoría de Transformadores. El concepto de transformador se introdujo en el artículo de 2017 "Attention Is All You Need" de Vaswani et al. y desde entonces se ha convertido en la base de muchos modelos de vanguardia en PNL. La innovación clave del modelo transformador es el uso de mecanismos de autoatención, que permiten al modelo sopesar la importancia de las diferentes partes de la entrada al hacer predicciones. Estos modelos utilizan lo que se denomina una "incrustación", que es una representación matemática de una entrada discreta, como una palabra, un carácter o un fragmento de imagen, en un espacio continuo de alta dimensión. Las incrustaciones se utilizan como entrada para los mecanismos de autoatención y otras capas del modelo transformador para realizar la tarea específica que se esté llevando a cabo, como la traducción de idiomas o el resumen de textos. ChatGPT no es el primero ni el único modelo de transformador que existe. De hecho, los transformadores se han aplicado con éxito en muchos otros ámbitos, como la visión por computadora y el procesamiento de sonido.

Entonces, si ChatGPT se construye sobre conceptos ya existentes, ¿qué lo hace tan diferente de todas las demás arquitecturas de modelos de última generación que ya se utilizan hoy en día? Una explicación simplificada de lo que distingue a un modelo básico de un modelo de aprendizaje profundo "normal" es la inmensa escala del conjunto de datos de entrenamiento, así como el número de parámetros entrenables que tiene un modelo básico en comparación con un modelo generativo tradicional. Una red neuronal excepcionalmente grande entrenada en un conjunto de datos verdaderamente masivo proporciona al modelo resultante la capacidad de generalizarse a una gama más amplia de casos de uso que tus hermanos más estrechamente enfocados, sirviendo así de base para un número incalculable de nuevas tareas y aplicaciones. Un modelo tan amplio codifica muchos patrones, características y relaciones útiles en tus datos de entrenamiento. Podemos extraer este acervo de conocimientos sin necesidad de volver a entrenar toda la parte codificadora del modelo. Podemos acoplar diferentes cabezas nuevas y utilizar técnicas de aprendizaje por transferencia y de ajuste fino para adaptar el mismo modelo a diferentes tareas. Así es como un solo modelo (como Stable Diffusion) puede realizar a la vez tareas de conversión de texto en imagen, de imagen en imagen, de repintado, de superresolución e incluso de generación de música.

Desafíos en la formación de Modelos Fundacionales

La potencia de cálculo de la GPU y los recursos humanos necesarios para entrenar desde cero un modelo básico como GPT eclipsan los disponibles para desarrolladores individuales y equipos pequeños. Los modelos son sencillamente demasiado grandes y el conjunto de datos demasiado difícil de manejar. Estos modelos no pueden (por ahora) entrenarse de forma rentable de principio a fin y repetirse utilizando hardware básico.

Aunque los conceptos pueden estar bien explicados por la investigación publicada y entendidos por muchos científicos de datos, las habilidades de ingeniería y los costos exorbitantes necesarios para conectar cientos de nodos de GPU durante meses a la vez estirarían los presupuestos de la mayoría de las organizaciones. Y eso sin tener en cuenta los costos de acceso a los conjuntos de datos, almacenamiento y transferencia de datos asociados a la alimentación del modelo con cantidades masivas de muestras de entrenamiento.

Hay varias razones por las que modelos como ChatGPT están actualmente fuera del alcance de los particulares para formarse:

1. Datos necesarios: El entrenamiento de un gran modelo lingüístico como ChatGPT requiere una cantidad masiva de datos de texto. Estos datos deben ser de alta calidad y diversos, y suelen obtenerse de diversas fuentes, como libros, artículos y sitios web. Estos datos también se preprocesan para obtener el mejor rendimiento, lo que supone una tarea adicional que requiere conocimientos y experiencia. Los costos de almacenamiento, transferencia de datos y carga de datos son tustancialmente más elevados que los que se utilizan para modelos con un enfoque más limitado.
2. Recursos informáticos: ChatGPT requiere importantes recursos informáticos para entrenarse. Esto incluye clústeres en red de potentes GPU y una gran cantidad de memoria volátil y no volátil. La ejecución de un clúster informático de este tipo puede alcanzar fácilmente los cientos de miles por experimento.
3. Tiempo de formación: Entrenar un modelo básico puede llevar varias semanas o incluso meses, dependiendo de los recursos informáticos disponibles. Cablear y alquilar tantos recursos requiere mucha habilidad y un generoso compromiso de tiempo, por no hablar de los costos de computación en la nube asociados.
4. Experiencia: Para llevar a buen término un curso de formación se requieren conocimientos de Machine Learning, procesamiento del lenguaje natural, ingeniería de datos, infraestructura en la nube, redes y mucho más. La mayoría de las personas no pueden adquirir fácilmente este amplio conjunto de competencias interdisciplinares.

Acceso a modelos de IA preentrenados

Dicho esto, hay modelos preentrenados disponibles, y algunos pueden ajustarse con una menor cantidad de datos y recursos para un conjunto de tareas más específico y reducido, lo que constituye una opción más accesible para particulares y organizaciones más pequeñas.

El entrenamiento de Stable Diffusion requirió 600.000 dólares, el equivalente a 150.000 horas de GPU. Es decir, un cluster de 256 GPUs funcionando 24 horas al día, 7 días a la semana durante casi un mes. Stable Diffusion se considera una reducción de costos en comparación con GPT. Por lo tanto, aunque es posible entrenar tu propio modelo de base utilizando proveedores de nube comerciales como AWS, GCP o Azure, el tiempo, el esfuerzo, la experiencia necesaria y el costo total de cada iteración imponen limitaciones a su uso. Existen muchas soluciones y técnicas para reutilizar y volver a entrenar parcialmente estos modelos, pero por ahora, si quieres entrenar tu propio modelo básico desde cero, lo mejor que puedes hacer es solicitarlo a una de las pocas empresas que tienen acceso a los recursos necesarios para llevar a cabo esta tarea.

Comunicate con nosotros

Si está listo para aprovechar la inteligencia artificial y las soluciones de aprendizaje automático, póngase en contacto con nosotros hoy mismo. Kopius es líder en consultoría y servicios de tecnología digital nearshore.

Recursos adicionales:

• Descarga gratuita: Prepara tu política de conservación de datos para el éxito
• 3 razones por las que las empresas avanzan en su viaje de datos para combatir la presión económica
• Arquitectura de data mesh en almacenes de datos basados en la nube