Etiqueta Datos

Arquitectura de data mesh en almacenes de datos basados en la nube

Publicado por

Los datos son el nuevo oro negro de las empresas. En este post, exploramos cómo los cambios en la tecnología, los procesos organizativos y las personas son fundamentales para lograr la visión de una empresa impulsada por los datos que despliega una Arquitectura de data mesh en almacenes basados en la nube como Snowflake y Azure Synapse.

El verdadero valor de los datos procede de la información obtenida a partir de datos que a menudo están aislados y se extienden por formatos de almacenamiento estructurados, semiestructurados y no estructurados en terabytes y petabytes. La minería de datos ayuda a las empresas a recopilar información fiable, tomar decisiones informadas, mejorar la tasa de rotación y aumentar los ingresos.

Todas las empresas podrían beneficiarse de una estrategia de data-first, pero sin una arquitectura de datos eficaz, las empresas no consiguen alcanzar el estatus de data-first.

Por ejemplo, el equipo de ventas y marketing de una empresa necesita datos para optimizar los canales de venta cruzada y de aumento de ventas, mientras que tus equipos de producto quieren intercambiar datos entre dominios con fines analíticos. Toda la organización desearía disponer de una forma mejor de obtener y gestionar los datos para tus necesidades, como el streaming en tiempo real y los análisis casi en tiempo real. Para abordar las necesidades de datos de los distintos equipos, la empresa necesita un cambio de paradigma hacia la rápida adopción de la Arquitectura de data mesh, que debe ser escalable y elástica.

La arquitectura de Data Mesh supone un cambio tanto en la tecnología como en la organización, los procesos y las personas.

Antes de sumergirnos en la Arquitectura de data mesh, entendamos tus 4 principios básicos:

  1. Propiedad y arquitectura de datos descentralizada y orientada al dominio
  2. Los datos como producto
  3. Infraestructura de datos de autoservicio como plataforma
  4. Gobernanza informática federada

Big data es volumen, velocidad, variedad y veracidad. El primer principio de la Data Mesh se basa en la descentralización y la distribución de la responsabilidad entre las pymes y los expertos en la materia, que son los propietarios del marco de big data.  

Este diagrama articula los 4 principios básicos de la Data Mesh y el reparto de responsabilidades a alto nivel.

Azure: Cada equipo es responsable de su propio dominio, y los datos se descentralizan y comparten con otros dominios para el intercambio de datos y los datos como producto.
Copo de nieve: Cada equipo es responsable de su propio dominio, y los datos se descentralizan y comparten con otros dominios para el intercambio de datos y los datos como producto.

Los datos de cada dominio están descentralizados en su propia nube de almacén de datos. Este modelo se aplica a todas las nubes de almacén de datos, como Snowflake, Azure Synapse y AWS Redshift.  

Un almacén de datos en la nube se construye sobre una infraestructura multicloud como AWS, Azure y Google Cloud Platform (GCP), que permite escalar la computación y el almacenamiento de forma independiente. Estos productos de almacén de datos están totalmente gestionados y proporcionan una plataforma única para el almacenamiento de datos, los lagos de datos, el equipo de ciencia de datos y para proporcionar datos compartidos para consumidores externos.

Como se muestra a continuación, el almacenamiento de datos está respaldado por el almacenamiento en la nube de AWS S3, Azure Blob y Google, lo que hace que Snowflake sea altamente escalable y fiable. Snowflake es único en su arquitectura y capacidades de intercambio de datos. Al igual que Synapse, Snowflake es elástico y puede ampliarse o reducirse en función de las necesidades.

De una arquitectura de datos monolítica heredada a un modelado de datos más escalable y elástico, las organizaciones pueden conectar datos enriquecidos y curados descentralizados para tomar decisiones informadas en todos los departamentos. Con la implementación de Data Mesh en Snowflake, Azure Synapse, AWS Redshift, etc., las organizaciones pueden lograr el equilibrio adecuado entre permitir que los propietarios de dominios definan y apliquen fácilmente tus propias políticas detalladas y disponer de procesos de gobernanza gestionados de forma centralizada.

Recursos adicionales:

Migración a la nube y servicios en la nube

Publicado por
Por Luca Junghans

Un vistazo a estas funciones en la nube

Al unir tus fuerzas, Valence y MajorKey ofrecen un conjunto aún mayor de servicios en la nube para las empresas que desean impulsar su transformación digital con tecnologías en la nube. 

MajorKey trabaja con clientes para migrar aplicaciones empresariales a la nube, y Valence crea servicios en la nube. Esta es una de las razones por las que estas empresas son una fuerza combinada tan poderosa. 

La nube se refiere al software y los servicios que se ejecutan en un servidor (normalmente) ubicado en una región y propiedad del proveedor de servicios en la nube, en lugar de en un servidor local propiedad de un cliente. Los servidores en nube están en centros de datos de todo el mundo. Al utilizar la computación en nube, las empresas no tienen que gestionar servidores físicos ni ejecutar aplicaciones de software en sus propias máquinas. 

Es un gran negocio. De hecho, uno de nuestros socios, AWS aportó el 14,5% de los ingresos al negocio global de Amazon en 2021, que habría operado con pérdidas de 1.800 millones de dólares en el cuarto trimestre sin ella, y los ingresos de AWS aumentaron casi un 39% en comparación con 2020. 

Hay muchas formas de utilizar y comprender el impacto empresarial de la tecnología en la nube. Aquí desglosamos la distinción entre servicios en la nube y migración a la nube.

Comunicate con nosotros

Migración a la nube y servicios en la nube 

En pocas palabras, la migración a la nube es lo que ocurre cuando una empresa traslada parte o todo su software a servidores en la nube.

En otras palabras, la migración a la nube consiste en trasladar su software a un servidor gestionado por el proveedor de la nube; y los servicios en la nube son soluciones tecnológicas construidas sobre esos servidores gestionados. Hay todo un abanico de posibilidades entre ambos. 

Veámoslo más de cerca.  

Los servicios en la nube varían en cuanto a su grado de abstracción del cliente. Un buen ejemplo es Amazon Cognito, un servicio en la nube de gestión de usuarios. Amazon Cognito cuenta con implementaciones de funciones de usuario básicas como inicio de sesión, cierre de sesión, sesiones y seguridad, por lo que un cliente no tiene que preocuparse por una implementación técnica más profunda de estas características y puede centrarse en la administración de usuarios.  

Los servicios en la nube son tan flexibles que existen formas aparentemente infinitas de implantarlos en una empresa. Los servicios en la nube son la infraestructura, las plataformas y el software alojados por proveedores de servicios en la nube, y existen tres soluciones comunes:   

  1. Infraestructura como servicio: El alquiler de máquinas virtuales y espacio a los clientes, al tiempo que se proporciona una forma de gestionar remotamente el recurso. Cuando una empresa migra a la nube, está utilizando este servicio. 
  2. Plataformas: Proveedores como AWS y Azure construyen software especializado sobre su propio hardware en la nube y ofrecen el software a los clientes como un servicio. Se trata de servicios especializados y pueden ofrecer patrones para cosas como análisis de datos, computación, IoT, API, seguridad, identidad y contenedores. Escribimos sobre Digital Twins en un post anterior, en el que hacíamos referencia a las plataformas Digital Twin ofrecidas por AWS y Azure.  
  3. Software como servicio (SaaS): El software puede construirse sobre las plataformas ofrecidas por los proveedores de la nube. Los desarrolladores de software también pueden asociarse con terceros para ofrecer instancias de software totalmente construidas que suelen incluir tarifas de suscripción, asistencia al cliente y configuraciones personales del software. Algunos ejemplos son Atlassian Jira y Confluence, Dropbox, Salesforce y G Suite. 

Estos servicios pueden ser transformadores para las empresas en general, pero no siempre es fácil saber cuál es la mejor forma de utilizarlos para su negocio. Los beneficios añadidos a esta migración varían según los casos, y aquí tienes cuatro ejemplos: 

  • Escalabilidad: Los servicios en la nube suelen ofrecer opciones de escalado a demanda que pueden satisfacer crecimientos inesperados o planificados. Dependiendo de su producto, esto puede ser mucho más fácil que actualizar el hardware local, pero no siempre más barato. 
  • costos: Aunque esperamos que los costos se repercutan al consumidor de alguna manera, la logística del mantenimiento y las actualizaciones de los sistemas en la nube corre a cargo del proveedor. En muchos casos, esto puede traducirse en un enorme ahorro de dinero para los clientes. 
  • Rendimiento: Los servicios que mejoran el rendimiento, como las CDN y el alojamiento regional, cuando se comprenden y configuran correctamente, pueden tener efectos tangibles y positivos en el rendimiento. 
  • Gestión local: Estar en la nube significa acceder a los portales digitales para gestionar los servicios (la mayoría de las veces). Esto crea una barra de entrada más baja para que los empleados gestionen y observen los recursos. 

Muchas empresas comienzan su viaje hacia la transformación digital migrando la infraestructura o las aplicaciones de los servidores locales a la nube. En particular, la migración a la nube también puede referirse a una situación en la que una empresa necesita llevar los recursos en la nube que gestiona a un entorno local. También puede describir una situación en la que una empresa traslada tus recursos de datos de un proveedor de nube a otro.  

La migración para utilizar servicios en la nube es un proceso que presenta muchas ventajas, ¡y merece la pena investigarlo! El proceso añadirá complejidades adicionales: en concreto, la seguridad y la gobernanza se instituirán generalmente por adelantado como base para el resto de la migración. Diseñamos y desarrollamos aplicaciones eficaces, escalables y fáciles de mantener que ahorran dinero a las empresas, cubren lagunas de conocimiento y ofrecen a los usuarios una experiencia positiva.  

He aquí dos ejemplos de servicios en la nube que hemos creado para nuestros clientes:  

  • Creación de aplicaciones en la nube con AWS lambda: Hemos tendido un puente entre múltiples API de terceros y creado nuevas bases de datos que consolidan los datos y los entregan a una aplicación web. Los servicios en la nube eliminan la necesidad de que nuestros clientes interactúen con estos múltiples servicios, lo que les ahorra tiempo y dinero. Al mismo tiempo, utilizamos AWS Cognito para ayudar a nuestro cliente a administrar roles y usuarios de forma segura y fiable. Esto eliminó la necesidad de que nuestros ingenieros escribieran nuestro propio software de administración de usuarios, una tarea engorrosa. 
  • Canalización de datos: Identificamos los problemas en los proveedores de bases de datos actuales de nuestros clientes y migramos los datos a una base de datos con mayor rendimiento y mejor estructurada en migraciones de nube a nube.  

Seguiremos construyendo y migrando mientras investigamos el futuro de la nube. ¿Cuáles son los nuevos servicios y plataformas? ¿Quién puede beneficiarse más de ellos? ¿Cómo podemos hacerlo bien? Estaremos preparados para la migración a la nube y los servicios necesarios del mundo real al metaverso, y más allá.  

Comunicate con nosotros

Recursos adicionales: