Arquitectura basada en eventos: Un cambio de juego
La arquitectura basada en eventos ha revolucionado la forma de gestionar y procesar los datos en las empresas. Tradicionalmente, las empresas se enfrentaban a problemas de silos de datos, sistemas heredados y frágiles conexiones punto a punto. Estos problemas solían generar ineficacia y falta de confianza en la calidad de los datos. Apache Kafka surgió como una potente herramienta para desacoplar a productores y consumidores de datos, proporcionando una solución de flujo de eventos en tiempo real que sirve como fuente de verdad.
El alto rendimiento, la escalabilidad y la capacidad de observación de Kafka lo convierten en la opción ideal para las empresas que buscan agilizar sus procesos de datos. Sin embargo, la gestión de clústeres de Kafka en las instalaciones puede ser compleja y consumir muchos recursos. Aquí es donde entra en juego Confluent Cloud, que ofrece una solución multi-nube global totalmente gestionada con seguridad de nivel empresarial y escalabilidad elástica.
La necesidad empresarial: Garantizar el cumplimiento y la fiabilidad
Para un cliente de la lista Fortune 100 en un sector altamente regulado adyacente a la sanidad, la necesidad de una arquitectura híbrida resistente era primordial. El cliente se enfrentaba a una nueva normativa que exigía una cadena de custodia completa de sus productos a lo largo de todo el proceso de distribución. Esto significaba registrar todos los eventos a medida que los productos entraban y salían de los almacenes, garantizando que prácticamente no hubiera tiempo de inactividad para evitar pérdidas millonarias.
La escala de la operación era inmensa, con millones de eventos que debían registrarse en tiempo real. Era esencial disponer de un destino de datos centralizado para proporcionar la cadena de custodia completa al regulador. Además, el cliente necesitaba un producto de datos fiable y de confianza desde el principio, que evitara los problemas de la deuda tecnológica y garantizara la fiabilidad a largo plazo.
Solución de arquitectura híbrida: Aprovechamiento de Kafka y Confluent Cloud
Para cumplir estos elevados requisitos, se implementó una solución de arquitectura híbrida, aprovechando Apache Kafka y Confluent Cloud. Los componentes clave de esta solución incluían
Confluent Cloud: Como fuente y destino central de los datos, Confluent Cloud proporcionó la escalabilidad y la integración necesarias para millones de eventos. Herramientas como Kafka Connect, Kafka Streams y la integración de Flink permitieron un procesamiento y análisis de datos eficientes.
Plataforma Confluent local: Desplegada en todos los centros de distribución del cliente, la plataforma Confluent on-prem garantizó el registro de eventos locales y la resiliencia. Confluent para Kubernetes se utilizó para simplificar la implementación y gestión de clústeres de Kafka.
Fuente de eventos: Los escaneos de productos en los almacenes activaron eventos, garantizando el registro en tiempo real de cada movimiento. Este enfoque preservó la cadena de custodia y proporcionó datos precisos para el cumplimiento normativo.
Vinculación de clústeres: Una característica crucial de Confluent Enterprise, la vinculación de clústeres permitió la replicación de datos sin fisuras desde on-prem a Confluent Cloud. Esto garantizó la disponibilidad centralizada de los datos y la resistencia en caso de fallos de conectividad.
Registro de esquemas: Utilizado para la gobernanza de datos, el registro de esquemas aplicó contratos de datos fiables y capacidad de descubrimiento, garantizando un producto de datos fiable desde el principio.
Automatización de las implantaciones: La plantilla del centro de distribución
Dada la envergadura de la operación, la implantación manual no era viable. Se creó una plantilla de centro de distribución para automatizar el despliegue de clústeres Kafka, bases de datos de documentos y aplicaciones Java en clústeres Kubernetes locales. Esta plantilla permitió realizar despliegues coherentes y repetibles en todos los centros de distribución, lo que redujo significativamente el tiempo y el esfuerzo necesarios.
Confluent para Kubernetes desempeñó un papel vital en esta automatización, proporcionando un potente operador de Kubernetes que simplificó la creación y gestión de clústeres de Kafka. El operador se encargó de todo, desde las configuraciones del corredor hasta la creación de temas y la vinculación de clústeres, lo que hizo que el proceso de implementación fuera muy eficiente y fácil de usar para GitOps.
Datos resistentes y tiempo de inactividad cero
La arquitectura híbrida garantizó un tiempo de inactividad cero para los centros de distribución, incluso en caso de fallos de conectividad. El registro local de eventos permitió que las operaciones continuaran sin interrupciones, mientras que la vinculación de clústeres facilitó la replicación de datos sin problemas a Confluent Cloud una vez restablecida la conectividad. Esta capacidad de recuperación era crucial para cumplir los requisitos normativos y evitar costosas interrupciones.
Liberar el valor de los datos
Más allá del cumplimiento normativo, la solución Kafka híbrida desbloqueó un valor significativo para el cliente. Con los datos centralizados en Confluent Cloud, el cliente podía realizar análisis avanzados, integrarlos con herramientas como Snowflake y proporcionar información valiosa a los clientes finales. El producto de datos fiable y de confianza permitió al cliente optimizar sus operaciones, mejorar las experiencias de los clientes e impulsar el crecimiento empresarial.
Conclusión
La implementación de una arquitectura Kafka híbrida resistente con implementaciones de Confluent Cloud y on-prem ofrece una solución potente para las empresas que se enfrentan a necesidades empresariales complejas y normativas estrictas. Al aprovechar los puntos fuertes de los entornos tanto locales como en la nube, las empresas pueden lograr escalabilidad, fiabilidad y cumplimiento, al tiempo que liberan todo el potencial de sus datos.
Este enfoque no sólo aborda los requisitos normativos inmediatos, sino que también proporciona una base para el crecimiento y la innovación futuros. A medida que las empresas continúen navegando por el panorama digital, soluciones como Kafka híbrido resistente desempeñarán un papel crucial a la hora de impulsar un impacto empresarial real y maximizar las inversiones en tecnología.
Si está buscando elevar su negocio y lograr resultados notables, no dude en ponerse en contacto con Improving. Nuestro equipo está listo para colaborar con usted e impulsar su éxito.
