Almacén de datos de streaming

La necesidad de responder rápidamente a los conocimientos de los clientes ha impulsado la creciente adopción de arquitecturas basadas en eventos y el procesamiento de flujos. Marcos como Spark, Flink o Kafka Streams ofrecen un paradigma en el que consumidores y productores de eventos simples pueden cooperar en redes complejas para ofrecer información en tiempo real. Pero este estilo de programación requiere tiempo y esfuerzo para dominarlo y, cuando se implementa como aplicaciones de un solo punto, carece de interoperabilidad. Hacer que el procesamiento de flujos funcione universalmente a gran escala puede requerir una importante inversión en ingeniería. Ahora, está surgiendo una nueva cosecha de herramientas que ofrece las ventajas del procesamiento de flujos a un grupo más amplio y establecido de desarrolladores que se sienten cómodos utilizando SQL para implementar los análisis. La estandarización de SQL como lenguaje de flujo universal reduce la barrera para la implementación de aplicaciones de flujo de datos. Herramientas como ksqlDB y Materialize ayudan a transformar estas aplicaciones separadas en plataformas unificadas. En conjunto, una colección de aplicaciones de streaming basadas en SQL en toda una empresa podría constituir un almacén de datos de streaming.