Technology Radar
Liquid clustering es una técnica para tablas de Delta Lake que actúa como una alternativa al particionamiento y al Z-ordering. Tradicionalmente, optimizar las tablas Delta para mejorar el rendimiento de lectura requería definir las claves de partición y Z-order al momento de crear la tabla, basándose en los patrones de consulta previstos. Modificar estas claves más adelante implicaba reescribir por completo los datos. En cambio, clustering utiliza un algoritmo basado en árboles para agrupar los datos según las claves designadas, las cuales pueden modificarse de forma incremental sin necesidad de reescribir toda la información. Esto ofrece mayor flexibilidad para admitir diversos patrones de consulta, reduciendo los costos de cómputo y mejorando el rendimiento de lectura. Además, el Databricks Runtime para Delta Lake admite el liquid clustering automático, que analiza los historiales de consultas, identifica las columnas óptimas y agrupa los datos en consecuencia. Tanto los usuarios de Delta Lake independiente como los del entorno Databricks Runtime pueden aprovechar esta técnica para optimizar el rendimiento de lectura.
