Plataformas

Los sistemas de gestión de contenidos headless se han vuelto un componente habitual de las plataformas digitales. Contentful aún es nuestra alternativa por defecto en este espacio, pero nuevos sistemas como Strapi también nos han impresionado. Particularmente, nos gusta el enfoque API-first de Contentful y la implementación de CMS como código. Es compatible con primitivas potentes de modelado de contenidos como código y scripts de evolución de modelo de contenidos, lo cual permite tratarlo como otros esquemas de almacenamiento de datos y habilita las prácticas de diseño evolutivo de bases de datos que deben aplicarse en el desarrollo de CMS. Recientemente, Contentful ha publicado un framework de aplicación para escribir aplicaciones que faciliten la adaptación de Contentful a procesos empresariales individuales y la integración con otros servicios. Las aplicaciones se pueden compilar por y para una organización concreta, pero también está surgiendo un sitio de mercado para apps.

GitHub Actions se ha convertido en el punto de partida por defecto de muchos equipos que necesitan poner en marcha rápidamente CI o CD en un ambiente totalmente nuevo. Entre otras cosas, puede soportar flujos más complejos y llamar a otras acciones en acciones compuestas. A pesar de que el ecosistema GitHub Marketplace sigue creciendo, nosotros aún recomendamos tomar precauciones al otorgar acceso a sus pipelines en ejecución por parte de GitHub Actions creadas por terceros. Recomendamos seguir los consejos de GitHub sobre security hardening para evitar compartir secretos de manera insegura. Sin embargo, la conveniencia de crear un build workflow directamente en GitHub que está junto a su código fuente combinado con la habilidad de correr las GitHub Actions localmente, usando una herramienta de código abierto como act, es una opción convincente que ha simplificado la configuración y onboarding de nuestros equipos.

K3s sigue siendo nuestra distribución de Kubernetes por defecto para edge computing y entornos con recursos limitados. K3s es un Kubernetes ligero totalmente compatible y con una reducida sobrecarga operacional. Utiliza sqlite3 por defecto como almacenamiento en lugar de etcd. Su consumo de memoria es reducido ya que ejecuta todos los componentes importantes en un único proceso. Hemos usado K3s en entornos como sistemas de control industrial y terminales de punto de venta y estamos muy satisfechos con nuestra decisión. Como el runtime de K3s, containerd, ahora soporta wasm, K3s puede ejecutar y manipular directamente cargas de trabajo en WebAssembly reduciendo todavía más la sobrecarga en tiempo de ejecución.

Apache Hudi es una plataforma data lake de código abierto que provee garantías transaccionales ACID al data lake. Nuestros equipos han tenido una muy buena experiencia al utilizar Hudi en un escenario de alto volumen y de alta capacidad mediante inserciones y upserts en tiempo real. En particular, nos gusta la flexibilidad que Hudi ofrece para personalizar el algoritmo de compactación, que ayuda a abordar problemas con “archivos pequeños”. Apache Hudi se encuentra dentro de la misma categoría que Delta Lake y Apache Iceberg. Todos ellos soportan características similares, pero cada uno difiere en sus implementaciones subyacentes y listas detalladas de características.

Las instancias de cómputo en la nube se han vuelto cada vez más populares en los últimos años debido a su costo y eficiencia energética en comparación con las tradicionales basadas en instancias x86. Muchos proveedores ofrecen ahora instancias basadas en Arm, incluyendo a AWS, Azure y GCP. El beneficio a nivel de costo de usar Arm en la nube puede ser particularmente ventajoso para negocios que manejan grandes cantidades o necesitan escalar. Basado en nuestra experiencia, recomendamos las instancias basadas en Arm para todos los tipos de carga a menos que haya dependencias específicas de la arquitectura. Las herramientas para dar soporte a múltiples arquitecturas, como las imágenes multi-arquitectura de Docker, también simplifican los flujos de trabajo de creación e implementación.

Ante el desafío de explorar grandes espacios de configuración, donde puede llevar un tiempo considerable evaluar una configuración dada, los equipos pueden recurrir a la experimentación adaptativa, un proceso iterativo guiado por máquina, para encontrar soluciones óptimas de una manera eficiente en recursos. Ax es una plataforma para gestionar y automatizar experimentos adaptativos, incluyendo experimentos de ML, A/B testing y simulaciones. Actualmente, soporta dos estrategias de optimización: optimización Bayesiana usando BoTorch, la cual se basa en PyTorch, y contextual bandits. Cuando Facebook liberó Ax y BoTorch, describió casos de uso como el incrementar la eficiencia de la infraestructura de back-end, ajustando los modelos de clasificación y optimizando la búsqueda de hiperparámetros para una plataforma de ML. Hemos tenido buenas experiencias con Ax para una variedad de casos de uso y, si bien existen herramientas para el ajuste de hiperparámetros, no conocemos una plataforma que brinde funcionalidad en un ámbito similar al de Ax.

DuckDB es una base de datos integrada basada en columnas para cargas de trabajo analíticas y de ciencia de datos. Los analistas de datos suelen cargar los datos localmente en herramientas como pandas o data.table para analizar patrones rápidamente y formular hipótesis antes de escalar la solución en el servidor. Sin embargo, ahora estamos usando DuckDB para tales casos de uso, porque desbloquea el potencial para hacer un análisis más grande que la memoria. DuckDB admite uniones de rango, ejecución vectorizada y control de concurrencia multiversión (MVCC) para grandes transacciones, y nuestros equipos están muy contentos con eso.

Cualquier sistema de software debe representar adecuadamente el ámbito dado en el que se emplea y siempre debe tener en cuenta objetivos y metas clave. Los proyectos de machine learning (ML) no son diferentes. Feature engineering es un aspecto crucial de la ingeniería y diseño de sistemas de software de ML. Feature Store es un concepto arquitectónico relacionado que facilita la identificación, el descubrimiento y la supervisión de las características (features) relevantes para un determinado dominio o problema comercial. La implementación de este concepto implica una combinación de diseño arquitectónico, ingeniería de datos y gestión de infraestructuras para crear un sistema de ML escalable, eficiente y fiable. Desde el punto de vista de las herramientas, se pueden encontrar plataformas de código abierto y completamente gestionadas, pero son sólo una parte de este concepto. En el diseño integral de los sistemas de ML, la implementación de un feature store permite las siguientes capacidades: la habilidad de (1) definir las features adecuadas; (2) mejorar la reutilización y hacer que las features estén disponibles de forma coherente, independientemente del tipo de modelo, lo que también incluye la configuración de las pipelines de feature engineering que curan los datos como se describe en el feature store; (3) permitir el descubrimiento de features y (4) permitir su consumo. Nuestros equipos aprovechan los feature stores en producción para ver sus frutos en los sistemas de ML de extremo a extremo.

RudderStack es una plataforma de gestión de datos de cliente (CDP en inglés) que facilita el almacenamiento de datos en un data warehouse o data lake. Este enfoque, cada vez más conocido como Headless CDP, separa las funciones de la plataforma de datos de cliente de su interfaz de usuario, enfatiza la capacidad de configuración a través de APIs y el data warehouse/data lake como almacenamiento primario. Como es de esperarse de un producto en esta categoría, RudderStack cuenta con un amplio repositorio de integraciones con productos de terceros (tanto de fuente como de destino de datos) y la capacidad de ingesta de eventos personalizados. RudderStack tiene una versión comercial, y también una versión de código abierto auto alojada con funcionalidad limitada.

Strapi es un sistema de gestión de contenidos (CMS) de código abierto, basado en NodeJS y headless, similar a Contentful. Existe desde hace tiempo y lo hemos utilizado con éxito en algunos proyectos. Strapi proporciona APIs REST y GraphQL, dispone de una documentación completa, cuenta con una API de modelo de datos fácil de usar y permite personalizar tanto la interfaz de usuario como la lógica.

TypeDB Es una base de datos de grafos de conocimiento, diseñada para trabajar con relaciones de datos intrincadas que facilitan la consulta y el análisis de grandes conjuntos de datos. El lenguaje de consulta TypeQL de TypeDB tiene una sintaxis similar a SQL que facilita la curva de aprendizaje para la definición de esquemas, consulta y exploración. TypeDB incluye una variedad de herramientas las cuales facilitan el trabajo con las bases de datos, incluyendo una interfaz de línea de comandos y una interfaz gráfica de usuario, TypeDB Studio, que provee algunas características para trabajar con TypeDB, como la gestión de esquemas, la consulta de datos, la visualización de relaciones o incluso la colaboración con otros. Existe una gran cantidad de documentación disponible y una comunidad activa de apoyo. Nuestros equipos la utilizaron para construir grafos de conocimiento de conceptos taxonómicos en diferentes bases de datos, y aprovecharon sus potentes capacidades de interferencia añadiendo nuevas reglas de interferencia para aumentar la eficiencia y reducir la carga de trabajo. Gracias a su intuitiva experiencia de desarrollo y su comunidad de apoyo, TypeDB es un buen candidato a considerar para cualquier equipo que busque crear soluciones de datos que dependan de relaciones de datos complejas, como los datos de lenguaje natural, motores de recomendación y grafos de conocimiento.

Autoware es un software de código abierto de conducción autónoma construido sobre ROS (Robot Operating System) que puede ser usado para desarrollar y desplegar sistemas de conducción asistida (ADAS, por sus siglas en inglés) para una amplia gama de vehículos como coches y camiones. Provee de un set de herramientas y algoritmos para varios aspectos de la conducción autónoma, como percepción, toma de decisiones y control. También tiene un módulo de planificación y control que genera una trayectoria para el vehículo basada en su entorno y objetivos. Fomenta la innovación abierta en tecnologías de conducción autónoma. Estamos construyendo prototipos usando Autoware para validar nuevas ideas de productos y lo encontramos útil.

Cozo es una base de datos relacional integrable que utiliza Datalog para realizar consultas. Estamos intrigados su compatibilidad con las consultas time-travel y el modelado de datos gráficos en esquemas relacionales. Nos gusta bastante que delegue el almacenamiento de datos en motores populares ya existentes, como SQLite, RocksDB, Sled y TiKV. Aunque Cozo se encuentra aún en sus primeras fases de desarrollo, creemos que merece la pena evaluarlo.

Dapr, abreviatura de Distributed Application Runtime, ayuda a los desarrolladores a crear microservicios resilientes,con o sin estado que se ejecutan en la nube. Algunas personas pueden confundirlo con una service mesh, porque utiliza una arquitectura sidecar que se ejecuta como un proceso separado junto con la aplicación. Dapr está más orientado a las aplicaciones y se enfoca en encapsular la tolerancia a fallos y la conectividad requeridas para construir aplicaciones distribuidas. Por ejemplo, Dapr proporciona varios bloques de construcción, desde la invocación del servicio y la publicación/suscripción de mensajes hasta el bloqueo distribuido, los cuales son patrones comunes en comunicación distribuida. Uno de nuestros equipos evaluó Dapr en un proyecto reciente; dada su experiencia positiva, esperan llevarla a otros proyectos en el futuro.

Immuta es una plataforma de seguridad de datos que permite proteger el acceso a tus datos, descubre automáticamente datos sensibles y audita cómo los mismos son usados en una organización. En el pasado, hemos mencionado la importancia de la automatización, prácticas de ingeniería y tratamiento de las políticas de seguridad como código cuando pensamos en cuestiones de seguridad. La seguridad de datos es igual. Nuestros equipos han estado explorando Immuta para administrar las políticas de datos como código y permitir un control de acceso granular, el cual va más allá de lo que el control de acceso basado en roles (RBAC por sus siglas en Inglés) puede ofrecer. Políticas manejadas a través de control de versiones pueden probarse antes de formar parte de un pipeline de Entrega e Integración Continua. En un ecosistema de datos descentralizados, como el que nos permite data mesh, tener roles específicos de dominios pueden llevar a la proliferación de roles o grupos en el sistema de identidad. La capacidad del control de accesos basado en atributos de Immuta (ABAC por sus siglas en Inglés) reduce la concesión de accesos a una ecuación matemática que asocia un “atributo” del usuario con una “etiqueta” en la fuente de datos. Esta plataforma aún es nueva, pero vale la pena destacar para las necesidades de seguridad de datos.

Matter es un estándar abierto para tecnología de hogar inteligente, lanzado por Amazon, Apple, Google, Comcast y Zigbee Alliance (ahora Connectivity Standards Alliance, o CSA). Éste permite que dispositivos funcionen con cualquier ecosistema certificado por Matter, lo que reduce la fragmentación y promueve la interoperabilidad entre dispositivos y plataformas IoT de distintos proveedores. Su enfoque en la estandarización a nivel de aplicación, compatibilidad con Wi-Fi y Thread como soluciones de conectividad y el respaldo de las principales empresas tecnológicas lo distinguen de otros protocolos como Zigbee. Aunque la cantidad de dispositivos habilitados para Matter aún es relativamente baja, su creciente importancia en el área de IoT hace que valga la pena evaluar este estándar para aquellos que buscan construir soluciones de IoT y hogar inteligente.

Modal es una plataforma como servicio (PaaS) que ofrece realizar cálculos bajo demanda, sin la necesidad de tener tu propia infraestructura. Modal te permite desplegar modelos de machine learning, trabajos de cálculo en paralelo de forma masiva, colas de tareas y aplicaciones web. Modal proporciona una abstracción en forma de contenedores que hace que el cambio de local a despliegue en nube sea instantáneo, con recarga en caliente tanto en local como en la nube. Incluso realiza el borrado de despliegues automáticamente, evitando la necesidad de una limpieza manual, aunque también puede hacerlos persistentes.

Modal está escrito por el mismo equipo que desarrolló el primer sistema de recomendaciones para Spotify. Se ocupa de la stack AI/ML completa y puede proveer recursos GPU bajo demanda, lo cual es útil si necesitas hacer uso computacional intensivo. Tanto si trabajas desde tu portátil como desde la nube, Modal simplemente funciona, proporcionando una forma fácil y eficiente de ejecutar y desplegar tus proyectos.

Neon Es una alternativa de código abierto a AWS Aurora PostgreSQL. Las bases de datos analíticas nativas de la nube han adoptado la técnica de separar el almacenamiento de los nodos de procesamiento para escalar elásticamente bajo demanda. Sin embargo, es difícil hacer lo mismo en una base de datos transaccional. Neon lo consigue con su nuevo motor de almacenamiento multiusuario para PostgreSQL. Con cambios mínimos en el código principal de PostgreSQL, Neon aprovecha AWS S3 para almacenamiento de datos a largo plazo y escala elásticamente el procesamiento hacia arriba o hacia abajo (incluyendo el escalado a cero). Esta arquitectura tiene varios beneficios — incluyendo clones baratos y rápidos, copia-en-escritura y ramificación. Nos entusiasma ver nuevas innovaciones sobre PostgreSQL. Nuestros equipos están evaluando Neon, y te recomendamos que tú también lo hagas.

OpenLineage Es un estándar abierto para recopilar metadatos de linaje para pipelines de datos, diseñado para instrumentar jobs mientras se ejecutan. Define un modelo genérico de ejecución, jobs y entidades de conjuntos de datos utilizando convenciones de nomenclatura consistentes. El modelo de linaje principal se puede extender definiendo facetas específicas que enriquecen esas entidades. OpenLineage resuelve el problema de interoperabilidad entre productores y consumidores de información de linaje, quienes de otra manera requerirían saber cómo comunicarse entre sí de diferentes maneras. Aunque existe un riesgo al ser otro “estándar en el medio”, ser un proyecto respaldado por Linux Foundation AI & Data Foundation aumenta su posibilidad de adopción masiva. OpenLineage actualmente soporta colecciones de datos en múltiples plataformas, como Spark, Airflow y dbt, aunque los usuarios necesitan configurar sus listeners. El soporte para consumidores de datos de OpenLineage es más limitado en estos momentos.

El "fin de las contraseñas" podría estar cerca, finalmente. Impulsadas por la alianza FIDO y respaldadas por Apple, Google y Microsoft, Passkeys se acerca al uso generalizado. Al configurar un nuevo inicio de sesión con Passkeys, se generan un par de claves: el sitio web recibe la clave pública y el usuario conserva la clave privada. El manejo del inicio de sesión utiliza criptografía asimétrica. El usuario demuestra que está en posesión de la clave privada, pero, a diferencia de las contraseñas, ésta nunca se envía al sitio web. En los dispositivos de los usuarios, el acceso a Passkeys está protegido mediante datos biométricos o un PIN.

Las Passkeys se pueden almacenar y sincronizar dentro de los ecosistemas de las Grandes Tecnológicas, utilizando el iCloud Keychain de Apple, el Administrador de contraseñas de Google o Windows Hello. En la mayoría de los casos, esto solo funciona con versiones recientes del sistema operativo y del navegador. En particular, el almacenamiento de passkeys en Windows Hello no es compatible con Windows 10. Afortunadamente, el Client to Authenticator Protocol (CTAP) hace posible que las Passkeys sean guardadas en un dispositivo diferente al que crea la clave o al que la necesita para iniciar sesión. Por ejemplo, un usuario crea una passkey para un sitio web en Windows 10 y la almacena en un iPhone escaneando un código QR. Debido a que la clave se sincroniza a través de iCloud, el usuario puede iniciar sesión en el sitio web desde, por ejemplo, su MacBook. Las Passkeys también se pueden almacenar en candados de hardware, y el soporte para aplicaciones nativas ha llegado a iOS y Android.

A pesar de algunos problemas de usabilidad, por ejemplo, Bluetooth debe funcionar porque la proximidad del dispositivo se verifica cuando se escanea un código QR, vale la pena considerar passkeys. Sugerimos experimentar con ellas en passkeys.io para tener una idea de su uso.

Spin es una plataforma de código abierto para la construcción y ejecución de microservicios en WebAssembly (WASM). En anteriores ediciones del Radar, hemos hablado sobre WebAssembly en el contexto de los navegadores, pero ahora estamos presenciando su entrada por el lado del servidor debido a sus capacidades para sandboxing granular, interoperabilidad entre lenguajes y recargas en caliente. Con Spin CLI, puedes crear y distribuir rápidamente microservicios de WebAssembly en Rust, TypeScript, Python y TinyGo. Estamos emocionadas con Spin, y recomendamos que lo evalúes cuidadosamente a medida que sale del early preview.

Denodo es una herramienta de virtualización de datos que apunta a hacer más fácil el proceso de exponer y asegurar datos transformados de un modo más amigable para el consumidor (desde múltiples fuentes de datos sobrepuestos y por una variedad de interfaces) desde una sola plataforma. La transformación de datos desde Denodo puede definirse al crear bases de datos virtuales y vistas usando un lenguaje semejante a SQL llamado VQL, que se ejecuta cuando el usuario hace consultas hacia la base de datos virtual. Internamente, Denodo puede delegar las consultas de las bases de datos virtuales en una o múltiples bases de datos superpuestas.

Pese a que Denodo hace fácil el proceso de comenzar a exponer datos de una forma amigable para el consumidor, su desempeño se degrada a medida de que las capas de visualizaciones y bases de datos virtuales se construyen una sobre otra y las consultas con múltiples uniones apuntan a múltiples bases de datos inferiores. Estos problemas se pueden resolver, pero requieren un conocimiento bastante profundo del comportamiento del producto y de las opciones de configuración de su rendimiento. Por estos inconvenientes y debido al limitado soporte que tiene para pruebas unitarias, recomendamos no utilizar Denodo como principal herramienta de transformación de datos y utilizar herramientas como Spark o SQL (con dbt) para procesos de transformación de datos en su lugar.