ModernBERT

El sucesor de BERT (Bidirectional Encoder Representations from Transformers), ModernBERT constituye la nueva generación de modelos transformadores centrados exclusivamente en la fase de codificación diseñados para abordar un amplio espectro de tareas de procesamiento del lenguaje natural (PLN). Como sustituto directo de BERT, ModernBERT no solo incrementa el rendimiento y la precisión, sino que también solventa algunas de sus limitaciones; destacando especialmente su capacidad de manejar longitudes de contexto notablemente mayores gracias a la técnica denominadaAlternating Attention. Para los equipos que requieran soluciones de PLN, resulta recomendable evaluar ModernBERT antes de adoptar un modelo generativo de propósito general.