BERT (Bidirectional Encoder Representations from Transformers) fue un modelo presentado por Google en 2018 que, a diferencia de los modelos anteriores que leían el texto en una sola dirección, aprende el contexto de una palabra mirando simultáneamente las palabras que la rodean por ambos lados.
Su impacto
Ese enfoque bidireccional mejoró notablemente el desempeño en tareas de comprensión del lenguaje, como responder preguntas o clasificar texto, y su publicación marcó un antes y un después en el diseño de modelos de lenguaje, influenciando a gran parte de los modelos de NLP que vinieron después.