En lugar de usar una tasa de aprendizaje constante durante todo el entrenamiento, esta técnica la ajusta dinámicamente: suele comenzar con un valor más alto para avanzar rápido al inicio, y reducirla progresivamente a medida que el entrenamiento avanza, para hacer ajustes más finos cerca de la solución óptima.
Por qué mejora los resultados finales
Una tasa de aprendizaje alta al final del entrenamiento puede hacer que el modelo “salte” alrededor de una buena solución sin nunca asentarse en ella con precisión; reducirla gradualmente permite refinar el ajuste de los parámetros hacia el final, mejorando la calidad final del modelo entrenado.