El momentum incorpora, en cada paso del descenso de gradiente, una fracción de la dirección en la que se venía moviendo en los pasos anteriores, de forma similar a cómo una pelota rodando cuesta abajo acumula velocidad en la dirección en la que ya se estaba moviendo.
Por qué mejora el entrenamiento
Ayuda a atravesar más rápido zonas relativamente planas de la función de pérdida, y reduce las oscilaciones erráticas que pueden ocurrir en zonas donde el gradiente cambia mucho de dirección de un paso a otro, acelerando la convergencia general del entrenamiento.