Adam (Adaptive Moment Estimation) combina las ideas de momentum con un ajuste adaptativo de la tasa de aprendizaje para cada parámetro individual del modelo, en lugar de usar una única tasa de aprendizaje fija para todos los parámetros por igual.
Por qué se volvió el optimizador por defecto
Suele converger rápido y funcionar razonablemente bien sin requerir un ajuste muy fino de sus hiperparámetros, lo que lo convirtió en la opción por defecto para entrenar la gran mayoría de las redes neuronales modernas, aunque en algunos casos específicos optimizadores más simples como SGD pueden generalizar ligeramente mejor.