La tasa de aprendizaje determina el tamaño del paso que da el algoritmo de descenso de gradiente en cada iteración del entrenamiento: un valor muy alto puede hacer que el entrenamiento se vuelva inestable y nunca converja, mientras que uno muy bajo puede hacer que el entrenamiento sea extremadamente lento.
Por qué es uno de los hiperparámetros más importantes de ajustar
De todos los hiperparámetros de un modelo de deep learning, la tasa de aprendizaje suele ser el que más impacto tiene sobre si el entrenamiento converge exitosamente o no, y encontrar un buen valor inicial suele ser uno de los primeros pasos al ajustar cualquier red neuronal nueva.