Qué es
El descenso de gradiente es el algoritmo detrás del entrenamiento de la mayoría de los modelos de machine learning, incluidas las redes neuronales. En cada paso, calcula en qué dirección hay que mover cada parámetro del modelo para reducir el valor de la función de pérdida, y da un pequeño paso en esa dirección.
Una analogía simple
Es como bajar una montaña con niebla, sin poder ver el paisaje completo: en cada punto, uno siente hacia dónde baja más pronunciadamente el terreno bajo sus pies (el gradiente) y da un paso en esa dirección, repitiendo el proceso hasta llegar a un valle.
Por qué el tamaño del paso importa
Ese “tamaño de paso” se llama tasa de aprendizaje (learning rate): si es demasiado grande, el proceso puede saltarse el mínimo y volverse inestable; si es demasiado chico, el entrenamiento se vuelve extremadamente lento. Encontrar un buen valor es uno de los ajustes más importantes al entrenar un modelo.