El cálculo diferencial, y en particular el concepto de derivada, es la herramienta matemática que permite calcular cómo debería ajustarse cada parámetro de un modelo para reducir su error, siendo la base matemática exacta sobre la que se apoya el algoritmo de descenso de gradiente.
Su aplicación concreta en el entrenamiento
Calcular el gradiente de la función de pérdida respecto a cada parámetro del modelo —esencialmente, una aplicación extendida de la regla de la cadena del cálculo diferencial a través de múltiples capas— es exactamente lo que hace el algoritmo de retropropagación al entrenar una red neuronal.