De forma opuesta al problema del gradiente que se desvanece, el gradiente explosivo ocurre cuando, durante la retropropagación, los valores del gradiente crecen exponencialmente a medida que se propagan hacia atrás, provocando actualizaciones de peso tan grandes que el entrenamiento se vuelve inestable o directamente diverge.
Cómo se controla
Una técnica común es el “recorte de gradiente” (gradient clipping), que limita el valor máximo que puede tomar el gradiente en cada actualización, evitando ajustes descontrolados sin importar cuán grande resulte el cálculo original.