Un problema de optimización convexa tiene la propiedad de que cualquier mínimo local que se encuentre es también el mínimo global: no existen “trampas” intermedias donde un algoritmo de optimización pueda quedar atascado creyendo haber encontrado la mejor solución posible sin serlo realmente.
Por qué es relevante en machine learning
Algunos modelos, como la regresión lineal y logística, tienen funciones de pérdida convexas, lo que garantiza que el descenso de gradiente encontrará la solución óptima. Las redes neuronales profundas, en cambio, tienen funciones de pérdida no convexas, con múltiples mínimos locales, lo que hace su optimización considerablemente más compleja e impredecible en teoría, aunque funcione bien en la práctica.