A diferencia de grid search y random search, que eligen combinaciones sin considerar resultados previos, la optimización bayesiana construye un modelo probabilístico de cómo el desempeño depende de los hiperparámetros, y lo usa para elegir de forma más inteligente qué combinación probar en cada nueva iteración.
Su ventaja principal
Suele encontrar buenas combinaciones de hiperparámetros con muchas menos evaluaciones que una búsqueda exhaustiva o aleatoria, lo cual es especialmente valioso cuando entrenar el modelo una sola vez ya es costoso en tiempo o recursos computacionales.