El sesgo mide qué tan lejos están, en promedio, las predicciones de un modelo respecto al valor real, típicamente por ser demasiado simple para el problema. La varianza mide qué tan sensible es el modelo a las particularidades específicas de los datos de entrenamiento, típicamente por ser demasiado complejo.
Por qué es un compromiso, no algo a “resolver” del todo
Reducir el sesgo (usando un modelo más flexible) generalmente aumenta la varianza, y viceversa. Encontrar el punto óptimo entre ambos extremos —ni tan simple que sufra underfitting, ni tan complejo que sufra overfitting— es uno de los desafíos centrales al diseñar cualquier modelo de machine learning.