Un modelo paramétrico, como una regresión lineal, asume de antemano una forma matemática específica con una cantidad fija de parámetros a estimar, sin importar cuántos datos de entrenamiento se usen. Un modelo no paramétrico, como K-vecinos más cercanos, no asume una forma fija, y su complejidad efectiva puede crecer a medida que se dispone de más datos.
El compromiso entre ambos enfoques
Los modelos paramétricos suelen ser más simples, rápidos de entrenar y necesitar menos datos, pero pueden ser demasiado rígidos si la forma asumida no se ajusta bien al problema real; los no paramétricos son más flexibles, pero suelen requerir más datos y cómputo para funcionar bien.