On parle de modèle paramétrique quand on utilise un algorithme d’apprentissage dont le but est de trouver les valeurs optimales des paramètres d’un modèle défini par une expression analytique, fonction des descripteurs. La complexité d’un modèle paramétrique grandit avec le nombre de paramètres à apprendre, autrement dit avec le nombre de variables. À l’inverse, la complexité d’un modèle non paramétrique aura tendance à grandir avec le nombre d’observations.

La régression linéaire fait partie de la famille des régressions paramétriques qui supposent que la forme analytique de la fonction de décision est connue. Les modèles linéaires ont une longue histoire dans le domaine des statistiques. Malgré leur simplicité, ils peuvent avoir de bonnes performances, meilleures parfois que celles de modèles non linéaires plus populaires (surtout dans le cas où la taille du jeu d’entraînement est faible).  De plus, ces modèles sont facilement interprétables. 

Leur compréhension est une excellente base sur laquelle construire des modèles non linéaires.