Si nous souhaitons expliquer une variable Y par un ensemble de d variables explicatives X1, · · · , Xd, la régression constitue un outil classique de la statistique. Cette famille de modélisation com- prend la régression paramétrique linéaire ou non-linéaire, la régression non-paramétrique util- isant des lisseurs construits à partir d'ondelettes, de noyaux, de splines.

Dès que le nombre d'observations est modéré (de l'ordre de plusieurs centaines) et que le nombre de variables d est plus grand que 3 ou 4, les approches non-paramétriques classiques rencontrent le problème dit du fléau de la dimension. Dans ce cas, un modèle structurel est souvent utilisé: par exemple un modèle additif, des directions révélatrices ou MARS.

Le boosting est aussi une réponse possible au problème de régression et cette méthode possède maintenant de nombreux développements comme adaboost, logitboost pour la dis- crimination ou le L2 boosting pour la régression. Cette dernière peut être utilisée avec de nombreux lisseurs et donne lieu à une modélisation additive par composante.

A contrario, la réduction itérative de biais permet d'estimer une fonction de régression multi- variée directement via un lisseur multivarié sans hypothèse paramétrique ou sans contraintes structurelles.