Le principal travail de cette thèse porte sur l'étude des méthodes d'agrégation sous l'hypothèse de marge. Nous avons mis en avant que l'hypothèse de marge améliore les vitesses d'agrégation. Un autre résultat de cette thèse montre que certaines méthodes de minimisation du risque empirique pénalisé sont sous-optimales quand le risque est convexe, même sous l'hypothèse de marge. Contrairement aux procédures d'agrégation à poids exponentiels, ces méthodes n'arrivent pas à profiter de la marge du modèle. Nous avons ensuite appliqué les méthodes d'agrégation à la résolution de quelques problèmes d'adaptation. Une dernière contribution apportée dans cette thèse a été de proposer une approche du contrôle du biais en classification par l'introduction d'espaces de règles de prédiction parcimonieuses. Des vitesses minimax ont été obtenues pour ces modèles et une méthode d'agrégation a donné une version adaptative de ces procédures d'estimation.