Le thème central de cette thèse est l'étude et le rôle des
trajectoires anormales en théorie du contrôle optimal.
Après avoir rappelé quelques résultats fondamentaux en contrôle
optimal, on étudie l'optimalité des
anormales pour des systèmes affines mono-entrée avec contrainte
sur le contrôle, d'abord pour le problème du temps optimal, puis
pour un coût quelconque à temps final fixé ou non.
On étend cette théorie aux
systèmes sous-Riemanniens de rang 2, montrant qu'on se ramène
à un système affine du type précédent.
Ces résultats montrent que,
sous des conditions générales, une trajectoire anormale est
\it{isolée} parmi toutes les solutions du système ayant les mêmes
conditions aux limites, et donc \it{localement optimale}, jusqu'à
un premier point dit \it{conjugué} que l'on peut caractériser.
On s'intéresse ensuite
au comportement asymptotique et à la
régularité de la fonction valeur associée à un système affine
analytique avec un coût quadratique. On montre que, en
l'absence de trajectoire
anormale minimisante, la fonction valeur est
\it{sous-analytique et continue}. S'il existe une anormale
minimisante, on sort de la catégorie sous-analytique en général,
notamment en géométrie sous-Riemannienne. La présence d'une
anormale minimisante est responsable de la \it{non-propreté} de
l'application exponentielle, ce qui provoque un phénomène de
\it{tangence} des ensembles de niveaux de la fonction valeur par
rapport à la direction anormale. Dans le cas affine mono-entrée
ou sous-Riemannien de rang 2, on décrit précisément ce
contact, et on en déduit une partition de la
sphère sous-Riemannienne au voisinage de l'anormale
en deux secteurs appelés \it{secteur
$L^\infty$} et \it{secteur $L^2$}.\\
La question de transcendance est étudiée dans le cas
sous-Riemannien de Martinet où la distribution est
$\Delta=\rm{Ker }(dz-\f{y^2}{2}dx)$. On montre que
pour une métrique générale graduée d'ordre $0$~:
$g=(1+\alpha y)^2dx^2+(1+\beta x+\gamma y)^2dy^2$,
les sphères de petit rayon
\it{ne sont pas sous-analytiques}. Dans le cas général
intégrable où $g=a(y)dx^2+c(y)dy^2$, avec $a$ et $c$ analytiques,
les sphères de Martinet appartiennent à la
\it{catégorie log-exp}.