Méthodes du premier ordre pour l'optimisation non convexe et non lisse

Pauline Tan LJLL

Objectif :

Ce cours explore la vaste théorie de l'optimisation non convexe et non lisse, par le biais des méthodes dites du premier ordre. Une attention particulière sera consacrée aux problématiques liées à l'optimisation sur données en grande dimension.

Contenu :

• Fonction à valeurs sur la droite réelle étendue, sous-différentiabilité, condition d'optimalité du premier ordre
• Méthodes de gradient (explicite, implicite), opérateur proximal, algorithme du point proximal
• Dualité de Lagrange et de Fenchel, conditions de Karush, Kuhn et Tucker
• Stratégies d'éclatement : forward-backward splitting, éclatement de Dykstra, méthode de Douglas-Rachford
• Optimisation par blocs : minimisations alternées (block coordinate descent), descentes (proximales) alternées
• Algorithmes primaux-duaux : méthode des directions alternées, algorithme de Chambolle-Pock
• Ouverture : variantes inertielles, pré-conditionnement, distances de Bregman