Thèse Optimisation Jointe des Poids et Délais dans les Réseaux de Neurones Impulsionnels H/F - Doctorat.Gouv.Fr

Établissement : Université de Toulouse École doctorale : EDMITT - Ecole Doctorale Mathématiques, Informatique et Télécommunications de Toulouse Laboratoire de recherche : CERCO - Centre de Recherche Cerveau et Cognition Direction de la thèse : Timothée MASQUELIER ORCID 0000000186299506 Début de la thèse : 2026-10-01 Date limite de candidature : 2026-06-15T23:59:59 Les neurones biologiques utilisent des impulsions électriques stéréotypées, appelées « spikes », pour traiter et transmettre l'information. Au-delà des fréquences de décharge moyennes, on sait que la synchronisation précise de ces spikes joue un rôle crucial dans le traitement de l'information neuronale. Les réseaux de neurones impulssionnels, ou spiking neural networks (SNN), sont donc considérés comme plus réalistes d'un point de vue biologique que les réseaux de neurones artificiels à valeurs réelles utilisés dans l'apprentissage profond, et constituent sans doute le cadre le plus adapté pour modéliser le fonctionnement du cerveau au niveau neuronal.

Les SNN sont également intéressants pour l'IA, car ils ont le potentiel d'atteindre une grande efficacité énergétique, en particulier lorsqu'ils sont déployés sur des puces neuromorphiques dites 'event-driven'. C'est la raison pour laquelle de nombreuses entreprises et laboratoires ont massivement investi dans la conception de telles puces (par exemple, Intel Loihi 2 [1]). L'intérêt pour les SNN en IA a explosé récemment grâce à une avancée majeure, connue sous le nom d'apprentissage par gradient de substitution, ou surrogate gradient learning (SGL) [2], qui permet de les entraîner par rétropropagation. Cette avancée a permis d'appliquer les SNN à des tâches du monde réel de plus en plus complexes et d'obtenir des performances compétitives sur divers benchmarks [3].

Dans les SNNs, les connexions - ou « synapses » - sont caractérisées par deux paramètres : un poids et un délai. Le délai correspond au temps nécessaire à une impulsion pour se propager du neurone émetteur au neurone récepteur. Des études théoriques suggèrent depuis longtemps que les délais sont au moins aussi importants que les poids pour le calcul neuronal [4]. De plus, on sait que ces deux paramètres présentent une plasticité dans les systèmes neuronaux biologiques. Cependant, des méthodes efficaces basées sur SGL pour l'apprentissage des délais n'ont été proposées que récemment, notamment par Masquelier et ses collègues [5,6], qui ont démontré que l'apprentissage conjoint des poids et des délais améliorait l'état de l'art sur plusieurs benchmarks temporels, suscitant un intérêt considérable au sein de la communauté des SNN.

Malgré ces résultats prometteurs, plusieurs observations suggèrent que l'optimisation conjointe des poids et des délais pourrait être améliorée. Premièrement, sur la plupart des benchmarks, les gains de performance obtenus en ajoutant un délai entraînable sont souvent considérablement inférieurs à ce que suggèrent les prédictions théoriques [4]. Deuxièmement, sur certains benchmarks, ce gain est même négatif, ce qui suggère que la descente de gradient se retrouve piégée dans certains minima locaux. Ces limites mettent en évidence un défi d'optimisation fondamental qui reste largement inexploré.

L'objectif de ce projet de doctorat est donc de développer des approches plus efficaces pour l'optimisation conjointe des poids et des délais dans les SNNs. Une attention particulière sera accordée à la compréhension du paysage de la fonction de coût associée à l'apprentissage des délais et à l'identification des mécanismes facilitant la convergence vers de meilleures solutions. Nous chercherons notamment à déterminer si les techniques d'optimisation conçues pour lisser le paysage de perte, telles que la sharpness-aware minimization (SAM) [7], peuvent améliorer la stabilité de l'apprentissage, la généralisation et les performances globales.

Le candidat devra être disposé à travailler dans un environnement de recherche multidisciplinaire à l'interface entre l'IA et les neurosciences. De solides compétences en anglais, d'excellentes aptitudes en mathématiques et en programmation, ainsi qu'un vif intérêt pour la compréhension du fonctionnement du cerveau sont attendus. Ce projet vise à améliorer l'efficience des systèmes d'intelligence artificielle en s'inspirant du vivant. L'efficience est aujourd'hui la piste la plus prometteuse pour limiter l'impact environnemental de ces systèmes, qui deviennent ubiquitaires

- Apprentissage profond.
- Traitement du signal.
- Excellentes compétences en programmation, notamment en Python.
- Une expérience avec les bibliothèques d'apprentissage profond (par exemple, PyTorch) est souhaitable.
- Intérêt pour les neurosciences.
- Maîtrise de l'anglais (la maîtrise du français n'est pas obligatoire).