Thèse Jumeaux Numériques Personnels pour les Personnes Aveugles et Malvoyantes Mémoire Adaptative et Intelligence d'Assistance Frugale H/F - Doctorat.Gouv.Fr

Établissement : Université de Toulouse École doctorale : CLESCO - Comportement, Langage, Éducation, Socialisation, Cognition Laboratoire de recherche : CERCO - Centre de Recherche Cerveau et Cognition Direction de la thèse : Benoit COTTEREAU ORCID 0000000226247680 Début de la thèse : 2027-09-01 Date limite de candidature : 2026-11-16T23:59:59 La déficience visuelle peut affecter profondément l'autonomie, la mobilité, la sécurité et la participation aux activités quotidiennes. Les technologies d'assistance actuelles apportent un soutien essentiel, mais donnent un accès limité aux informations spatiales et épisodiques issues de l'expérience visuelle quotidienne. Ce projet vise à développer des Jumeaux Numériques Visuels Personnels : des systèmes adaptatifs construisant et mettant continuellement à jour une représentation personnalisée de ce qu'une personne a vécu, de l'endroit et du moment où elle l'a rencontré, et de l'évolution de son environnement. Les données visuelles seront acquises à l'aide de caméras conventionnelles et événementielles, au moyen d'enregistrements égocentrés capturant les interactions avec l'environnement. Inspiré des principes computationnels de la consolidation de la mémoire biologique, le système étudiera comment les expériences pertinentes peuvent être conservées, consolidées, mises à jour ou oubliées. L'objectif est de fournir une assistance personnalisée et sensible au contexte pour la mobilité, la compréhension de l'environnement et les activités quotidiennes, afin de renforcer l'autonomie, la sécurité et le bien-être des personnes aveugles et malvoyantes.

Le projet combine sciences cognitives, vision par ordinateur, IA et ingénierie neuromorphique pour développer de nouvelles approches visant à représenter l'environnement des personnes aveugles et malvoyantes. Il étudiera comment traitement événementiel, apprentissage continu et mémoire neuronale adaptative peuvent être intégrés pour construire une représentation personnalisée, dynamique et actualisée de leur environnement. La vision événementielle repose sur des capteurs signalant de manière asynchrone les changements locaux de la scène visuelle, plutôt que de capturer des images complètes à intervalles fixes, offrant ainsi une base prometteuse pour une perception à faible latence et économe en énergie. En parallèle, des mécanismes de consolidation et d'oubli inspirés des neurosciences seront étudiés avec les avancées récentes sur la mémoire artificielle à long terme, afin d'examiner comment les principes de la mémoire biologique peuvent guider des systèmes capables de sélectionner, mettre à jour et supprimer l'information. La représentation décrira ce qui entoure la personne, où se trouvent les éléments, ce qui a déjà été rencontré et comment l'environnement évolue.

Un défi central consiste à atteindre ces capacités sous de fortes contraintes de temps de calcul et d'énergie. Plutôt que de traiter et stocker en permanence toutes les informations visuelles reçues, le système apprendra quelles informations sont pertinentes, lesquelles doivent être consolidées ou oubliées, quand elles doivent être perçues ou récupérées, et quand un calcul est nécessaire. Les caméras événementielles et, lorsque cela est pertinent, les approches neuromorphiques seront étudiées pour obtenir une perception à faible latence et économe en énergie. Le projet développera et validera les principes computationnels sous-jacents, en vue de leur déploiement futur sur des plateformes portables ou robotiques légères. Le projet examinera si l'efficacité énergétique peut devenir une propriété intrinsèque d'une intelligence adaptative d'assistance, plutôt que de résulter uniquement de matériels plus performants.

Le projet sera mené dans le cadre d'une collaboration entre l'Université de Toulouse/CNRS, avec Benoit Cottereau (Directeur de recherche CNRS, CerCo), et la National University of Singapore (NUS), avec Wei Tsang Ooi (Professeur). En combinant perception spatiale et mémoire humaines, vision par ordinateur, neurosciences computationnelles et IA frugale, le projet vise à poser de nouvelles bases pour une intelligence d'assistance personnalisée, sûre et durable, contribuant à terme à une plus grande autonomie et à une meilleure qualité de vie des personnes aveugles et malvoyantes.

The project builds on a strong interdisciplinary research context at the intersection of biological spatial perception, artificial vision, computer vision, and assistive technologies. Benoit Cottereau brings expertise in spatial perception in biological systems, particularly in low vision, as well as in the development of bio-inspired and artificial approaches to visual and spatial processing. His research spans event-based vision, neuromorphic computing, and computational models of perception, providing a strong foundation for developing efficient and biologically inspired solutions for assistive applications. Wei Tsang Ooi contributes complementary expertise in computer vision, artificial intelligence and multimedia systems, with a particular focus on developing computational methods for visual understanding and intelligent perception in complex environments. This complementary expertise provides a unique foundation for addressing the scientific challenges of Personal Visual Digital Twins, from understanding how spatial information is perceived and represented to developing artificial systems capable of continuously learning and using such representations to assist users in realistic everyday scenarios. The collaboration builds on existing interactions between the two researchers, notably developed through the CNRS International Research Laboratory IPAL (IRL 2955) in Singapore, providing an established basis for joint research and international doctoral supervision. The project aims to develop the computational foundations of Personal Visual Digital Twins for people with blindness and low vision, capable of continuously building and updating a personalized representation of the environments they experience to support everyday activities.

The objective is to develop robust, energy-efficient spatial perception and adaptive memory mechanisms based on event-based vision. These mechanisms will enable the system to identify and localize relevant elements in the environment, learn what information should be retained, updated or forgotten, and retrieve it when needed. These capabilities will be combined into a personalized, context-aware computational framework designed to support understanding of the user's surroundings, both in the present and based on previous experiences. The system will be evaluated in controlled experiments and, where feasible, in more naturalistic settings, including situations in which users explore unfamiliar environments and subsequently need to retrieve previously encountered information. For example, we will assess whether the system can remember the location of objects encountered during a previous exploration and provide information that could help locate them when requested.

The project will investigate energy-efficient implementations and, where appropriate, neuromorphic approaches to the proposed mechanisms. Rather than requiring immediate deployment on a wearable or robotic platform, the project will focus on establishing and validating the computational foundations for such future implementations. Integration into lightweight wearable or robotic platforms will therefore remain a longer-term perspective beyond the project, enabling the practical potential of the developed approaches to be assessed in real-world assistive applications. Together, these developments will establish the foundations for a new generation of personalized, energy-efficient assistive intelligence, with the longer-term goal of contributing to greater autonomy, safety, independence and well-being for people with blindness and low vision.
The project will adopt an interdisciplinary and iterative approach combining human perception, computational neuroscience, computer vision and artificial intelligence. First, event-based and conventional visual sensing will be investigated to develop robust methods for detecting, recognizing and spatially localizing relevant elements in dynamic environments (see e.g., Kong et al., 2024; 2025; Lu et al., 2026). Training and evaluation will initially rely on egocentric video recordings capturing realistic visual experiences and interactions with the environment. Event-based data will be used where appropriate to investigate the benefits of asynchronous visual sensing for low-latency and energy-efficient perception. These perceptual modules will provide the inputs to spatial and episodic memory models designed to continuously integrate new observations while maintaining relevant information over extended periods. The design of these memories will be informed by computational principles of biological memory consolidation, investigating how mechanisms of synaptic plasticity, consolidation and forgetting can inspire artificial memories that learn continuously without losing previously acquired knowledge (e.g., Benna & Fusi, 2016). These neuroscience-inspired mechanisms will be combined with recent advances in long-term memory architectures for AI, such as Titans and Atlas (Behrouz et al., 2025; 2026), to explore how information can be selectively retained, updated, consolidated or forgotten according to its relevance to the user and the environment. Continual and personalized learning will then be investigated to adapt the digital twin to individual users, environments and patterns of interaction, while limiting unnecessary computation and memory storage.

The resulting representation will be evaluated according to its ability to support context-aware assistance, including retrieval of previously encountered objects, places and events, recognition of changes in the environment, and, where appropriate, spatial guidance. The project will focus on developing and validating these underlying computational principles using controlled experimental and realistic dynamic-environment settings. This will allow the contribution of each component (perception, spatial representation, memory consolidation and adaptive computation) to be systematically assessed.

Finally, energy consumption, computational efficiency, memory requirements and latency will be systematically evaluated across the proposed approaches. Event-driven processing and neuromorphic implementations will be investigated as potential means of reducing the computational cost of continuous visual perception. The computational principles and system components validated during the project will provide the foundations for future deployment on lightweight wearable or robotic platforms. Such integration will remain a longer-term perspective beyond the project, enabling the practical potential of the proposed approach to be explored in real-world assistive applications.

Le/la candidat(e) devra manifester un fort intérêt pour l'intelligence artificielle, la vision par ordinateur et les approches computationnelles de la perception et de la mémoire, ainsi que d'excellentes compétences en programmation, de préférence en Python/PyTorch. Une formation en informatique, intelligence artificielle, neurosciences, mathématiques, physique, ingénierie ou dans un domaine connexe serait adaptée.

Une expérience en apprentissage profond, vision par ordinateur, vision événementielle ou informatique neuromorphique serait appréciée, mais n'est pas indispensable. Compte tenu de la nature interdisciplinaire du projet, le/la candidat(e) devra être disposé(e) à travailler sur des questions à l'interface entre perception humaine, intelligence artificielle et technologies d'assistance, et à développer des compétences à la fois théoriques et expérimentales.

Le/la candidat(e) devra avoir un bon niveau d'anglais, de solides capacités de communication scientifique et être motivé(e) pour travailler de manière collaborative dans un environnement de recherche international et multidisciplinaire, notamment lors de périodes prolongées de recherche à Singapour. Une grande autonomie, de la curiosité et un intérêt pour le développement de technologies susceptibles d'avoir un impact sociétal et clinique seront également valorisés.

• Python
• Programmation
• Anglais
• Computer vision
• Intelligence artificielle
• Autonomie