Thèse Développement d'Une Plateforme et d'Une Méthodologie pour l'Évaluation des Risques Liés aux Agents Conversationnels H/F - Doctorat.Gouv.Fr
- CDD
- Doctorat.Gouv.Fr
Les missions du poste
Établissement : Université de Toulouse École doctorale : EDMITT - Ecole Doctorale Mathématiques, Informatique et Télécommunications de Toulouse Laboratoire de recherche : IRIT : Institut de Recherche en Informatique de Toulouse Direction de la thèse : Emmanuelle CLAEYS ORCID 0009000052357632 Début de la thèse : 2027-09-01 Date limite de candidature : 2026-11-16T23:59:59 L'intégration massive des systèmes d'intelligence artificielle (IA) dans l'industrie et la société exige désormais de contrôler leur adaptation aux humains tout en vérifiant leur alignement avec les normes réglementaires, telles que le Guidance for AI Adoption in Australia ou le EU AI Act. L'évaluation réglementaire de l'IA repose sur une approche fondée sur le risque : plus un système d'IA intervient dans un domaine critique (c'est-à-dire où une ou plusieurs mauvaises décisions peuvent affecter l'autonomie, la sécurité ou la dignité d'une personne), plus les obligations imposées sont strictes.
Pour maintenir le contrôle de l'utilisateur, les architectures d'IA déployées dans des contextes à haut risque adoptent de plus en plus le principe de l'humain dans la boucle (human-in-the-loop). Cette approche permet de délimiter précisément quelles tâches peuvent être déléguées à l'IA et quels jugements restent de la responsabilité humaine. L'objectif est alors d'assister l'utilisateur dans l'évaluation de l'IA selon son cas d'usage et de lui fournir des outils pour maintenir sa responsabilité, par exemple via des mécanismes d'explicabilité dans la prise de décision ou des évaluations des biais, discriminations et déviations du modèle déployé.
Dans le domaine de la robotique collaborative, une erreur d'un agent de supervision conversationnel d'un robot industriel peut causer de graves dommages matériels, voire des blessures. Une mauvaise interprétation d'une commande vocale ou textuelle peut déclencher un mouvement inattendu du bras robotique.
Ce cas illustre la nécessité d'une évaluation rigoureuse des risques liés à la compréhension du langage naturel dans des contextes où la sécurité opérationnelle est primordiale.
Les modèles conversationnels tels que ChatGPT, Claude ou Kimi utilisent l'apprentissage par renforcement à partir du feedback humain (RLHF) pour s'aligner sur les attentes des utilisateurs. Cependant, le RLHF présente des vulnérabilités documentées : exploration vers des comportements indésirables ou prohibés, amplification des biais des annotateurs, et instabilité de la fonction de récompense apprise. Les méthodes actuelles d'évaluation des LLM offrent peu de garanties en termes d'explicabilité et de traçabilité de ces mécanismes d'alignement. De même, dans le domaine médical, un agent conversationnel assistant un chirurgien ou un système d'aide à la décision clinique pourrait mal interpréter une instruction orale avec des conséquences pour le patient. Dans le contexte éducatif, une incompréhension de la part d'un agent tutoriel IA pourrait renforcer des connaissances erronées ou prodiguer des conseils inappropriés à un apprenant vulnérable.
Cette thèse vise à développer une plateforme d'audit des agents conversationnels combinant des métriques de détection de vulnérabilités calculables et conformes aux exigences réglementaires (AI Act, RGPD), des protocoles d'évaluation sous contrainte budgétaire, et une bibliothèque open-source à destination des développeurs, auditeurs et régulateurs. Elle propose également de nouveaux algorithmes fondés sur l'analyse fine des mécanismes RLHF pour réduire les risques d'exploration nuisible et stabiliser l'alignement des modèles. L'ensemble débouchera sur des recommandations méthodologiques concrètes pour le déploiement sûr d'agents conversationnels dans des domaines critiques tels que la santé, l'éducation et la robotique.
RLHF as the dominant alignment paradigm. Conversational models such as ChatGPT, Claude, or Kimi use Reinforcement Learning from Human Feedback (RLHF) to align with user expectations [5, 3]. RLHF proposes to use human feedback as a source of information about the objective to optimize, allowing the model's behavior to be refined during learning and better adapted to contextual evolutions (conversational uncertainty, user preferences) [4, 6].
Documented vulnerabilities of RLHF. However, RLHF has documented vulnerabilities [7,8]. First, reward misspecification: the learned reward model is only a proxy for human intent; optimizing it too aggressively leads to behaviours that score well on the proxy but violate the underlying intent [9, 10]. Second, annotator bias amplification: human annotators import cultural, cognitive, and socio-economic biases into preference labels; RLHF systematically amplifies whichever biases dominate the pool [17]. Third, alignment instability: the reward signal is non-stationary relative to a changing policy; training can oscillate or collapse [11]. Existing evaluation methods and their limits. Current LLM evaluation methods offer few guarantees in terms of explainability and traceability of alignment mechanisms. Adversarial red-teaming [12, 13] is effective for discovering known attack vectors but does not provide guarantees: a model that passes a red-team evaluation may still be fragile to novel distributional
shifts [17]. Neither static benchmarks nor red-teaming produce computable metrics compatible
with regulatory certification. The EU AI Act (2024) [1] mandates a risk-based approach: high-risk AI systems must undergo conformity assessment before deployment, yet the Act provides no standardized technical protocol for implementation. Australia's Safe and Responsible AI framework [2] takes a similar approach. Both frameworks require technical tools that do not yet exist
in a form suitable for routine industrial audit.
The project situates the rise of conversational AI as a global societal transformation and responds with a rigorous, quantitative, and legally grounded methodology. Autonomy and responsibility are at stake: misalignment in RLHF systems, through amplified annotator biases or reward hacking, can erode user trust and override human judgment. In collaborative robotics, conversational supervision agents operate at the critical interface where natural language understanding failures become physical injuries; meaningful risk reduction requires engineered guardrails that enforce safety boundaries between digital inference and material action. By calibrating audit methodologies against both European and Australian regulatory contexts, the project also analyses how global AI diffusion interacts with varying national governance frameworks. - New vulnerability detection measures: develop computable metrics in audit mode, aligned with legal requirements (AI Act, GDPR) and usable to certify regulatory compliance. These measures will be accompanied by benchmarks for the machine learning community to systematically evaluate LLM biases.
- Budget-constrained audit methods: design evaluation protocols for algorithms with a fixed and limited budget, offering control both over the model itself (optimization phase) and over its interactions with the end user.
- Open-source library: provide stakeholders (developers, auditors, regulators) with practical tools to quantify the biases, robustness, and alignment of conversational agents.
Production deployment guidelines: establish methodological recommendations for the pre-deployment validation of conversational agents in critical application domains (healthcare, education, robotics).
- New algorithms based on the analysis of RLHF mechanisms: propose original algorithmic approaches based on the fine-grained study of reinforcement learning dynamics with human feedback, in order to reduce the risks of harmful exploration and improve alignment stability. The work will be organised in four stages that will overlap rather than run strictly in sequence, so that empirical findings will inform the theoretical framework early and regulatory requirements will constrain the metric design before it is frozen.
Stage 1 - Regulatory mapping and benchmark design. In collaboration with legal scholars and domain experts in health, education, and robotics, we will map the risk categories of the EU AI Act [1] and the Australian framework [2] to measurable technical properties of conversational agents. This will produce (i) a taxonomy of audit dimensions (bias, robustness, alignment stability, explainability), (ii) an initial benchmark suite covering each dimension with representative tasks and evaluation protocols, and (iii) the open data governance policy for all subsequent experimental work.
Stage 2 - Metric development and theoretical grounding. We will develop the computable vulnerability detection measures of Objective 1, prove their statistical properties (consistency, calibration, minimax optimality within the distributional robustness framework), and establish their correspondence to the regulatory taxonomy of Stage 1. Ablations will isolate the contribution of each theoretical component: distributional shift sensitivity, reward misspecification gap, annotator bias amplification coefficient. We will build on the A/B-testing methodology of [19] for comparing results according to patterns.
Stage 3 - Budget-constrained protocol and alignment algorithms. We will implement the budget-constrained audit protocol. The protocol will be evaluated on open-weight models (LLaMA, Mistral, Falcon) where ground truth is available from held-out preference data, and validated on a closed-source model via API. The stabilization algorithms will be tested in a controlled RLHF (reinforcement
learning with human feedback) training loop on summarization and instruction-following tasks,
measuring alignment stability under annotator pool perturbations [7, 14].
Stage 4 - Library, deployment guidelines, and validation. All metrics and protocols will be packaged into an open-source Python library with a unified API, comprehensive documentation, and worked examples for each regulatory dimension. Deployment guidelines will be co-written with domain experts and reviewed against the regulatory taxonomy of Stage 1.
A final validation study will apply the complete platform to a real conversational supervisory agent,
comparing audit outcomes under the EU AI Act and the Australian framework. This will treat risk assessment as a continuous societal monitoring task rather than a one-time certification.
Pour maintenir le contrôle de l'utilisateur, les architectures d'IA déployées dans des contextes à haut risque adoptent de plus en plus le principe de l'humain dans la boucle (human-in-the-loop). Cette approche permet de délimiter précisément quelles tâches peuvent être déléguées à l'IA et quels jugements restent de la responsabilité humaine. L'objectif est alors d'assister l'utilisateur dans l'évaluation de l'IA selon son cas d'usage et de lui fournir des outils pour maintenir sa responsabilité, par exemple via des mécanismes d'explicabilité dans la prise de décision ou des évaluations des biais, discriminations et déviations du modèle déployé.
Dans le domaine de la robotique collaborative, une erreur d'un agent de supervision conversationnel d'un robot industriel peut causer de graves dommages matériels, voire des blessures. Une mauvaise interprétation d'une commande vocale ou textuelle peut déclencher un mouvement inattendu du bras robotique.
Ce cas illustre la nécessité d'une évaluation rigoureuse des risques liés à la compréhension du langage naturel dans des contextes où la sécurité opérationnelle est primordiale.
Les modèles conversationnels tels que ChatGPT, Claude ou Kimi utilisent l'apprentissage par renforcement à partir du feedback humain (RLHF) pour s'aligner sur les attentes des utilisateurs. Cependant, le RLHF présente des vulnérabilités documentées : exploration vers des comportements indésirables ou prohibés, amplification des biais des annotateurs, et instabilité de la fonction de récompense apprise. Les méthodes actuelles d'évaluation des LLM offrent peu de garanties en termes d'explicabilité et de traçabilité de ces mécanismes d'alignement. De même, dans le domaine médical, un agent conversationnel assistant un chirurgien ou un système d'aide à la décision clinique pourrait mal interpréter une instruction orale avec des conséquences pour le patient. Dans le contexte éducatif, une incompréhension de la part d'un agent tutoriel IA pourrait renforcer des connaissances erronées ou prodiguer des conseils inappropriés à un apprenant vulnérable.
Cette thèse vise à développer une plateforme d'audit des agents conversationnels combinant des métriques de détection de vulnérabilités calculables et conformes aux exigences réglementaires (AI Act, RGPD), des protocoles d'évaluation sous contrainte budgétaire, et une bibliothèque open-source à destination des développeurs, auditeurs et régulateurs. Elle propose également de nouveaux algorithmes fondés sur l'analyse fine des mécanismes RLHF pour réduire les risques d'exploration nuisible et stabiliser l'alignement des modèles. L'ensemble débouchera sur des recommandations méthodologiques concrètes pour le déploiement sûr d'agents conversationnels dans des domaines critiques tels que la santé, l'éducation et la robotique.
RLHF as the dominant alignment paradigm. Conversational models such as ChatGPT, Claude, or Kimi use Reinforcement Learning from Human Feedback (RLHF) to align with user expectations [5, 3]. RLHF proposes to use human feedback as a source of information about the objective to optimize, allowing the model's behavior to be refined during learning and better adapted to contextual evolutions (conversational uncertainty, user preferences) [4, 6].
Documented vulnerabilities of RLHF. However, RLHF has documented vulnerabilities [7,8]. First, reward misspecification: the learned reward model is only a proxy for human intent; optimizing it too aggressively leads to behaviours that score well on the proxy but violate the underlying intent [9, 10]. Second, annotator bias amplification: human annotators import cultural, cognitive, and socio-economic biases into preference labels; RLHF systematically amplifies whichever biases dominate the pool [17]. Third, alignment instability: the reward signal is non-stationary relative to a changing policy; training can oscillate or collapse [11]. Existing evaluation methods and their limits. Current LLM evaluation methods offer few guarantees in terms of explainability and traceability of alignment mechanisms. Adversarial red-teaming [12, 13] is effective for discovering known attack vectors but does not provide guarantees: a model that passes a red-team evaluation may still be fragile to novel distributional
shifts [17]. Neither static benchmarks nor red-teaming produce computable metrics compatible
with regulatory certification. The EU AI Act (2024) [1] mandates a risk-based approach: high-risk AI systems must undergo conformity assessment before deployment, yet the Act provides no standardized technical protocol for implementation. Australia's Safe and Responsible AI framework [2] takes a similar approach. Both frameworks require technical tools that do not yet exist
in a form suitable for routine industrial audit.
The project situates the rise of conversational AI as a global societal transformation and responds with a rigorous, quantitative, and legally grounded methodology. Autonomy and responsibility are at stake: misalignment in RLHF systems, through amplified annotator biases or reward hacking, can erode user trust and override human judgment. In collaborative robotics, conversational supervision agents operate at the critical interface where natural language understanding failures become physical injuries; meaningful risk reduction requires engineered guardrails that enforce safety boundaries between digital inference and material action. By calibrating audit methodologies against both European and Australian regulatory contexts, the project also analyses how global AI diffusion interacts with varying national governance frameworks. - New vulnerability detection measures: develop computable metrics in audit mode, aligned with legal requirements (AI Act, GDPR) and usable to certify regulatory compliance. These measures will be accompanied by benchmarks for the machine learning community to systematically evaluate LLM biases.
- Budget-constrained audit methods: design evaluation protocols for algorithms with a fixed and limited budget, offering control both over the model itself (optimization phase) and over its interactions with the end user.
- Open-source library: provide stakeholders (developers, auditors, regulators) with practical tools to quantify the biases, robustness, and alignment of conversational agents.
Production deployment guidelines: establish methodological recommendations for the pre-deployment validation of conversational agents in critical application domains (healthcare, education, robotics).
- New algorithms based on the analysis of RLHF mechanisms: propose original algorithmic approaches based on the fine-grained study of reinforcement learning dynamics with human feedback, in order to reduce the risks of harmful exploration and improve alignment stability. The work will be organised in four stages that will overlap rather than run strictly in sequence, so that empirical findings will inform the theoretical framework early and regulatory requirements will constrain the metric design before it is frozen.
Stage 1 - Regulatory mapping and benchmark design. In collaboration with legal scholars and domain experts in health, education, and robotics, we will map the risk categories of the EU AI Act [1] and the Australian framework [2] to measurable technical properties of conversational agents. This will produce (i) a taxonomy of audit dimensions (bias, robustness, alignment stability, explainability), (ii) an initial benchmark suite covering each dimension with representative tasks and evaluation protocols, and (iii) the open data governance policy for all subsequent experimental work.
Stage 2 - Metric development and theoretical grounding. We will develop the computable vulnerability detection measures of Objective 1, prove their statistical properties (consistency, calibration, minimax optimality within the distributional robustness framework), and establish their correspondence to the regulatory taxonomy of Stage 1. Ablations will isolate the contribution of each theoretical component: distributional shift sensitivity, reward misspecification gap, annotator bias amplification coefficient. We will build on the A/B-testing methodology of [19] for comparing results according to patterns.
Stage 3 - Budget-constrained protocol and alignment algorithms. We will implement the budget-constrained audit protocol. The protocol will be evaluated on open-weight models (LLaMA, Mistral, Falcon) where ground truth is available from held-out preference data, and validated on a closed-source model via API. The stabilization algorithms will be tested in a controlled RLHF (reinforcement
learning with human feedback) training loop on summarization and instruction-following tasks,
measuring alignment stability under annotator pool perturbations [7, 14].
Stage 4 - Library, deployment guidelines, and validation. All metrics and protocols will be packaged into an open-source Python library with a unified API, comprehensive documentation, and worked examples for each regulatory dimension. Deployment guidelines will be co-written with domain experts and reviewed against the regulatory taxonomy of Stage 1.
A final validation study will apply the complete platform to a real conversational supervisory agent,
comparing audit outcomes under the EU AI Act and the Australian framework. This will treat risk assessment as a continuous societal monitoring task rather than a one-time certification.
Le profil recherché
Le candidat ou la candidate est titulaire d'un diplôme de master (ou équivalent) en informatique, mathématiques appliquées, statistiques ou domaine connexe. Une solide formation en apprentissage automatique est indispensable, avec une connaissance des modèles de langage de grande taille (LLM) et, idéalement, des mécanismes d'apprentissage par renforcement à partir de retours humains (RLHF).
Compétences techniques requises :
Maîtrise de Python et des bibliothèques d'apprentissage profond (PyTorch) ;
Connaissance des méthodes d'évaluation et d'audit de modèles (benchmarking, tests statistiques) ;
Familiarité avec les outils de versionnement et les pratiques de développement open-source (Git, GitHub).
Compétences appréciées :
Notions de théorie des jeux, d'optimisation ou de théorie statistique de la décision ;
Expérience avec les tests d'hypothèses statistiques et les méthodes d'inférence robuste ;
Intérêt pour les enjeux réglementaires et éthiques de l'IA (AI Act, équité algorithmique, explicabilité).
Compétences transversales :
Capacité à produire des contributions à la fois théoriques (démonstrations, garanties formelles) et pratiques (code, benchmarks) ;
Autonomie, rigueur scientifique et goût pour la recherche interdisciplinaire ;
Bon niveau d'anglais écrit et oral, indispensable pour les publications et le séjour à Melbourne ;
Ouverture à la mobilité internationale dans le cadre de la cotutelle France-Australie.
Compétences techniques requises :
Maîtrise de Python et des bibliothèques d'apprentissage profond (PyTorch) ;
Connaissance des méthodes d'évaluation et d'audit de modèles (benchmarking, tests statistiques) ;
Familiarité avec les outils de versionnement et les pratiques de développement open-source (Git, GitHub).
Compétences appréciées :
Notions de théorie des jeux, d'optimisation ou de théorie statistique de la décision ;
Expérience avec les tests d'hypothèses statistiques et les méthodes d'inférence robuste ;
Intérêt pour les enjeux réglementaires et éthiques de l'IA (AI Act, équité algorithmique, explicabilité).
Compétences transversales :
Capacité à produire des contributions à la fois théoriques (démonstrations, garanties formelles) et pratiques (code, benchmarks) ;
Autonomie, rigueur scientifique et goût pour la recherche interdisciplinaire ;
Bon niveau d'anglais écrit et oral, indispensable pour les publications et le séjour à Melbourne ;
Ouverture à la mobilité internationale dans le cadre de la cotutelle France-Australie.
Compétences requises
- Statistiques
- Python
- Anglais
- Autonomie
- Git