La R&D d’EDF (2000 chercheurs) a pour missions principales de contribuer à l'amélioration de la performance des unités opérationnelles du groupe EDF, d'identifier et de préparer les relais de croissance à moyen et long terme. Dans ce cadre, le département Services, Economie, Outils Innovants et IA (SEQUOIA) est un département pluridisciplinaire (sciences de l’ingénieur, sciences humaines et sociales) qui fournit un appui à l’élaboration et au portage des offres, des services et des outils de relation client aux directions opérationnelles du groupe EDF.  

Au sein de ce département, ce stage sera rattaché au groupe « Statistiques et Outils d'Aide à la Décision » (SOAD) : cette équipe compte une vingtaine d'ingénieurs chercheurs spécialisés en IA et data science avec des compétences fortes autour du machine learning et du deep learning, du web sémantique, de l’IA symbolique et de l’IA générative (texte, voix, image, multimodalité…), en particulier du NLP (LLM, RAG, data mining,).

Dans le cadre de nos projets en IA générative, nous exploitons un chatbot RAG (Retrieval-Augmented Generation) en production sur une base documentaire métier dynamique. La qualité de ses réponses est actuellement suivie à l'aide d'outils d'évaluation tels que Giskard, reposant en grande partie sur des approches de type LLM-as-a-Judge.

Cependant, plusieurs travaux récents soulignent que les métriques actuellement utilisées ne sont pas toujours représentatives de la qualité réellement perçue par les utilisateurs. Les corrélations entre métriques automatiques, évaluations humaines et performance opérationnelle restent encore mal comprises, notamment sur des données métier réelles.

Vos missions principales :

État de l'art et analyse comparative : Étudier les métriques RAG existantes et comparer l'efficacité des frameworks du marché (Giskard, DeepEval, RAGChecker) sur nos données de production.

Étude d'impact du Juge : Analyser l'influence du modèle utilisé comme juge (Gemma, Qwen3.5, etc) et mesurer la corrélation avec les retours annotateurs.

Conception d'une plateforme agentique d'évaluation continue : Développer un système multi-agents (surveillance documentaire, clustering, génération de jeux de tests synthétiques et détection de régression) permettant de monitorer les performances du chatbot en continue.

Environnement technique

Le stage se déroulera dans un environnement de calcul dédié à l'IA comprenant :

·       Infrastructure GPU NVIDIA DGX A100 et DGX H100 ;

·       Plusieurs modèles de langage open source déployés localement pour l'expérimentation et les évaluations ;

Etudiant(e) en Master 2 ou équivalent école d’ingénieur, spécialité data science, IA ou équivalent

Compétences solides en programmation, en particulier en Python.

Connaissance des techniques de traitement du langage naturel (NLP) et des modèles d'IA générative

Autonomie, curiosité et esprit d’analyse.

Une première expérience avec les agents IA ou l'évaluation des LLM constitue un plus.

Unité d’accueil : Groupe SOAD (Statistique et Outils d’Aide à la Décision), département SEQUOIA d’EDF Lab Paris-Saclay, 7 boulevard Gaspard Monge, 91120 Palaiseau.  

Le stage sera encadré par des ingénieurs-chercheurs Data Scientist du département SEQUOIA. 

Durée du stage : 6 mois à partir d’Avril ou Mai 2027

35h/semaine

Transmettre par mail un CV et une lettre de motivation à:  

Lydia OULD OUALI (lydia.ould-ouali@edf.fr ) 

Nicolas Vautier (nicolas.vautier@edf.fr)