Apprentissage par renforcement pour l'éducation adaptative : l'apprentissage comme un jeu

La plupart des plateformes « d'apprentissage adaptatif » sont des règles. Un étudiant répond à un quiz, une heuristique statique décide de l'exercice suivant, et tous ceux qui ont la même mauvaise réponse voient le même contenu. Ce n'est pas de l'adaptation ; c'est de la logique conditionnelle déguisée en blouse de laboratoire. Ma thèse à l'Université Mohammed V aborde le problème différemment : modéliser l'interaction tuteur–étudiant comme un jeu, et entraîner le tuteur avec l'apprentissage par renforcement.

Pourquoi l'approche par règles échoue

Une heuristique comme « si le score < 60 %, montrer des questions plus faciles » est fragile précisément là où l'adaptation compte le plus. Elle ignore le pourquoi de l'échec de l'étudiant. Deux étudiants peuvent obtenir 50 % pour des raisons complètement différentes : l'un a une lacune dans les prérequis, un autre comprend la matière mais lit mal les questions, un troisième est anxieux sous la pression du temps. Un système par règles ne peut pas les distinguer car il ne modélise jamais l'état caché — il ne voit que le score observable.

Le problème plus profond est que les règles sont écrites par des experts sur l'étudiant moyen, et l'étudiant moyen n'existe pas. Tout système adaptatif utile doit prendre des décisions sous incertitude à propos d'un individu dont l'état interne n'est jamais directement observable. C'est précisément le problème que l'apprentissage par renforcement a été conçu pour résoudre.

L'apprentissage comme un jeu partiellement observable

Un tuteur n'observe jamais complètement l'état d'un étudiant — motivation, connaissances préalables, attention et confiance sont toutes cachées. Cela fait du problème un jeu de Markov partiellement observable. À chaque étape, le tuteur choisit une action (un exercice, un indice, une vidéo, une pause), l'étudiant répond, et la croyance du tuteur comme l'état de l'étudiant évoluent.

Formaliser ainsi nous donne deux choses que l'approche par règles ne peut pas avoir :

Une politique d'exploration fondée sur des principes. Le tuteur peut équilibrer deux objectifs explicitement : enseigner (maximiser l'apprentissage attendu) et diagnostiquer (choisir activement des actions qui réduisent l'incertitude sur l'état de l'étudiant). L'arbitrage exploration/exploitation n'est pas un accident — il est calculé, et c'est exactement ce qui rend le système adaptatif plutôt que réactif.

Une fonction de récompense ancrée dans la recherche en éducation. La conception de la récompense est là où la théorie rencontre la réalité de la classe. Nous ne maximisons pas simplement « réponse correcte ». La récompense tient compte des courbes d'oubli (répétition espacée), de l'entrelacement des sujets et du coût de la frustration — car un tuteur qui maximise la correction à court terme peut facilement apprendre à l'étudiant à jouer le quiz plutôt qu'à maîtriser le sujet.

def reward(state, action, response):
    r = response.correct
    r -= FRUSTRATION_COST * response.time_penalty
    r += SPACING_BONUS * forgetting_curve(state, action.topic)
    r += INTERLEAVE_BONUS * topic_diversity(state)
    return r

La théorie des jeux entre en scène quand les étudiants stratégisent

Les étudiants ne sont pas des récepteurs passifs. Ils optimisent leurs propres objectifs — minimiser l'effort, éviter l'échec, paraître intelligents devant leurs pairs. Un étudiant devinera, cherchera des motifs, ou demandera des indices dont il n'a pas besoin si les incitations le récompensent. La théorie des jeux permet au tuteur d'anticiper ce comportement stratégique au lieu de se laisser exploiter par lui.

C'est la partie que je trouve la plus intéressante : la tension coopératif-compétitif entre un tuteur qui veut l'apprentissage et un étudiant qui veut un progrès perçu. Aligner ces incitations est un problème de mécanisme de conception, pas un problème d'optimisation. Si la structure de récompense rend la devinette strictement pire que la réflexion, les étudiants arrêtent de deviner. Si les indices sont gratuits, les étudiants les cliquent sans s'engager. Le travail du tuteur est de concevoir le jeu pour que le comportement intéressé de l'étudiant soit aussi le comportement qui maximise l'apprentissage.

Il existe une littérature croissante qui relie cela à la conception de systèmes de tutorat calibrés : le tuteur doit être honnête sur ce qu'il sait, et l'étudiant doit être récompensé pour un signal honnête de son incertitude. Demandez à un étudiant « à quel point êtes-vous confiant ? » et la qualité du diagnostic s'améliore spectaculairement — à condition que l'étudiant croie que l'honnêteté est récompensée.

Pourquoi le RL et pas l'apprentissage supervisé

Un modèle supervisé peut prédire « quel exercice devrait venir ensuite » à partir de données historiques, et il le fera bien en distribution. Mais le cadre du tutorat adaptatif est fondamentalement hors distribution : chaque intervention change la distribution, car un bon tuteur est la raison pour laquelle l'état suivant diffère de tout ce qui est dans les données d'entraînement. C'est la distinction classique interventionnel versus prédictif. Le RL est le bon outil quand vos décisions changent le monde que vous prédisez. Le tutorat est exactement ce cas.

De la théorie au déploiement

Les modèles ne restent pas dans des notebooks. L'objectif final est de câbler une politique entraînée dans un vrai produit de tutorat — la même conviction qui anime l'école d'IA que j'ai fondée, 212AY — via une fine couche RAG + LLM : l'agent RL décide quoi enseigner et quand, tandis que le modèle de langue décide comment formuler l'explication dans la langue et le niveau de l'étudiant. C'est l'intersection des trois choses auxquelles je consacre mon temps — apprentissage par renforcement, récupération et ingénierie full-stack.

Cette répartition du travail est délibérée. La politique RL est petite, rapide et testable ; le LLM ajoute de la fluidité de surface sans être responsable de la décision pédagogique. Garder la logique de curriculum hors du modèle de langue rend le système auditable — vous pouvez demander pourquoi un étudiant a vu une question et obtenir une réponse de politique, pas une prédiction de token.

L'évaluation est la partie difficile

L'évaluation RL standard — récompense totale, courbes de regret — nous dit que la politique a appris, pas si les étudiants ont appris. Nous évaluons donc à trois niveaux : performance en simulateur (la politique bat-elle les heuristiques sur des étudiants synthétiques ?), qualité du curriculum (les exercices suivent-ils la théorie de l'espacement et de la séquençage ?) et, à terme, de vraies classes avec des tests avant/après. L'écart entre les niveaux deux et trois est là où la plupart des systèmes adaptatifs meurent en silence, et c'est là que je consacre l'essentiel de mon effort.

Il y a une raison de plus d'être optimiste sur ce fil de travail : l'infrastructure a enfin rattrapé la théorie. L'optimisation de politique est assez bon marché pour itérer chaque nuit, les simulateurs d'étudiants sont assez bons pour pré-entraîner, et la couche LLM rend les explications du tuteur fluides même quand les décisions de curriculum restent rigoureuses. Il y a dix ans, les modèles étaient le goulot d'étranglement ; aujourd'hui, c'est la partie facile. Le travail dur et précieux — conception d'incitations, modélisation d'état et évaluation honnête — est exactement celui que dix ans d'outillage ne peuvent pas faire pour vous. C'est tout l'enjeu de la thèse, et c'est pourquoi je continue de livrer de vrais systèmes en parallèle.

Si vous travaillez sur le RL pour l'éducation, ou les approches par théorie des jeux du tutorat, je serais vraiment ravi de comparer nos notes. Contactez-moi.