Méthodes, enjeux et limites de l'évaluation des tableaux de bord d’apprentissage

L’atelier se déroulera en 2 parties.

• La première partie est dédiée à la présentation de 3 travaux d’évaluation de tableaux de bord d’apprentissage
• La seconde partie se déroulera sous forme d’une co-production d’un canevas d’évaluation.

Retours d’expérience

Conception et évaluation d’un tableau de bord (TdB) étudiant sur une plateforme d’apprentissage des sciences expérimentales

Isabelle Girault, Christian Hoffmann LIG-MeTAH, Université Grenoble Alpes

La plateforme LabNBook est un cahier de laboratoire partagé pour apprendre les sciences, qui permet aux étudiants de produire collaborativement rapports, comptes-rendus et autres documents scientifiques. Nous avons récemment ajouté dans LabNBook un tableau de bord pour les étudiants. Pour concevoir une évaluation pertinente et cohérente de ce tableau de bord, il est important que cette évaluation soit alignée avec les objectifs du projet et les principes de conception. Dans le cadre de l’atelier réflexif sur l’évaluation des tableaux de bord, nous commençons donc par préciser les objectifs du tableau de bord. Celui-ci a pour but de stimuler et faciliter la régulation du travail individuel des étudiants (Self-Regulated Learning - SRL) et du travail en équipe (Socially Shared Regulation of Learning - SSRL). Nous avons suivi une démarche de recherche orientée par la conception (DBR), qui a permis de concevoir et évaluer le TdB en étant au plus près du terrain. Le TdB a été conçu selon les principes de conception suivants : aider les élèves à (i) conscientiser leurs activités, les activités des autres membres de leur équipe et l’activité de l’enseignant dans l’espace de travail partagé, (ii) déclencher des processus de régulation. Nous montrons comment ces principes ont été implémentés dans le tableau de bord. Nous terminons cet atelier par les premiers résultats d’une évaluation du tableau de bord qui combine un sondage auprès d’un petit nombre d’étudiants et des traces numériques sur un effectif plus grand. Le sondage permet d’avoir un retour sur l’utilité perçue des différents éléments du tableau de bord. Les traces numériques permettent de comprendre comment les étudiants utilisent réellement le tableau de bord.

Support de présentation LabNBook

YEPA, un tableau de bord cognitif et réflexif : conception itérative (DBR) et évaluation au prisme du framework THEDRE

Bernadette Charlier, Joris Felder et Léonard Noth Yllyl.ch

Résumé :

Dans le cadre de l’atelier réflexif sur l’évaluation des Tableaux de Bord d’Apprentissage (TBA), cette contribution présente les travaux de recherche basés sur la conception (Design-Based Research - DBR) menés au sein du projet LX Factor (InnoSuisse.ch) pour le développement de la plateforme YEPA. YEPA se positionne comme un tableau de bord cognitif central pour l’apprenant, proposant des visualisations interactives (les LX Maps) qui modélisent les connaissances, compétences, stratégies et schèmes d’action mobilisés lors de l’apprentissage. D’autres outils de visualisation de ces mêmes données croisées à des contenus externes complètent les possibilités offertes à l’utilisateur par des fonctionnalités pour atteindre des buts spécifiques (apprentissage, orientation, exploration de possibles). En outre, un tableau de bord dédié aux démarches collaboratives d’analyse des LX Maps à l’échelle de groupes de travail est proposé.
En nous appuyant sur les critères de qualité et les principes méthodologiques formalisés par le framework THEDRE (Mandran et al., 2022), nous montrerons comment la conception de nos tableaux de bord et outils analytiques permettent de répondre aux exigences de la recherche orientée par la conception (DBR) :

• Ancrage dans la réalité et collaboration avec les acteurs (Principes 4 et 5 de la DBR) : La conception de YEPA s’inscrit dans des contextes écologiques variés (insertion professionnelle, formation continue, recherche). Nos outils d’orientation, comme les correspondances métiers (référentiel ESCO), placent l’utilisateur au centre du processus. Les témoignages d’utilisateurs et de coachs montrent que l’outil permet aux apprenants de verbaliser leurs compétences, de travailler sur leur estime d’eux-mêmes et de regagner confiance. Par ailleurs, le tableau de bord collectif favorise l’analyse de l’activité à l’échelle d’un groupe.
• Production, analyse immédiate des données et raffinement itératif (Principes 3 et 7) : L’approche THEDRE préconise une analyse rapide des données pour ajuster l’outil et la recherche. YEPA intègre des outils d’analyse transversale (détection de patterns d’apprentissage partagés) et un explorateur qui permettent aux chercheurs et aux apprenants d’exploiter immédiatement la richesse des modélisations sous différentes vues (libre, hiérarchique, inter-schèmes et catégories).
• Documentation du processus d’apprentissage (Principe 8) : La DBR exige une traçabilité rigoureuse. La LX Map constitue en elle-même une trace structurée de l’activité réflexive de l’apprenant. De plus, le générateur de rapport textuel synthétise automatiquement le contenu des situations vécues, assurant une documentation détaillée des acquis.
• Pilotage par des indicateurs d’objectifs (Principe 10 spécifique à THEDRE) : THEDRE enrichit la DBR par l’ajout d’indicateurs de pilotage. Dans YEPA, ce principe est concrétisé par des outils de comparaison permettant de visualiser l’alignement des compétences avec des référentiels externes et de mesurer des scores de correspondances.

Pistes ouvertes pour la recherche : pour faire écho à la revue de littérature (Kaliisa et al., 2023) soulignée dans l’appel à contribution, nos travaux ouvrent plusieurs perspectives de recherche visant à dépasser la simple évaluation d’utilisabilité :

1. L’évaluation de l’impact pédagogique : Le développement en cours du “diagnostic pédagogique” dans YEPA permettra de détecter automatiquement des similarités, des lacunes ou des conflits instrumentaux (tensions, catachrèses, etc.). Cela ouvre la voie à de nouvelles mesures d’impact sur la régulation de l’apprentissage.
2. Généralisation et déploiement à large échelle (Principe 9) : Conformément à la volonté de généraliser les modèles locaux, un accès très ouvert à YEPA permettra non seulement d’utiliser YEPA dans divers champs d’application mais aussi de l’utiliser pour analyser et comparer une grande variété de modèles (LX Maps).

Support de présentation Yepa

Tableau de bord d’apprentissage pour soutenir la métacognition des apprenants d’écri+

Abdelkader Ouared, Claudine Piau-Toffolon, Madeth May, Nicolas Dugué

Résumé

Cette recherche présente une étude expérimentale portant sur un tableau de bord d’apprentissage destiné aux apprenants écri+. Ce tableau intègre à la fois des indicateurs comportementaux et un agent autoréflexif nommé ReflAgent. L’objectif principal est d’évaluer l’interprétabilité des indicateurs, la pertinence des visualisations et leur rôle de message autoréflexif dans le soutien à l’autorégulation des apprenants. Menées dans le cadre d’un protocole Human-Centered Learning Analytics and AI (HCLA/AI), les expérimentations révèlent que les heatmaps offrent une meilleure lisibilité temporelle que les diagrammes en radar. Elles soulignent également le caractère essentiel d’un accompagnement explicatif. Les résultats quantitatifs et qualitatifs confirment l’utilité pédagogique de ReflAgent, avec des scores de confiance élevés (76% à 92%) et une fiabilité inter-évaluateurs substantielle (κ > 0, 75). Cette recherche s’appuie sur une étude de cas fondée sur des données réelles issues du projet écri+1, un projet national financé par l’ANR2 (Agence nationale de la recherche) réunissant 16 partenaires, dont 12 universités. Lisez le résumé détaillé)

Support de présentation ecri+

Synthèse des échanges

Les présentations et les discussions ont fait l’objet d’une prise de notes collective sur un document partagé, dont nous reproduisons ici la synthèse :

Notes lors des 3 présentations

LabNBook : Conception et évaluation d’un tableau de bord (TdB) étudiant sur une plateforme d’apprentissage des sciences expérimentales 

La première présentation « Conception et évaluation d’un tableau de bord (TdB) étudiant sur une plateforme d’apprentissage des sciences expérimentales » par Isabelle Girault et Christian Hoffmann du LIG-MeTAH, Université Grenoble Alpes a mis l’accent sur l’alignement de leur tableau de bord avec leurs objectifs, à savoir la stimulation de l’autorégulation individuelle et en équipe. Le développement de ce TBA est réalisé selon une méthode de recherche DBR centrée utilisateur.

Dans cette logique, la première phase était exploratoire, les premières maquettes ont été discutées dans des focus groupes avec les étudiants pour obtenir des évaluations qualitatives. Dans une deuxième phase, un questionnaire d’évaluation d’utilisabilité (499 répondants) a permis une évaluation quantitative qui a permis de plus d’obtenir certains résultats différents de ce que proposait la littérature, à savoir que les étudiants concernés rejettent en majorité la comparaison sociale. Ces résultats ont conduit à modifier le choix des indicateurs à afficher sur le TBA. Le TBA a été mis en place fin 2025 et une analyse des traces utilisateurs préliminaire a débuté. Dans un premier temps, il s’agissait de mettre en place et d’affiner les traces récoltées, ainsi que la procédure d’analyse de ces traces. Le but est de qualifier l’utilisation des différents constituants de l’interface, notamment la perception et l’utilisation de certaines éléments de l’interface censées alerter l’utilisateur. et de l’amener à agir en conséquence. A ce stade, les traces et procédures sont en place et une récolte de traces peut être envisagée pour la rentrée 2026 afin d’évaluer l’atteinte de l’objectif du TBA.

Notons également que pour ce projet, le TBA est un panneau spécifique au centre de l’écran, entouré d’autres informations sur l’écran principal (rapports en cours, agenda), visant à amener l’étudiant sur une activité de son choix.

YEPA, un tableau de bord cognitif et réflexif : conception itérative (DBR) et évaluation au prisme du framework THEDRE

La seconde présentation « YEPA, un tableau de bord cognitif et réflexif : conception itérative (DBR) et évaluation au prisme du framework THEDRE » par Bernadette Charlier, Yllyl.ch a mis l’accent sur la genèse du projet, basé sur le travail de thèse de Joris Felder qui a développé la méthode MEPA, qui a ensuite continué son travail de recherche en développant une entreprise et un outil permettant la réflexivité sur ses processus d’apprentissage et leur outillage. Le cœur de cet outil est un modèle de représentation du système d’instrument couplant outils et pratiques. Le choix de l’outil est de développer la construction et l’exploration de son propre système d’apprentissage au travers d’agents conversationnels.

Deux éléments distincts d’évaluation sont présentés. Le premier est quantitatif et vise à qualifier la qualité du système d’IA sous-jacent (précision par rapport au modèle spécialisé sous-jacent et temps de réponse, en comparaison avec d’autres systèmes d’IA généralistes). La question est donc la qualité des retours et la conformité par rapport à des modèles de référence. Le second porte sur des évaluations qualitatives par rapport à des objectifs d’impact : remobilisation, verbalisation des compétences et restauration de l’estime de soi, intégration dans les pratiques …

Ici l’ensemble de l’outil est considéré comme tableau de bord, au sens où il fournit des visualisations variées pour supporter un cadre de réflexion visant des impacts comportementaux et métacognitifs.

Ecri+ : Tableau de bord d’apprentissage pour soutenir la métacognition des apprenants d’écri+

La troisième présentation « Tableau de bord d’apprentissage pour soutenir la métacognition des apprenants d’écri+ » par Abdelkader Ouared du LIUM, Laval. L’objectif du tableau de bord est ici de produire des feedbacks intrinsèquement motivants. La proposition est de proposer des indicateurs d’engagement et de persévérance. La conception est participative, l’utilisateur participe à la conception et à l’utilisation du TBA.

Plusieurs étapes d’évaluation sont présentées : une évaluation de l’interprétabilité des indicateurs, au travers de retours de participants experts. Cette évaluation perceptuelle permet de valider des critères de confiance en regard d’un modèle de perception motivationnelle, ici le modèle de Viau à 3 dimensions : Valeur, Compétence, Contrôlabilité. En l’état actuel, le TBA n’est pas encore déployé, et n’est donc pas encore évalué au niveau des utilisateurs finaux (étudiants), notamment en termes d’interprétabilité.

Le Tableau de bord est ici un écran complet intégrant informations de positionnement en termes d’engagement et de persévérance, et un feedback motivant.

Discussion

Les échanges dans la salle ont porté sur de nombreux points que nous résumons ici autour de 3 points : la définition d’un TBA, les modèles mobilisés et les différentes évaluations.

Définition du tableau de bord d’apprentissage

Les 3 présentations démontrent une variabilité du périmètre de la définition de ce qu’est un TBA. Pour LabNBook, il s’agit d’un panneau de retours d’informations dynamiques dédié à l’action. Yepa, en tant qu’outil dédié à la réflexivité basé sur un modèle sur ses processus d’apprentissage semble considéré que le TBA est l’ensemble de l’application, sur le modèle des superviseurs industriels, qui donnent une vision dynamique complète du processus, et qui permettent de s’intéresser à des parties spécifiques pour permettre une prise de décision. ECRI+ considère le TBA comme un écran complet dédié, intégrant une vue dynamique de l’étudiant, et lui proposant un feedback.

Dans tous les cas, il s’agit bien un retour visuel d’informations dynamiques, visant au suivi, à la compréhension, et à la prise de décision en vue d’action.

La notion de périmètre visuel (panneau, écran, application) suscite des réactions, mais le périmètre pertinent semble bien être celui de l’objectif et des actions dédiées. La notion d’intervention, à savoir un retour spécifique vers l’utilisateur peut être intégrée ou non dans le TBA. C’est spécifiquement le cas d’Ecri+. L’action en elle-même peut être déclenchée directement dans le TBA (cas de LabNBook) ou non (cas de Ecri+).

La dynamicité des informations ramène, comme souvent à la question de l’adaptation du TBA. Là encore, la question de la définition est posée. Les travaux de Rémi Barbé, qui a soutenu sa thèse la veille de l’atelier, permet de rappeler l’existence de deux classes liées au déclenchement de l’adaptation : par l’utilisateur (adaptabilité) ou automatiquement par le système (adaptivité). Notons également une question récurrente dans le groupe de travail : la création d’indicateurs, leur visualisation et la catégorisation des indicateurs et des TBA. Deux travaux sont cités :

• D’un point de vue technique, un plateforme issue de la recherche OpenLAP
• Un répertoire d’indicateurs issus de la recherche, au travers d’une revue de littérature sur les indicateurs : “Connecting the dots – A literature review on learning analytics indicators from a learning design perspective”

  Modèles mobilisés dans les travaux sur les TBA

  En termes de méthodes de recherche, les différents travaux se déroulent dans un cadre de design-based-research (DBR) impliquant une approche itérative, cohérente avec la diversité des dimensions à évaluer. Elles sont également centrées utilisateurs, impliquant une dimension participative aux travaux.

De manière moins évidente, les trois travaux présentés mobilisent des théories réflexives, portant sur la métacognition des étudiants, sur l’évolution de comportements et de confiance en soi. Le TBA s’avère être un support à ces analyses réflexives.

Quelles évaluations pour qualifier un TBA ?

Les méthodes d’évaluation proposées sont variées, qualitatives dans des phases exploratoires, quantitatives ou mixtes dans les phases de déploiement pour valider les solutions retenues. Plusieurs dimensions sont analysées, regroupées en 3 groupes lors de la discussion : évaluation Sur le développement, évaluation Pour le développement et évaluation Avec le développement.

• L’évaluation Sur le développement se focalise sur l’objet TBA. Les questions posées sont sur l’utilisabilité, l’interprétabilité du TBA. Cette dernière peut porter sur plusieurs niveaux : la compréhension des éléments de l’interface (interprétation d’icônes pour LabNBook) ou interprétation de l’ensemble par rapport aux objectifs du TBA (écri+). Dans tous les cas, nous sommes sur des questions de culture visuelle et d’IHM des utilisateurs.
• L’évaluation Pour le développement porte sur l’alignement de indicateurs par rapport aux objectifs du modèle. Dans Yepa, la question de la qualité des retours par rapport au modèles. On peut également considérer que le travail présenté par écri+, au-delà de l’interprétabilité, se ramène à cette dimension dans le sens où la question de l’alignement par raport au modèle VCC est posée aux experts
• L’évaluation Avec le développement constitue la dernière phase d’évaluation en posant la question de l’atteinte des objectifs du TBA, donc un impact sur les pratiques ou la réussite des apprentissages. Dans le cadre de Yepa, il s’agit ici d’une analyse qualitative d’impact auprès des utilisateurs.

Dans le cadre des TBA, ces trois dimensions constituent des étapes progressives pour la validation du TBA. La dernière étape est rarement couverte dans la littérature, et ne peut s’aborder qu’avec des déploiements réussis d’applications, ce qui est le cas de solutions commerciales. Dans ce cas, si YEPA s’avère être un exemple à suivre en matière de transparence. Celle-ci n’est pas toujours facile dans le cadre de collaboration avec les EdTech, comme cela a été souligné lors des présentations des EdTech lors des RJC.

Au-delà de ces présentations des questions restent posées à l’issue de cet atelier, qui pourraient faire l’objet de travaux spécifiques :

• Y-a-t-il des spécificités sciences de l’éducation / informatique par rapport aux intentions d’évaluation ?
• Les méthodes d’évaluation sont-elles spécifiques selon les intentions d’évaluation ?

En guise de conclusion, les échanges dans le cadre de tels ateliers restent intéressants pour les participants, car permet de progresser collectivement sur les fondements et les techniques autour des TBA.