L’atelier se déroulera en 2 parties.
- La première partie est dédiée à la présentation de 3 travaux d’évaluation de tableaux de bord d’apprentissage
- La seconde partie se déroulera sous forme d’une co-production d’un canevas d’évaluation.
Retours d’expérience
Conception et évaluation d’un tableau de bord (TdB) étudiant sur une plateforme d’apprentissage des sciences expérimentales
Isabelle Girault, Christian Hoffmann LIG-MeTAH, Université Grenoble Alpes
La plateforme LabNBook est un cahier de laboratoire partagé pour apprendre les sciences, qui permet aux étudiants de produire collaborativement rapports, comptes-rendus et autres documents scientifiques. Nous avons récemment ajouté dans LabNBook un tableau de bord pour les étudiants. Pour concevoir une évaluation pertinente et cohérente de ce tableau de bord, il est important que cette évaluation soit alignée avec les objectifs du projet et les principes de conception. Dans le cadre de l’atelier réflexif sur l’évaluation des tableaux de bord, nous commençons donc par préciser les objectifs du tableau de bord. Celui-ci a pour but de stimuler et faciliter la régulation du travail individuel des étudiants (Self-Regulated Learning - SRL) et du travail en équipe (Socially Shared Regulation of Learning - SSRL). Nous avons suivi une démarche de recherche orientée par la conception (DBR), qui a permis de concevoir et évaluer le TdB en étant au plus près du terrain. Le TdB a été conçu selon les principes de conception suivants : aider les élèves à (i) conscientiser leurs activités, les activités des autres membres de leur équipe et l’activité de l’enseignant dans l’espace de travail partagé, (ii) déclencher des processus de régulation. Nous montrons comment ces principes ont été implémentés dans le tableau de bord. Nous terminons cet atelier par les premiers résultats d’une évaluation du tableau de bord qui combine un sondage auprès d’un petit nombre d’étudiants et des traces numériques sur un effectif plus grand. Le sondage permet d’avoir un retour sur l’utilité perçue des différents éléments du tableau de bord. Les traces numériques permettent de comprendre comment les étudiants utilisent réellement le tableau de bord.
Support de présentation LabNBook
YEPA, un tableau de bord cognitif et réflexif : conception itérative (DBR) et évaluation au prisme du framework THEDRE
Bernadette Charlier, Joris Felder et Léonard Noth Yllyl.ch
Résumé :
Dans le cadre de l’atelier réflexif sur l’évaluation des Tableaux de Bord d’Apprentissage (TBA), cette contribution présente les travaux de recherche basés sur la conception (Design-Based Research - DBR) menés au sein du projet LX Factor (InnoSuisse.ch) pour le développement de la plateforme YEPA.
YEPA se positionne comme un tableau de bord cognitif central pour l’apprenant, proposant des visualisations interactives (les LX Maps) qui modélisent les connaissances, compétences, stratégies et schèmes d’action mobilisés lors de l’apprentissage. D’autres outils de visualisation de ces mêmes données croisées à des contenus externes complètent les possibilités offertes à l’utilisateur par des fonctionnalités pour atteindre des buts spécifiques (apprentissage, orientation, exploration de possibles). En outre, un tableau de bord dédié aux démarches collaboratives d’analyse des LX Maps à l’échelle de groupes de travail est proposé.
En nous appuyant sur les critères de qualité et les principes méthodologiques formalisés par le framework THEDRE (Mandran et al., 2022), nous montrerons comment la conception de nos tableaux de bord et outils analytiques permettent de répondre aux exigences de la recherche orientée par la conception (DBR) :
- Ancrage dans la réalité et collaboration avec les acteurs (Principes 4 et 5 de la DBR) : La conception de YEPA s’inscrit dans des contextes écologiques variés (insertion professionnelle, formation continue, recherche). Nos outils d’orientation, comme les correspondances métiers (référentiel ESCO), placent l’utilisateur au centre du processus. Les témoignages d’utilisateurs et de coachs montrent que l’outil permet aux apprenants de verbaliser leurs compétences, de travailler sur leur estime d’eux-mêmes et de regagner confiance. Par ailleurs, le tableau de bord collectif favorise l’analyse de l’activité à l’échelle d’un groupe.
- Production, analyse immédiate des données et raffinement itératif (Principes 3 et 7) : L’approche THEDRE préconise une analyse rapide des données pour ajuster l’outil et la recherche. YEPA intègre des outils d’analyse transversale (détection de patterns d’apprentissage partagés) et un explorateur qui permettent aux chercheurs et aux apprenants d’exploiter immédiatement la richesse des modélisations sous différentes vues (libre, hiérarchique, inter-schèmes et catégories).
- Documentation du processus d’apprentissage (Principe 8) : La DBR exige une traçabilité rigoureuse. La LX Map constitue en elle-même une trace structurée de l’activité réflexive de l’apprenant. De plus, le générateur de rapport textuel synthétise automatiquement le contenu des situations vécues, assurant une documentation détaillée des acquis.
- Pilotage par des indicateurs d’objectifs (Principe 10 spécifique à THEDRE) : THEDRE enrichit la DBR par l’ajout d’indicateurs de pilotage. Dans YEPA, ce principe est concrétisé par des outils de comparaison permettant de visualiser l’alignement des compétences avec des référentiels externes et de mesurer des scores de correspondances.
Pistes ouvertes pour la recherche : pour faire écho à la revue de littérature (Kaliisa et al., 2023) soulignée dans l’appel à contribution, nos travaux ouvrent plusieurs perspectives de recherche visant à dépasser la simple évaluation d’utilisabilité :
- L’évaluation de l’impact pédagogique : Le développement en cours du “diagnostic pédagogique” dans YEPA permettra de détecter automatiquement des similarités, des lacunes ou des conflits instrumentaux (tensions, catachrèses, etc.). Cela ouvre la voie à de nouvelles mesures d’impact sur la régulation de l’apprentissage.
- Généralisation et déploiement à large échelle (Principe 9) : Conformément à la volonté de généraliser les modèles locaux, un accès très ouvert à YEPA permettra non seulement d’utiliser YEPA dans divers champs d’application mais aussi de l’utiliser pour analyser et comparer une grande variété de modèles (LX Maps).
Tableau de bord d’apprentissage pour soutenir la métacognition des apprenants d’écri+
Abdelkader Ouared, Claudine Piau-Toffolon, Madeth May, Nicolas Dugué
Résumé
Cette recherche présente une étude expérimentale portant sur un tableau de bord d’apprentissage destiné aux apprenants écri+. Ce tableau intègre à la fois des indicateurs comportementaux et un agent autoréflexif nommé ReflAgent. L’objectif principal est d’évaluer l’interprétabilité des indicateurs, la pertinence des visualisations et leur rôle de message autoréflexif dans le soutien à l’autorégulation des apprenants. Menées dans le cadre d’un protocole Human-Centered Learning Analytics and AI (HCLA/AI), les expérimentations révèlent que les heatmaps offrent une meilleure lisibilité temporelle que les diagrammes en radar. Elles soulignent également le caractère essentiel d’un accompagnement explicatif. Les résultats quantitatifs et qualitatifs confirment l’utilité pédagogique de ReflAgent, avec des scores de confiance élevés (76% à 92%) et une fiabilité inter-évaluateurs substantielle (κ > 0, 75). Cette recherche s’appuie sur une étude de cas fondée sur des données réelles issues du projet écri+1, un projet national financé par l’ANR2 (Agence nationale de la recherche) réunissant 16 partenaires, dont 12 universités. Lisez le résumé détaillé)
Co-production d’un canevas
Partant des 3 retours d’expériences, nous entamerons un travail de formalisation des différentes dimensions de l’évaluation d’un tableau de bord, en explicitant ce qui est spécifique à cet objet. La prise de notes se fera sur un document partagé