Visualiser des indicateurs de compétences - objectifs et verrous

Atelier EIAH 2025

Programme de la matinée

Première partie (9h - 10h30)

Visualisation et évaluation des compétences transversales : conception et usages de la plateforme ComPass

Intervenante : Linda Del Giudice

La plateforme ComPass est un outil de visualisation adossé à une stratégie d’évaluation des compétences transversales, le concept retenu pour celle-ci étant celui d’une mobilisation efficace des ressources disciplinaires (au sens Tardif). Dans ce contexte, deux modes d’évaluation complémentaires ont été mis en place : les ressources dites disciplinaires sont évaluées avec une note numérique (sur 20) alors que les compétences dites transversales sont évaluées avec une note alphanumérique (entre A et F). ComPass, qui prend la forme d’une application web, vise à exploiter la base de données de ces évaluations de compétence pour accompagner les élèves dans leur formation en leur proposant différents supports de visualisation : une rosace qui montre en temps réel le niveau des compétences déjà observées, et en fin de parcours un supplément au diplôme qui caractérise individuellement les spécificités de chaque élève. Pour faciliter l’analyse réflexive chez les élèves, nous projetons de mobiliser les Alumnis qui pourront donner corps aux différentes trajectoires possibles en identifiant les compétences majeures de quelques profils spécifiques. Cet outil permet également aux enseignants d’analyser les différentes stratégies mises en œuvre pour mobiliser chacune des compétences du référentiel au sein de toutes les actions de formation. Pour ce faire, les enseignants peuvent visualiser une synthèse des compétences observées dans un cours, comme ils peuvent observer une synthèse des cours qui évaluent une compétence. Au cours de cet atelier, nous présenterons cette plateforme ComPass avec les différentes visualisations proposées aux élèves et aux enseignants du cursus ingénieur généraliste de Centrale Lyon.

Vers des learning analytics linguistiques actionnables pour l’apprentissage de l’anglais en contexte universitaire

Intervenants : Rémi Venant, Nicolas Ballier, Cyriel Mallart, Andrew Simpkin, Bernardo Stearns, Jen-Yu Li et Thomas Gaillat

A4LL est un système d’assistance à l’évaluation formative des écrits dirigée par le référentiel de compétences du Cadre Européen Commun de Référence pour les langues (CECR). Le système offre un ensemble de modèles d’apprentissage machine couplé une application intégrable directement dans un LMS pour l’édition et la réalisation de tâches rédactionnelles qui, une fois réalisées, peuvent être analyseés sous le prisme du CECR dans un tableau de bord d’apprentissage (TBA). Ce dernier exploite différentes dimensions linguistiques pour la prédiction de niveau, des analyses multifactiorelles et leur synthèse sous forme de visualisations interactives pour l’enseignant. Co-construit avec ses utilisateurs selon une démarche de Design-Based PADDLE, celui-ci offre différents niveaux d’explications en termes de niveau de compétences et de caractérisation d’unités linguistiques à consolider. Ayant pour ambition de faciliter le suivi des cohortes et des individus, ainsi que la génération de feedback spécifiques et la conception de recommandations en classe, ce TBA vise à proposer une selection automatique de mesures statistiquement pertinentes pour expliquer les évaluations automatiques d’un individu ou d’un groupe,ainsi une expression des ces mesures dans des traits langagiers compréhensibles et actionnables pour l’enseignant synthétisées dans des visualisations appropriées. Ce système est aujourd’hui exploité et en cours d’évaluation dans le cadre de l’apprentissage de l’anglais de spécialité à l’Université.

Tableau de bord de l’application Calcularis – de la (re)conception à l’utilisation par des enseignants

Intervenants : Michel Deruaz, Céline Hugli et Jana Trgalová (UER MS, HEP Vaud, Lausanne, Suisse)

Calcularis (https://constructor.tech/fr/products/learning/calcularis) est une application qui vise l’apprentissage des nombres et des opérations à l’école primaire. Dans le mode guidé, les activités d’entrainement qui y sont proposées sont personnalisées en fonction de la progression des apprentissages des élèves. Un autre mode, libre, est proposé où l’élève ou l’enseignant peuvent choisir l’activité que l’élève va travailler. Si l’application s’adapte aux besoins des élèves, l’enseignant a également la possibilité de suivre la progression des apprentissages des élèves au moyen du tableau de bord, appelé « Coach ». Dans le cadre d’une étude pilote portant sur l’utilisation de l’application par des enseignants d’école primaire, nous étions amenés, en collaboration avec le développeur de l’application Constructor, à revoir certains choix de conception du Coach. Ce travail a été guidé par les dimensions ergonomiques d’un EIAH proposées par Tricot et al. (2003). Ainsi, pour renforcer l’utilité du Coach, nous avons réfléchi aux fonctions qu’il devrait remplir, notamment fournir des informations sur les élèves afin de faciliter le suivi de leurs activités et leurs apprentissages et alerter en cas de problème détecté (Van Leeuwen & Rummel, 2020) ; pour le rendre davantage utilisable, nous avons porté l’attention à la navigation et l’accès aux informations (Hugli et al., 2025 – à paraître). Ces dimensions ergonomiques ont été articulées à des réflexions didactiques, notamment autour des discussions sur la distinction entre comportement inactif et apprentissage « faible », ainsi que sur la définition des seuils pour des alertes concernant la détection des difficultés d’apprentissage. Lors de la communication, nous présenterons l’application et le Coach, tout en mettant en évidence les principaux choix de (re)conception. Nous conclurons en rendant compte des retours des enseignants qui utilisent l’application.

Références :

Tableau de bord de soutien à l’autorégulation – Prototypes et hypothèse de recherche du projet Tea-TIME

Intervenants : Christine Michel (Techné, Université de Poitiers), Rémi Venant (LIUM, Université du Mans)

Le projet Tea-TIME a pour objectif de faciliter le développement de compétences chez les enseignants pour la mise en œuvre des pédagogies fondées sur les ACA-AR : les Activités d’apprentissage intégrant l’APC (approche par compétences), fondées sur des régulations supportées par de l’IA et de l’Auto-Régulation. Un des axes de travail du projet est de poursuivre les travaux du projet COMPER en analysant comment intégrer des fonctionnalités permettant la planification des activités d’apprentissage dans les TDB existants de manière à permettre à l’enseignant de concevoir une adaptation temporelle de son dispositif, et à l’apprenant de mettre en œuvre des stratégies d’auto-régulation intégrant la planification de son apprentissage.

Trois éléments de complexité guident notre travail. Le premier est lié au fait que les TDB à concevoir doivent être actionnables c’est-à-dire qu’ils doivent offrir des fonctionnalités de supervision sur les compétences acquises au cours de la formation, mais aussi de spécification/ajustement pour les moteurs de recommandation. Le second est lié au fait que les TDB travaillent à partir des compétences acquises et pas les activités réalisées, ce qui suppose de réfléchir au niveau des objectifs pédagogiques en particulier lors de la conception des visualisations. Le troisième est lié au fait que le TDB doit intégrer, en complément des compétences disciplinaires liées à la formation, la gestion des compétences transversales d’auto-régulation de l’apprenant qui sont développées à partir de son activité d’apprentissage et de son activité de planification de son apprentissage.

Dans le cadre de l’atelier, nous proposons de présenter le TDB destiné aux étudiants et qui se présente sous la forme de 3 onglets relatifs : à la gestion des compétences disciplinaires de la formation, à la réalisation de l’activité de planification pour ces apprentissages et au suivi des compétences d’auto-régulation. Le premier onglet correspond à l’outil COMPER existant. Nous présenterons plus spécifiquement nos réflexions en termes de design sur les deux autres qui sont actuellement des prototypes en cours de réalisation dans le cadre du projet Tea-TIME.

Seconde partie (11h - 12h30)

La deuxième partie de l’atelier conduira à un approfondissement de pistes de recherches au travers d’un travail collaboratif