Description de l’atelier
Responsables :
- Isabelle Girault - chercheuse en sciences de l’éducation - LIG-MeTAH - Grenoble
- Jean-Marie Gilliot - chercheur en informatique - Lab-STICC - MOTEL - Brest
L’atelier se déoulera en 2 parties :
- Retours d’expérience
- LabNBook - Isabelle Girault - Christian Hoffmann
- YEPA - Bernadette Charlier - Joris Felder
- Ecri+ - Claudine Piau-Toffolon - Abdelkader Ouared
- Construction d’un canevas d’évaluation : Quelles évaluations pour les TBA ?
Cet atelier est le 6ème à s’intéresser aux Tableaux de Bord d’Apprentissage (TBA) dans la communauté qui se regroupe dans le Groupe de Travail de l’ATIEF sur ce sujet.
Lors de cet atelier, nous visons les trois objectifs suivants :
- faire rencontrer les acteurs de la communauté EIAH s’intéressant aux TBA ;
- présenter un état de l’art de quelques recherches en cours ;
- permettre un travail collectif autour de la question de l’évaluation des TBA
Au travers d’une revue de littérature, Kaliisa et al. (2023) rappellent l’importance du soutien au passage à l’action qui doit être intégré aux TBA au-delà des simples visualisations. L’importance d’expliciter les cadres théoriques de l’apprentissage mobilisés, l’implication des parties prenantes, et le respect de la vie privée et de l’éthique complètent les conseils de conception de ces TBA. Deux pistes restent ouvertes à l’issue de cette revue. D’une part, la nécessité de déployer de tels TBA à grande échelle pour pouvoir disposer de retours d’usage plus complets. D’autre part, les auteurs soulignent surtout la nécessité de diversifier les méthodes d’évaluation pour viser des mesures d’impact, au-delà de simples évaluations d’utilisabilité ou de satisfaction. C’est ce dernier point que nous voulons aborder cette année.
Au travers de trois présentations d’évaluations de tableaux de bord développées dans le cadre de projets de recherche, nous aborderons une diversité de méthodes d’évaluation. Dans un second temps, nous comparerons les évaluations menées par rapport aux questions de recherche visées, en utilisant la méthode Thèdre (Mandran et al., 2022) pour les comparer. Nous proposerons une réflexion collective pour identifier des mesures d’impact pertinentes et des pistes pour mener des évaluations. Chaque participant pourra témoigner de son expérience. Les éléments de réponse produits durant cet atelier devraient permettre d’identifier des pistes pour des recherches futures, et d’initier des collaborations entre les participants. Les pistes identifiées en atelier pourront donner lieu à un travail ultérieur au sein du GT TBA.
Bibliographie
Kaliisa, R., Jivet, I., & Prinsloo, P. (2023). A checklist to guide the planning, designing, implementation, and evaluation of learning analytics dashboards. International Journal of Educational Technology in Higher Education, 20(1), 28.
Mandran, N., Vermeulen, M., & Prior, E. (2022). Thedre’s framework: Empowering phd candidates to efficiently implement design-based research. Education and Information Technologies, 27(7), 9563-9586.
Park, Y. (2015). Development of the learning analytics dashboard to support students’ learning performance.
Park, Y., & Jo, I. H. (2019). Factors that affect the success of learning analytics dashboards. Educational Technology Research and Development, 67(6), 1547-1571.
Kokoç, M., & Kara, M. (2021). A multiple study investigation of the evaluation framework for learning analytics. Educational Technology & Society, 24(1), 16-28.
Jivet, I., Scheffel, M., Specht, M., & Drachsler, H. (2018, March). License to evaluate: Preparing learning analytics dashboards for educational practice. In Proceedings of the 8th international conference on learning analytics and knowledge (pp. 31-40).
Schwendimann et al., “Perceiving Learning at a Glance: A Systematic Literature Review of Learning Dashboard Research,” in IEEE Transactions on Learning Technologies, vol. 10, no. 1, pp. 30-41, 1 Jan.-March 2017, doi: 10.1109/TLT.2016.2599522.
Yoo, Y., Lee, H., Jo, IH., Park, Y. (2015). Educational Dashboards for Smart Learning: Review of Case Studies. In: Chen, G., Kumar, V., Kinshuk, ., Huang, R., Kong, S. (eds) Emerging Issues in Smart Learning. Lecture Notes in Educational Technology. Springer, Berlin, Heidelberg. https://doi.org/10.1007/978-3-662-44188-6_21