# 2 | Enclencher une boucle de rétroaction
Critères constants, évaluation continue et rétroactions fréquentes
Est-il possible, avec une approche pédagogique structurée et des outils d'évaluation efficaces, de créer une boucle de rétroaction qui favorise l’apprentissage ?
Des critères réguliers
L'évaluation, conçue pour observer directement ce qui a été enseigné de manière explicite, permet de mesurer si les concepts et les stratégies présentés en classe sont maîtrisés ou non par les étudiants.
Dans cette approche expérimentale, j’utilise des critères réguliers tout au long du trimestre, tant pour les artefacts du dossier d'apprentissage que pour l'analyse finale qui certifiera l’atteinte de la compétence. Dans cette approche expérimentale, j'utilise des critères constants inspirés de l'approche ELLAC pour évaluer les compétences en littératie :
La structure : organisation logique et cohérente des idées (15%)
La rigueur : exhaustivité et systématicité des observations (20%)
La plausibilité : crédibilité et pertinence des preuves (10%)
La nuance : finesse et richesse du regard analytique (25%)
La qualité de la langue (30%)
Appliqués de façon constante durant toute la session, ils permettent d'évaluer assez aisément le développement des étudiants.
L'évaluation formative […] est un processus continu qui a une intention plus corrective. L'évaluation n'est pas la fin du processus, mais un nouveau début. Si l'étudiant n'a pas atteint les exigences ou objectifs initiaux, alors qu'est-ce qui n'a pas fonctionné ? L'étudiant a-t-il ignoré quelque détail pertinent ; a-t-elle des difficultés avec les 'retenues' en arithmétique ; manque-t-elle d'un concept qui est critique pour sa compréhension du matériel ?
Biggs & Collis, Evaluating the Quality of Learning, p. 7
Des niveaux de maitrise et une note globale
La taxonomie SOLO permet d'évaluer la progression des apprentissages qui sont ici associés à quatre niveaux de maîtrise codifiés :
Incomplet/insuffisant (I) : compréhension parcellaire, sous le seuil requis
En développement (D) : compréhension d'éléments multiples mais non intégrée
Maîtrisé (M) : compréhension relationnelle établie
Étendu (E) : capacité d'abstraction et d'application étendue
Ces niveaux servent de base à une rétroaction personnalisée pour chaque étudiant, s'appuyant sur une banque de seize commentaires pré-rédigés qui combinent quatre critères d'évaluation avec quatre niveaux de maîtrise différents.
Voici quelques astuces :
La création des commentaires commence par la description du niveau «Maîtrisé» (M) pour chaque critère. Ces descriptions servent de points de référence pour l'ensemble du système. Pour chacun des quatre critères, il faut rédiger un texte de 45 à 65 mots qui détaille précisément les éléments observables attendus.
Pour accélérer le processus, l'intelligence artificielle (Claude 3.5 Sonnet) peut être utilisée pour générer les descriptions des autres niveaux (I, D, E). Ces descriptions générées doivent ensuite être validées et ajustées manuellement. La création d'une banque complète prend environ 45 minutes. Le système peut être enrichi avec des codes d'erreurs linguistiques et des liens vers le Centre d'aide en français.
Exemple d’invite adressée à Claude. Ici, le niveau M est donné comme référence à l’IA pour créer les niveau I, D et E. Dans cet exercice d’application de stratégies de lecture par l’élève, la qualité de la langue n’est pas évaluée. Quatre commentaires sont rédigés par l’enseignant et 12 autres par l’IA. Lors de l'évaluation, l'enseignant identifie les codes qui correspondent le mieux au travail examiné. Il est crucial de vérifier que les descriptions restent concrètes et pertinentes, en évitant les généralités ambiguës. L'étudiant reçoit uniquement les codes (I, D, M, E) sans note chiffrée.
La grille d’évaluation est connue par l’élève avant de faire son travail et lui permet de développer sa métacognition par le biais d’une autoévaluation. Le code correspond à une rétroaction précise.
Les niveaux de maitrise (IDME) de la structure s’appliquent ici à un portrait de personnage. En fonction de la note laissée par l’enseignant, le tableur assemble les commentaires en une seule rétroaction différenciée. L'évaluation d'un travail standard nécessite entre trois et cinq minutes, tandis que les analyses plus complexes peuvent prendre jusqu'à dix ou douze minutes. Les premières utilisations du système demandent généralement plus de temps, mais la pratique permet d'accélérer le processus.
La gestion des données s'effectue via un tableur de monitorage où les codes IDME sont convertis en valeurs numériques de 1 à 4. Cette conversion permet d'identifier facilement les forces et les faiblesses de chaque étudiant grâce aux valeurs minimales et maximales. Les résultats sont ensuite transférés dans le système de gestion Omnivox/Lea pour communication aux étudiants.
Une note globale non chiffrée
Pour suivre la progression de l'élève durant le trimestre, une note globale (I, D, M ou E) est nécessaire. Dans le tableur, ces niveaux sont convertis en valeurs numériques (1, 2, 3, 4) pour faciliter le traitement des données. Une formule conditionnelle, développée avec l'aide de l'IA, permet d'établir le niveau global.
Pour obtenir un niveau Étendu (E), deux conditions doivent être simultanément remplies : l'étudiant doit avoir
obtenu au moins le niveau Maîtrisé (M) dans tous les critères (structure, rigueur, plausibilité, nuance et français)
avoir atteint le niveau Étendu (E) dans au moins trois de ces critères.
Si les conditions d'excellence ne sont pas atteintes (minimum M partout avec trois E), le niveau est alors déterminé par la moyenne globale selon des seuils précis : un résultat inférieur ou égal à 40% correspond au niveau Insuffisant (I), un résultat entre 40% et 65% correspond au niveau Développement (D), un résultat entre 65% et 85% correspond au niveau Maîtrisé (M).
Au niveau D, un étudiant n'est pas en situation d'échec mais plutôt en phase active de développement de ses compétences. Cette zone large de développement (25 points de pourcentage) valorise les efforts et les progrès, même si la maîtrise n'est pas encore atteinte. Le niveau Maîtrisé (M) crée une zone intermédiaire qui encourage la progression vers la maîtrise tout en reconnaissant que le développement des compétences est toujours en cours. Cette structure incite les étudiants à persévérer au-delà du simple «passage» du cours, puisque la zone de développement s'étend significativement au-dessus du seuil traditionnel de réussite de 60%. Le niveau Étendu (E), attribué uniquement quand l'étudiant démontre une maîtrise (M) minimale dans tous les critères et une excellence (E) dans au moins trois d'entre eux, reconnaît une très forte maîtrise des compétences.
Certes, le traitement dans le tableur implique forcément des notes chiffrées, mais celles-ci ne sont pas utiles à l’élève pour le développement de son apprentissage. Ce qui est vraiment important, c’est le message que lui renvoie le diagnostic de l’enseignant.
Contrairement à une notation chiffrée liée à une moyenne de groupe et des écarts, la notation par codes est moins axée sur la comparaison entre les étudiants. Surtout, elle permet de produire une rétroaction ciblée.
Une boucle continue d'apprentissage
Bien que la mise en place initiale demande du temps, considérant l’effet qu’elle peut avoir, disons que cette rétroaction automatisée est un investissement plutôt payant. En travaillant toujours avec les mêmes critères, l’enseignant·e est en mesure de les ajuster régulièrement et de les rendre plus «universels» et applicables à tous les travaux. De leur côté, les élèves les comprennent de mieux en mieux et se les approprient tout autant. La méthode est efficace pour identifier de manière longitudinale les critères qui se révèlent les mieux maitrisés ou non.
L’enseignant·e, tout comme l’élève, peut tout aussi bien constater un problème récurrent de structure, de nuance ou de plausibilité. La récurrence a ceci de bon qu’elle permet de confirmer les forces et les faiblesses, et elle permet de fixer des objectifs concrets et ciblés. Comme on le verra dans une prochaine chronique, en analysant la matrice principale, l’IA est en mesure de voir des patterns dans l’apprentissage et parfois les blocages qui surgissent et qui indique l’urgence d’une intervention.
Si la note chiffrée est généralement pauvre en information, cette pratique permet au contraire de retourner à l’élève une rétroaction très spécifique et orientée vers l'amélioration, car on est en mesure de générer un commentaire descriptif détaillé de 200 à 350 mots qui correspond assez bien au travail de chaque élève. On pourrait bien sûr créer une rétroaction à partir d’une plage de notes chiffrées, mais l’intérêt de la notation non chiffrée est d’éviter la comparaison à une moyenne de groupe, amenuisant ainsi la compétition entre élèves et le stress associé (nous y reviendrons dans une autre chronique).
À partir de ces pistes, il est donc possible de créer un environnement d'apprentissage qui est dynamique et engageant. Les étudiants reçoivent un feedback fréquent et précis, leur permettant de voir clairement leur progression et les aspects à améliorer, et cette boucle de rétroaction transforme l'enseignement et l’apprentissage en un processus très interactif, ancré dans des compétences concrètes et observables de part et d’autre. C’est très motivant, parce que l’apprentissage est visible, autant par l’enseignant que par l’élève.
Lors d'une évaluation de la première phase de ce projet pilote par les élèves à l’hiver 2024 (n=44), il s'est avéré que 95% d'entre eux et elles trouvaient les rétroactions éclairantes et utiles pour leur apprentissage. À l’automne suivant, à la question «L'enseignant corrige les erreurs commises par les étudiants dans leurs travaux», les élèves (n=41) ont répondu oui à 97,6%.
Si l'IA pourra certainement automatiser ce processus à l'avenir, la méthode actuelle, bien qu'artisanale, atteint efficacement nos objectifs d'engagement et de résilience. La prochaine chronique explorera d'autres apports de l'IA générative dans la création de matériel pédagogique.
[Publié le 8 octobre 2024 | révisé le 26 décembre 2024]
Références
BIGGS, John B. & Kevin F. Collis (1982), Evaluating the Quality of Learning ; The SOLO Taxonomy (Structure of the Observed Learning Outcome). Elsevier Inc.