# 29 | Évaluer la qualité de l'apprentissage

Comprendre et appliquer la taxonomie SOLO

Nous avons déjà brièvement abordé, dans une chronique antérieure, la taxonomie SOLO (Structure of the Observed Learning Outcome) développée par John B. Biggs et Kevin F. Collis dans les années 1980. Cet outil est très utile pour évaluer la qualité des apprentissages. Cette approche répond au besoin de dépasser les limites des évaluations traditionnelles qui se concentrent principalement sur l'aspect quantitatif de l'apprentissage (le «combien») pour mieux cerner son aspect qualitatif (le «à quel point bien»). Allons maintenant plus en profondeur.

Trois dimensions complémentaires

La taxonomie SOLO propose d'observer, dans l'évaluation, des niveaux de complexité croissante qui se caractérisent par trois dimensions : la capacité de mémoire de travail requise, les opérations de mise en relation entre les éléments et le degré de cohérence de la réponse. Sa validité a été démontrée par de nombreuses recherches qui révèlent notamment que les niveaux supérieurs sont associés à des capacités cognitives complexes et à une motivation intrinsèque pour l'apprentissage. Notre projet pilote confirme ce dernier point.

L'outil est remarquablement polyvalent, s'appliquant à diverses disciplines et types de tâches. Pour l'utiliser, l'enseignant·e décompose d'abord la tâche en composantes et identifie les critères caractérisant chaque niveau SOLO dans ce contexte spécifique. Cette taxonomie n'est pas une méthode d'enseignement en soi, mais plutôt un cadre d'analyse qui aide les enseignants à porter des jugements éclairés sur la qualité des apprentissages et à concevoir un enseignement favorisant une progression vers des niveaux de compréhension plus profonds.

Cinq niveaux de qualité

Biggs et Collis proposent 5 niveaux de qualité à l'apprentissage allant du quantitatif au qualitatif. Détaillons ici chaque niveau SOLO en l'illustrant spécifiquement dans le contexte de l'analyse littéraire au collégial.

1. Le niveau préstructurel se caractérise par une absence de compréhension réelle de la tâche. Dans une analyse littéraire par exemple, l'étudiant·e à ce niveau pourrait simplement raconter l'histoire sans analyse, paraphraser le texte sans distance critique, ou faire des commentaires personnels déconnectés du texte («j'aime/je n'aime pas»). On observe souvent des réponses tautologiques (un raisonnement circulaire) ou hors sujet. Par exemple, à la question «Comment l'auteur critique-t-il la société?», l'étudiant·e pourrait répondre «Il critique la société en la critiquant» ou parler de son opinion sur la société actuelle sans lien avec le texte.

   Exemple : Le texte parle d'une femme.

   Évaluation : L'élève ne possède pas encore la compréhension requise pour identifier les éléments appris.

   Note : I (insuffisant)

2. Au niveau unistructurel, l'étudiant·e saisit un seul aspect pertinent, mais reste très limité dans son analyse. Dans une dissertation, cela pourrait se manifester par la fixation sur un seul élément du texte (par exemple, uniquement les actions d'un personnage) sans considérer les autres aspects significatifs. Les paragraphes sont souvent courts et peu développés, s'appuyant sur une seule citation ou un seul exemple, sans établir de liens avec d'autres éléments du texte. L'argumentation reste très simple et linéaire.

   Exemple : Le texte parle de Marine. Elle travaille dans un bar.

   Évaluation : L'élève peut identifier des idées, des formes, des faits ou des caractéristiques isolés.

   Note : I (incomplet)

3. Le niveau multistructurel montre une progression, car l'étudiant·e identifie plusieurs éléments pertinents, mais ne les relie pas entre eux. Dans une analyse littéraire, on verrait plusieurs observations valides sur le texte, plusieurs citations bien choisies, mais juxtaposées plutôt qu'articulées les unes aux autres. Par exemple, l'étudiant·e pourrait identifier plusieurs procédés littéraires, mais les traiter séparément sans montrer comment ils contribuent ensemble à créer un effet particulier. Les paragraphes peuvent être bien construits individuellement, mais la transition logique manquerait entre eux et ne montre pas leur continuité. Les mini-conclusions auraient du mal à relier les idées secondaires du paragraphes. C'est comme avoir les pièces du puzzle sans voir l'image d'ensemble.

   Exemple : Le texte parle de Marine qui travaille dans un bar. Elle écoute les clients. Elle comprend leurs problèmes. Elle est aussi forte et indépendante.

   Évaluation : L'élève est capable de décrire plusieurs éléments, mais sans nécessairement les relier entre eux.

   Note : D (en développement)

4. Au niveau relationnel, l'étudiant·e intègre les différents éléments en un tout cohérent. Dans une dissertation, cela se traduit par une argumentation qui montre comment les différents aspects du texte s'articulent pour créer du sens. Les citations et exemples ne sont pas simplement présentés, mais analysés en profondeur, mis en relation les uns avec les autres. L’étudiant est capable de faire des comparaisons et de relever les ressemblances et les différences entre les éléments. L'étudiant·e peut expliquer comment les choix stylistiques servent le propos de l'auteur, comment la forme appuie l’HOC. Le texte est analysé comme un système où chaque mécanisme et procédé joue un rôle dans l'ensemble. Les mini-conclusions présentent les liens entre les idées secondaires. La transition entre les paragraphes est logique et significative.

   Exemple : Le texte présente Marine comme une femme forte et indépendante, ce qui est illustré par sa capacité à gérer seule le bar et à faire face aux clients difficiles. Son écoute attentive des clients montre qu'elle comprend leurs difficultés, ce qui explique pourquoi elle est comparée à une mère pour beaucoup d'entre eux. Cette image maternelle contraste avec les préjugés habituels sur les serveuses de bar, illustrant ainsi la volonté de l'auteur de déconstruire ces stéréotypes.

   Évaluation : L'élève interprète les idées en établissant des liens entre elles, faisant des inférences et des comparaisons.

   Note : M (maîtrisé)

5. Le niveau abstrait étendu, un peu moins fréquent au niveau collégial, se caractérise par la capacité à dépasser le cadre immédiat du texte pour établir des liens pertinents avec d'autres œuvres, d'autres concepts, ou des principes plus généraux. L'étudiant·e peut proposer plusieurs interprétations valides du texte, reconnaître ses ambiguïtés. L'analyse n'est pas «fermée» sur une seule interprétation, elle explore différentes possibilités de sens. Par exemple, l'étudiant·e pourrait montrer comment un même mécanisme littéraire peut produire des effets différents, ou comment le texte dialogue avec d'autres œuvres ou traditions littéraires. Les mini-conclusions aboutissent à des déductions ou des observations d’ensemble qui sont nuancées et pertinentes.

   Exemple : La description de Marine dans ce texte nous amène à réfléchir sur les stéréotypes de genre et de classe sociale dans notre société. On peut en déduire que l'auteur cherche à montrer comment les jugements hâtifs masquent souvent des réalités complexes et des individus aux multiples facettes. Cette analyse pourrait s'appliquer à d'autres contextes sociaux où les préjugés persistent, suggérant que la littérature a le pouvoir de nous faire remettre en question nos perceptions préconçues. Dans un cadre plus large, cela soulève des questions sur la façon dont nous percevons et valorisons différents types de travail dans notre société.

   Évaluation : L'élève génère de nouvelles idées, fait des déductions, des généralisations et présente des interprétations originales.

   Note : E (étendu / enrichi)

Un·e même étudiant·e peut manifester des niveaux SOLO différents selon les tâches ou les moments. L'objectif n'est pas d'étiqueter l'étudiant·e mais bien d'identifier où il se situe dans son apprentissage pour mieux l'accompagner vers des niveaux supérieurs de compréhension.

SOLO et pratique alternative de notation

L'évaluation formative a une visée d'amélioration continue. Elle fait partie intégrante du processus d'instruction et permet d'identifier où se situent les difficultés pour ajuster l'enseignement en conséquence. Si un·e étudiant·e n'atteint pas les objectifs visés, l'évaluation formative aide à comprendre pourquoi (concepts mal maîtrisés, difficultés avec certaines compétences spécifiques, etc.) pour pouvoir intervenir de manière ciblée. Quand elle est critériée, l'évaluation mesure la performance d'un·e étudiant·e par rapport à des critères prédéfinis, indépendamment des autres étudiants. On pourrait prendre pour exemple l’examen du permis de conduire : soit on atteint le standard requis, soit non.

La taxonomie SOLO s'inscrit naturellement dans une approche critériée et formative, pour plusieurs raisons :

1. Elle décrit des niveaux de compréhension qualitativement distincts qui peuvent servir de critères clairs pour évaluer la progression.

2. Elle permet d'identifier précisément où se situe un étudiant dans sa progression et ce qui lui manque pour atteindre le niveau suivant.

3. Elle met l'accent sur la qualité de l'apprentissage plutôt que sur la simple quantité de connaissances.

4. Elle reconnaît que le même étudiant peut manifester différents niveaux selon les tâches et les moments, encourageant une vision dynamique de l'apprentissage.

La taxonomie SOLO s'avère appropriée pour une approche alternative de notation axée sur le processus et la rétroaction pour plusieurs autres raisons :

1. Les niveaux SOLO fournissent un langage clair pour décrire la progression qui peut être partagé avec les étudiants, facilitant l'auto-évaluation et la métacognition.

2. Cette taxonomie permet une rétroaction très spécifique sur ce qui caractérise le niveau actuel de l'étudiant·e et ce qui serait nécessaire pour progresser.

3. L'accent mis sur la qualité plutôt que la quantité s'aligne bien avec une approche qui valorise la profondeur de la compréhension plutôt que la performance chiffrée.

4. Le modèle reconnaît explicitement les phases de transition entre les niveaux, permettant de valoriser les progrès même quand ils ne sont pas encore complètement stabilisés.

5. L'approche par niveaux qualitatifs se prête naturellement à une notation non chiffrée qui décrirait le niveau de maîtrise atteint plutôt que d'assigner un score numérique.

Alignement constructif

SOLO permet d'opérationnaliser concrètement les objectifs qualitatifs d'apprentissage. Au lieu de formuler des objectifs vagues ou purement quantitatifs, l'enseignant·e peut spécifier précisément le niveau de complexité structurelle visé pour chaque compétence. Par exemple, plutôt que de simplement dire qu'un·e étudiant·e doit «comprendre» un concept, on peut préciser s'il doit atteindre une compréhension unistructurelle (identifier un aspect), multistructurelle (reconnaître plusieurs aspects) ou relationnelle (intégrer les aspects en un tout cohérent).

Ensuite, SOLO fournit un cadre pour analyser systématiquement les tâches d'évaluation. l'enseignant·e peut décomposer chaque tâche en composantes et déterminer quelles combinaisons de ces composantes correspondent à chaque niveau SOLO. Cette analyse permet de s'assurer que les évaluations mesurent véritablement les niveaux de compréhension visés dans les objectifs.

Un aspect important est que SOLO aide à adapter le niveau d'exposition au niveau actuel des élèves. Les auteurs recommandent d'utiliser la stratégie du «plus un» : enseigner à un niveau juste au-dessus du niveau actuel des élèves. Si la majorité de la classe donne des réponses unistructurelles ou multistructurelles, il serait contre-productif d'enseigner directement au niveau abstrait étendu. Cette progression graduelle assure que l'enseignement reste dans la zone proximale de développement des élèves.

SOLO guide également la séquence d'enseignement en suggérant de procéder du concret vers l'abstrait. Les composantes de «premier ordre» (règles spécifiques, procédures concrètes) devraient être enseignées avant les composantes de «second ordre» (principes généraux, concepts intégrateurs). Cette progression reflète la façon dont la compréhension se construit naturellement, du simple au complexe.

Un autre aspect important est que SOLO permet d'identifier les connaissances préalables nécessaires. Puisque les niveaux supérieurs incorporent et s'appuient sur les niveaux inférieurs, l'enseignant·e peut déterminer quelles bases doivent être maîtrisées avant d'introduire des concepts plus avancés. Cela aide à aligner le cours de manière cohérente et progressive.

Développement et métacognition

Les travaux de Biggs et Collis fournissent un langage commun pour communiquer les attentes aux élèves. En rendant explicites les différents niveaux de compréhension et leurs caractéristiques, on permet aux élèves de mieux comprendre ce qui est attendu d'eux et comment progresser. Cette transparence est essentielle pour développer la métacognition.

La taxonomie SOLO ne se contente pas d'aligner mécaniquement objectifs et évaluation — elle fournit un cadre conceptuel cohérent qui guide l'ensemble du processus pédagogique, de la planification à l'évaluation en passant par l'enseignement. Cette approche systémique aide à créer un environnement d'apprentissage où chaque élément soutient et renforce les autres. Je crois que la taxonomie SOLO présente une «mentalité de développement» (growth mindset) de l'éducation où la qualité de l'apprentissage prime sur la simple quantification.

Malgré sa pertinence et sa robustesse théorique démontrée depuis 1982, la taxonomie SOLO reste relativement méconnue comparée à la taxonomie de Bloom. Cette situation paradoxale s'explique peut-être par la prédominance de la notation quantitative traditionnelle. Adopter SOLO implique un changement de paradigme : passer d'une évaluation centrée sur la mesure à une évaluation axée sur la qualité de l'apprentissage. Ce changement demande non seulement une transformation des pratiques, mais aussi une évolution des mentalités, tant chez les enseignants que chez les élèves habitués à la «logique comptable» de l’évaluation.

Dans un contexte où l'intelligence artificielle remet en question nos pratiques traditionnelles d'évaluation, la taxonomie SOLO offre certainement un cadre permettant de valoriser et développer des compétences : la capacité à établir des liens, à nuancer sa pensée, à généraliser au-delà du contexte immédiat. Son adoption plus large pourrait contribuer à une démocratisation effective du savoir en rendant explicites les attentes souvent tacites du système éducatif.

Références :

BIGGS, John B. & Kevin F. Collis (1982). Evaluating the Quality of Learning ; The SOLO Taxonomy (Structure of the Observed Learning Outcome). Elsevier Inc.