Docimologie: l’évaluation en question

Docimologie: l’évaluation en question

Science des examens et des concours, la docimologie, de « dokimè » (épreuve) et « logos » (science) trouve son origine dans les travaux sur la validité des systèmes de notation du psychologue français Henri Piéron. C’est en 1922 qu’il propose le concept et lance des recherches autour des résultats du certificat d’études primaires. Celles-ci seront popularisées par son ouvrage Examens et docimologie publié en 1963, suivi en 1971 par le Précis de docimologie de Gilbert Landsheere. Ces travaux fondateurs évoquent, de manière originale, le comportement « des examinés et des examinateurs » afin de nous faire prendre conscience des biais et des incertitudes qui pèsent sur les notations et les évaluations. La préoccupation est pourtant loin d’être nouvelle. L’invention même de la note est le fruit d’une longue histoire. Alors que les États-Unis se dirigent dès 1910 vers l’évaluation via les QCM, en France on préfère conserver l’évaluation classique des examens avec des réponses rédigées.

par Nadir Altinok
Maître de conférences, IUT de Metz, UMR BETA, Université de Lorraine

Claude Diebolt
Directeur de Recherche au CNRS, UMR BETA, Université de Strasbourg dans The Conversation

Comment fait-on pour juger une copie d’examen ? Qu’en est-il de la pertinence des notes en cas de répétition de l’examen ou de changement d’examinateurs ? Répondre à ces questions renvoie précisément aux travaux fondateurs de la docimologie. Ils montrent, à partir d’une analyse de la variance, que la part de l’explication d’une note serait liée, à hauteur de 40 %, aux compétences de l’élève. En corollaire, 60 % résulteraient de l’identité de l’examinateur.

Si la méthode utilisée par ces travaux précurseurs est critiquable, ils soulignent néanmoins toute l’ambiguïté entourant la justification d’une note. Henri Piéron ira même jusqu’à dire que « pour prédire la note d’un candidat, il vaut mieux connaître son examinateur que lui-même ! »

Quant aux psychologues Laugier et Weinberg, ils tenteront de déterminer le nombre de corrections nécessaires pour aboutir à une note qui soit « juste ». Ce faisant, mobilisant la formule de Spearman-Brown, ils aboutiront au constat, qu’en philosophie par exemple, il faudrait 127 correcteurs pour aboutir à une note équitable.

Cette polémique sur la difficile notation des copies se retrouve régulièrement en première ligne lors des corrections du baccalauréat. Une recherche de 2008 ira même jusqu’à évoquer une sorte de loterie des notes au bac.

En fait, au-delà des polémiques, la docimologie soulève une question majeure. Les notes d’une classe doivent-elles, comme il est très souvent le cas, correspondre à une distribution de Gauss, c’est-à-dire avec quelques élèves « faibles », quelques élèves « forts » et la grande majorité des élèves dans la « moyenne », à l’image de la tyrannie de la Loi Normale qui a régné au Japon entre 1955 et 2000 ?

Un dilemme de taille renvoie en effet, quasi systématiquement, à la moyenne des notes qui induit inévitablement une forme de hasard. Une moyenne trop élevée pourrait signifier une mauvaise appréciation du niveau des élèves, tandis que l’inverse pourrait suggérer des critères de notation trop stricts. Mais, si la majorité des élèves ont une note entre 8 et 12, à quoi bon utiliser une échelle de notation de 0 à 20 ?

Au-delà des moyennes, le bon sens impose de prendre en compte, avec plus d’attention, l’écart-type, c’est-à-dire l’étendue des notes, de la plus basse à la plus haute. Ce faisant, il est aisé d’imaginer qu’une matière d’enseignement pourrait avoir une influence déterminante sur la moyenne générale dès lors que l’écart-type des notes serait plus élevé que celui des autres matières enseignées.

En définitive, quelle est donc la finalité d’une note ? S’agit-il d’apprécier le niveau de compétence et les savoirs des élèves à un instant T, ou d’employer la notation tel un outil afin de classer, si ce n’est de filtrer les élèves, dans l’idée d’aboutir à une allocation optimale des talents dans la société ?