Examen demi-tour : derrière l'algorithme qui a déclenché le chaos des notes de niveau A
Les «graines du désastre politique» semées dans une lettre envoyée par Gavin Williamson alors que le verrouillage a été annoncé en mars
Les «graines du désastre politique» semées dans une lettre envoyée par Gavin Williamson alors que le verrouillage a été annoncé en mars
Chris J Ratcliffe/Getty Images
Alors que la colère éclatait après la publication des notes de niveau A la semaine dernière, le Premier ministre Boris Johnson a insisté sur le fait que les résultats étaient solides, bons et fiables pour les employeurs.
Mais quelques jours plus tard, à la suite du retrait soudain par l'Ofqual des critères d'appel des notes, le gouvernement a été contraint à un revirement embarrassant, les résultats devant désormais être basés sur les prédictions des enseignants plutôt que sur celles d'un algorithme controversé.
Le système automatisé a été utilisé dans le but d'éviter ce que le secrétaire à l'Éducation, Gavin Williamson, a décrit comme une inflation galopante des notes dans le contexte de la pandémie de coronavirus et des examens annulés. Mais qui a inventé l'algorithme, qui pourrait finir par coûter à Williamson son poste au cabinet ?
Des circonstances sans précédent
Les graines du désastre politique ont été semées le jour où le verrouillage est entré en vigueur, lorsque Williamson a averti dans une lettre à Ofqual qu'éviter l'inflation des notes était une priorité, Les temps rapports.
Ofqual devrait s'assurer, dans la mesure du possible, que les normes de qualification sont maintenues et que la distribution des notes suit un profil similaire à celui des années précédentes, a déclaré Williamson au régulateur des examens.
Autrement dit, précise le journal, malgré le fait que les élèves ne se présenteraient pas aux examens, le gouvernement a voulu traiter la promotion 2020 comme celle des années précédentes. Les A-levels étaient considérés comme le « gold standard » du système éducatif et ne devaient pas être dévalués.
Mais en chargeant le régulateur des examens de souscrire une police d'assurance sous la forme de son algorithme malheureux, cette volonté de plafonner l'inflation des notes est allée trop loin, ajoute le BBC .
Qu'est ce qui ne s'est pas bien passé?
A la demande du secrétaire à l'éducation, les statisticiens du régulateur se sontconcevoir un système de remise des notescela n'a pas permis aux résultats des examens d'augmenter par rapport aux années précédentes, explique Jo-Anne Baird, professeur d'évaluation pédagogique à l'Université d'Oxford et membre du comité consultatif d'Ofqual.
Le problème, c'est que dans le cas de la classe du Covid, le souci de maintenir les normes avait un prix trop élevé, selon la BBC.
Un total de 39% des résultats de niveau A publiés jeudi dernier ont été dégradés , et les élèves des quartiers défavorisés ont été les plus touchés de manière disproportionnée, selon Technologie de la Nouvelle-Écosse , une division du New Statesman.
L'algorithme prédit les notes après avoir reçu divers bits de données.
Le premier était la note prédite par l'enseignant pour chaque élève en fonction de ses performances en classe et des examens blancs, explique le site d'information. Mais cela a été jugé insuffisant en soi, de sorte que les enseignants ont également été invités à classer chaque élève du plus haut au plus bas en termes de note attendue.
Les écoles se sont lancées dans la tâche d'évaluation, ajoute le Times, les chefs de département dirigeant des réunions au cours desquelles les enseignants ont défendu la cause de leurs élèves.
Mais, dit le journal, il y avait un hic dans le système Ofqual. UNE rapport publié par le régulateur la semaine dernière a révélé que les notes attribuées par les enseignants n'étaient prioritaires que dans les classes de moins de 15 élèves - un système qui favorisait les écoles privées avec des classes plus petites.
En revanche, pour les élèves des grandes écoles, les notes étaient beaucoup plus influencées par les performances historiques de l'école et le classement de leur enseignant que leurs notes prédites, ajoute NS Tech.
Cet écart explique le nombre disproportionné d'étudiants d'écoles qui n'envoient généralement pas d'élèves dans les meilleures universités du Royaume-Uni et qui ont vu leurs notes prédites considérablement dégradées.
Un système plus juste était-il possible ?
Selon Les temps Pour le rédacteur scientifique Tom Whipple, créer un algorithme équitable revient à essayer de faire bouillir un œuf, c'est-à-dire impossible.
Le problème, écrit Whipple, est que lorsque les gens extrapolent à partir de données démographiques pour faire des prédictions sur des individus... vous pouvez finir par faire toutes sortes d'erreurs contre-intuitives, surprenantes et parfois absurdes.
C'est ce qui a mal tourné avec un algorithme si fortement basé sur les résultats historiques d'une école, soutient-il. De toute évidence, ce sera injuste envers les enfants exceptionnels dans les écoles non exceptionnelles, tandis qu'à l'inverse, ce sera trop gentil envers les enfants non exceptionnels dans les écoles exceptionnelles.
Sam Freedman, PDG de l'organisation non gouvernementale Education Partnerships Group, est d'accord avec ce verdict. L'algorithme allait inévitablement toucher les élèves aberrants qui étaient en tête de la distribution dans les écoles qui n'avaient pas eu beaucoup de très bons élèves dans le passé, a-t-il déclaré. tweets .
Mais, ajoute Freedman, la décision du gouvernement de n'utiliser que les notes prédites par les enseignants est également injuste pour les élèves des écoles qui ont noté avec prudence, injuste pour les cohortes passées / futures et a créé une loterie pour les universités.
Et le revirement peut arriver trop tard pour certains étudiants, de nombreuses universités affirmant que les cours de la prochaine année universitaire sont déjà complets.
Quant à l'algorithme, les statistiques sont par définition un moyen de représenter de nombreux nombres en moins de nombres, dit Whipple.
C'est extrêmement utile, mais nous devons savoir ce que cela signifie : oublier l'individu.
