Algoritmo de resultados de exámenes ofqual - Ofqual exam results algorithm

Parte de una serie sobre
Algocracia
AlgorithmicGovernance.svg
Ejemplos de
Ver también: Controversia de calificación de nivel A y GCSE del Reino Unido de 2020

En 2020, Ofqual , el regulador de calificaciones, exámenes y pruebas en Inglaterra, elaboró ​​un algoritmo de estandarización de calificaciones para combatir la inflación de calificaciones y moderar las calificaciones pronosticadas por los maestros para las calificaciones de nivel A y GCSE en ese año, después de que se cancelaran los exámenes como parte de la respuesta a la pandemia de COVID-19 .

Historia

A finales de marzo de 2020, Gavin Williamson Secretaría de Estado de Educación en Boris Johnson conservador gobierno instruyó a la cabeza de Ofqual, de Sally Collier , a "garantizar, en la medida de lo posible, que se mantienen los estándares de calificación y la distribución de las calificaciones sigue un perfil similar al de años anteriores ". El 31 de marzo, emitió una dirección ministerial en virtud de la Ley de Niños y Aprendizaje de 2009.

Luego, en agosto, el 82% de las calificaciones de 'A level' se calcularon utilizando un algoritmo ideado por Ofqual. Más de 4,6 millones de GCSE en Inglaterra, aproximadamente el 97% del total, fueron asignados únicamente por el algoritmo. Se tomaron en consideración las clasificaciones de los maestros, pero no las calificaciones evaluadas por los maestros enviadas por las escuelas y universidades.

El 25 de agosto de 2020, Sally Collier, quien supervisó el desarrollo del cálculo del algoritmo de Williamson, renunció al cargo de regulador jefe de Ofqual tras la creciente presión.

Cualificaciones vocacionales

El algoritmo no se aplicó a las calificaciones profesionales y técnicas (VTQ), como las BTEC , que se evalúan en el trabajo de curso o cuando se completan módulos cortos, y en algunos casos se realizaron evaluaciones adaptadas. Sin embargo, debido al alto nivel de inflación de calificaciones resultante de la decisión de Ofqual de no aplicar el algoritmo a los niveles A y GCSE, Pearson Edexcel , el examinador de BTEC, decidió cancelar la publicación de los resultados de BTEC el 19 de agosto, el día antes de su fecha de vencimiento. que se publiquen, para permitir que se moderen de nuevo de acuerdo con la inflación de calificaciones de Ofqual.

El algoritmo

El modelo Direct Center Performance de Ofqual se basa en el registro de cada centro (escuela o universidad) en la materia que se evalúa. Los detalles del algoritmo no se publicaron hasta después de los resultados de su primer uso en agosto de 2020, y luego solo en parte.

Sinopsis
El centro de exámenes proporcionó una lista de las calificaciones previstas por el maestro, llamadas 'calificaciones evaluadas por el centro' (CAG)
Los estudiantes se enumeraron en orden de clasificación sin empates.
Para grandes cohortes (más de 15)
Con exámenes con una gran cohorte; Se consultaron los resultados previos del centro. Para cada uno de los tres años anteriores, se anota el número de estudiantes que obtuvieron cada calificación (A * a U). Se toma un promedio porcentual.
Esta distribución se aplica luego a los estudiantes del año actual, independientemente de su CAG individual.
Se podría realizar un ajuste de estandarización adicional sobre la base de datos históricos personales anteriores: en el nivel A, esto podría ser un resultado de GCSE, en GCSE podría ser un SAT de etapa clave 2 .
Para cohortes pequeñas y exámenes de intereses minoritarios (menores de 15 años).
El CAG individual se usa sin cambios
Las fórmulas
para grandes escuelas con
para escuelas pequeñas con
Las variables
es el número de alumnos de la asignatura que se evalúa
es un grado específico
indica la escuela
es la distribución histórica de calificaciones en la escuela (centro) durante los últimos tres años, 2017-19.
es la distribución de calificaciones prevista basada en el logro previo de la clase en GCSE. Una clase con mayoritariamente 9 (la máxima nota) en GCSE obtendrá muchas A * s previstas; una clase con principalmente 1 en GCSE obtendrá muchos de nosotros predichos.
es la distribución de calificaciones prevista de los años anteriores, basada en sus GCSE. Necesita saber eso porque, si se pronosticó que los años anteriores tuvieron un desempeño pobre y bueno, entonces este año podría hacer lo mismo.

es la fracción de alumnos de la clase en la que se dispone de datos históricos. Si puede rastrear perfectamente cada resultado de GCSE, entonces es 1; si no puede rastrear ninguno, es 0 .
CAG es el grado evaluado por el centro.
es el resultado, que es la distribución de grados para cada grado en cada escuela .

Se pidió a las escuelas que hicieran un juicio justo y objetivo de la calificación que creían que un estudiante habría logrado, pero además de clasificar a los estudiantes dentro de cada grado . Esto se debió a que el proceso de estandarización estadística requería información más granular que la calificación por sí sola. Algunas juntas examinadoras emitieron orientaciones sobre el proceso de formación del juicio que se utilizaría en los centros, donde varios profesores impartían una asignatura. Este debía presentarse el 29 de mayo de 2020.

Para los estudiantes de nivel A, su escuela ya había incluido una calificación prevista como parte de la referencia de solicitud de la universidad UCAS . Esto se envió antes del 15 de enero (15 de octubre de 2019 para Oxbridge y medicina) y se compartió con los estudiantes. Esta calificación prevista de UCAS no es la misma que la calificación prevista de Ofqual .

La forma normal de probar un algoritmo predictivo es ejecutarlo con los datos del año anterior: esto no fue posible porque el orden de clasificación de los maestros no se recopiló en años anteriores. En cambio, las pruebas utilizaron el orden de clasificación que surgió de los resultados finales de 2019.

Efectos del algoritmo

Las calificaciones de nivel A se anunciaron en Inglaterra, Gales e Irlanda del Norte el 13 de agosto de 2020. Casi el 36% fueron más bajas que las evaluaciones de los profesores (el CAG) y el 3% bajaron dos calificaciones.

Efectos secundarios del algoritmo

Los estudiantes de escuelas pequeñas o que tomen asignaturas minoritarias, como las que se ofrecen en las escuelas privadas pequeñas, podrían ver que sus calificaciones son más altas que las predicciones de sus maestros. Estos estudiantes tradicionalmente tienen un rango más estrecho de calificaciones, ya que los estudiantes más débiles han sido invitados a retirarse. Los estudiantes de las grandes escuelas estatales, las universidades de sexto grado y las universidades FE que tienen políticas de acceso abierto e históricamente han educado a estudiantes BAME o estudiantes vulnerables vieron caer sus resultados, por lo que encajó con la curva de distribución histórica.

Los estudiantes encontraron que el sistema era injusto y se presionó a Williamson para que explicara los resultados y revertiera su decisión de utilizar el algoritmo que había encargado y que Ofqual había implementado. El 12 de agosto, Williamson anunció 'un bloqueo triple' que permitía a los estudiantes apelar el resultado utilizando un resultado falso válido indefinido. Pero el sábado 15 de agosto se publicó el consejo y se establecieron ocho condiciones que diferían de la declaración de los ministros. Suspendieron el sistema a última hora de la noche. A las 16.00 horas, lunes 17 de agosto, Ofqual acepta que los estudiantes obtengan la calificación CAG, en lugar de la calificación prevista por el algoritmo.

UCAS dijo el miércoles 19 de agosto que 15,000 alumnos fueron rechazados por su universidad de primera elección en las calificaciones generadas por el algoritmo. Después de la decisión de Ofqual de utilizar las predicciones no moderadas del profesor el martes 18 de agosto, el alumno afectado obtuvo las calificaciones para cumplir con su oferta y volvió a aplicar. El 90% de ellos tiene como objetivo estudiar en universidades de primer nivel. El efecto dominó es que las universidades de primer nivel ahora tienen un problema de capacidad.

La Royal Statistical Society dijo que se habían ofrecido a ayudar con la construcción del algoritmo, pero retiraron esa oferta cuando vieron la naturaleza del acuerdo de no divulgación que debían firmar. Ofqual no estaba dispuesto a discutirlo y retrasó la respuesta 55 días.

Opinión legal

Lord Falconer , un ex fiscal general , opinó que se habían violado tres leyes y dio un ejemplo de dónde Ofqual había ignorado una instrucción directa del Secretario de Estado de Educación.

Falconer dijo que la fórmula para estandarizar las calificaciones viola los objetivos generales bajo los cuales Ofqual fue establecido por la Ley de Aprendizaje, Habilidades, Niños y Aprendizaje de 2009 . Los objetivos requieren que el sistema de calificación brinde una indicación confiable del conocimiento, las habilidades y la comprensión del estudiante , y que permita realizar comparaciones confiables con los estudiantes que toman exámenes calificados por otras juntas y con estudiantes que tomaron exámenes comparables. en años anteriores.

El Partido Laborista está sugiriendo que es ilegal, ya que a los estudiantes no se les dio un mecanismo de apelación, afirmando: "Habrá una masa de impactos discriminatorios al operar el proceso sobre la base de reflejar los resultados de años anteriores de sus instituciones", y "Está destinado a poner en desventaja a toda una gama de grupos con características protegidas, en violación de una serie de leyes contra la discriminación".

Ver también

Referencias

enlaces externos