|
Puntuación automatizada de ensayosLa puntuación automatizada de ensayos (PAE) es el uso de programas informáticos especializados para asignar notas a los ensayos escritos en un ámbito educativo. Es una forma de valoración educativa y una aplicación de procesamiento de lenguaje natural. Su objetivo es clasificar un gran conjunto de textos en una pequeña cantidad de categorías, correspondiendo a las posibles calificaciones, por ejemplo, de los números 1 a 6. En este caso, el disminuir el tamaño puede ser considerado un problema de clasificación estadística. Varios factores han despertado un interés creciente para el uso de las PAE. Entre ellos están: el coste, la responsabilidad, los estándares, y la tecnología. El aumento de costes en la educación ha hecho presión sobre el sistema educativo para que establezca estándares a la hora de evaluar. Los avances tecnológicos de la información miden resultados educativos a un coste reducido. El uso de PAE para pruebas con grandes consecuencias en la educación ha generado una reacción violenta significativa, ya que los oponentes señalan que los ordenadores no pueden todavía puntuar con precisión y argumentando que su uso para tales propósitos promueve enseñar escritura de manera reducida (i.e. enseñando para la prueba). HistoriaLa mayoría de resúmenes históricos de PAE se encuentran en el trabajo de Ellis Batten Page. En 1966, discutió[1] por la posibilidad de puntuar ensayos por ordenador, y en 1968 publicó[2] su exitoso proyecto llamado Project Essay Grade (PEG). Utilizando la tecnología de aquel tiempo, la puntuación informatizada del ensayo no habría sido rentable,[3] así que Page redujo sus esfuerzos durante dos décadas. Finalmente, Page vendió PEG a Measurement Incoporated. En 1990, los ordenadores de sobremesa habían llegado a ser tan potentes y tan extendidos que PAE era una posibilidad práctica. A principios de 1982, un programa de UNIX llamado Writer´s Workbench era capaz de ofrecer puntuación, ortografía y consejos gramaticales.[4] En colaboración con varias empresas (sobre todo Educational Testing Service), Page actualizó PEG y realizó algunas pruebas exitosas a principios de los 1990.[5] Peter Foltz y Thomas Landauer desarrollaron un sistema utilizando un motor de puntuación llamado Intelligent Essay Assessor (IEA). IEA fue primero utilizado para puntuar ensayos en 1997 para sus cursos de pregrado. Es ahora un producto de Pearson Educational Technologies y se utiliza para obtener calificaciones en el mercado de productos y en exámenes nacionales. IntelliMetric es un motor PAE de Vantage Learning. Su desarrollo empezó en 1996.[6] Se utilizó al principio comercialmente para puntuar ensayos en 1998.[7] Educational Testing Service ofrece "e-rater", un programa de puntuación automatizada de ensayos. Primero se utilizó comercialmente en febrero de 1999.[8] Jill Burstein era el dirigente de equipo en su desarrollo. El servicio de evaluación online Criterion de Educational Testing Service utiliza el motor e-rater para proporcionar ambas puntuaciones y retroalimentación específica. Lawrence Rudner ha hecho algún trabajo con puntuación bayesiana, y desarrolló un sistema llamado BETSY (Bayesian Essay Test Scoring sYstem). Algunos de sus resultados han sido publicados a papel u online, pero ningún sistema comercial incorpora BETSY aún. Bajo el liderazgo de Howard Mitzel y Sue Lottridge, Pacific Metrics desarrolló un motor de puntuación automatizado de respuesta, CRASE. Actualmente utilizado por varios Departamentos de Estado de Educación y en un Departamento de EE. UU. Y en la subvención de Evaluación Mejorada del Departamento, la tecnología de Pacific Metrics ha sido utilizada a gran escala en entornos formativos y de valoración desde 2007. Measurement Inc. adquirió los derechos de PEG en 2002 y ha continuado con su desarrollo. En 2012, Hewlett Foundation patrocina una competición en Kaggle llamada Automated Student Assessment Prize (ASAP). El intento era demostrar que PAE puede ser tan fiable como un evaluador humano, o incluso más. La competición también organizó una demostración aparte entre nueve proveedores PAE en un subconjunto de datos ASAP. Sin embargo los investigadores informaron que la puntuación automatizada de ensayos era tan fiable como la de un humano,[9] esta afirmación no estaba probada por ninguna evidencia estadística, porque algunos proveedores solicitaron que tales pruebas no se realicen como condición previa para participar en la demostración.[10] Además, la afirmación de Hewlett Study, demostró que PAE puede ser tan fiable como los evaluadores humanos, fue entonces cuando ha sido fuertemente cuestionado,[11][12] incluyendo alguna como la de Randy E. Bennett, Norman O. Frederiksen Chair in Assessment Innovation en el Educational Testing Service.[13] Algunas de las críticas más importantes del estudio fueron que cinco de los ocho datasets fueron párrafos más que ensayos, cuatro de los ocho datasets eran evaluados por lectores humanos que se centraban más en el contenido que en la habilidad de escritura, y eso en vez de medir a los lectores humanos y máquinas PAE frente a la "verdadera puntuación", la media de las puntuaciones de los dos lectores, el estudio empleó una construcción artificial, llamada "puntuación resuelta", el cual en cuatro datasets consistió en la más alta de las dos puntuaciones humanas si había un desacuerdo. Esta última práctica, en particular, dio a las máquinas una ventaja injusta por dejarles redondear hacia arriba para estos datasets.[11] En 1966, Page hipotetizó que, en el futuro, el juez computacional será mejor que se correlacione con cada juez humano, en vez de con todos los jueces que haya.[1] A pesar de criticar la aplicabilidad de este enfoque a la calificación de ensayos en general, esta hipótesis fue apoyada para calificar respuestas libres a preguntas cortas, tales como aquellos típicos del sistema británico GCSE.[14] Los resultados del aprendizaje supervisado demuestran que los sistemas automáticos actúan bien cuando las calificaciones de los diferentes profesores humanos son concordantes. El clustering no supervisado de las respuestas mostraron que los papeles excelentes y los papeles flojos formaron clusters bien definidos, y la regla de calificación automatizada para estos clusters funcionó bien, mientras que las calificaciones dadas por profesores humanos para el tercer cluster (‘mixed’), la fiabilidad de cualquier valoración de trabajos del cluster ‘mixed’ a menudo son cuestionados (ambos humano y computacional).[14] Diferentes parámetros en la calidad del ensayoSegún una encuesta reciente,[15] los sistemas PAE intentan puntuar variables diferentes de la calidad de un ensayo para proporcionar retroalimentación a los usuarios. Algunas de estas variables son las siguientes:
ProcedimientoDesde el principio, el procedimiento básico para el uso de las PAE ha sido empezar con un entrenamiento con ensayos cuidadosamente seleccionados.[16] El programa evalúa detalles superficiales de cada ensayo, como por ejemplo el número total de palabras, el número de cláusulas dependientes, o el porcentaje de letras en mayúscula y en minúscula, las cuales son cantidades que se pueden medir sin intuición humana. Posteriormente se construye un modelo matemático que relacione las cantidades evaluadas con la puntuación obtenida en cada ensayo. Con este modelo luego se calculará la puntuación de nuevos ensayos. Recientemente, Isaac Persing y Vincent Ng.[17] Crearon uno de estos modelos matemáticos, el cual no solo evalúa ensayos por los detalles anteriores, sino también en su fuerza argumental. Evalúa varias características del ensayo, como el nivel de acuerdo del autor y razones para el mismo, la conexión con el tema del trabajo, la ubicación de los componentes del argumento (reclamación importante, reclamación, premisa), errores en los argumentos, cohesión en los argumentos entre varias otras características. En contraste a los otros modelos mencionados antes, este modelo está más cerca de duplicar la comprensión humana al calificar ensayos. La diferencia entre los PAE reside en qué detalles están midiendo, cuántos ensayos se han necesitado para entrenar, y principalmente en qué modelo matemático se basan. En un inicio se usó regresión lineal. Los sistemas modernos pueden usar regresión lineal u otras técnicas de aprendizaje automático en combinación con técnicas estadísticas, como por ejemplo análisis semántico latente[18] e inferencia bayesiana. Criterios para el éxitoCualquier método de valoración debe ser evaluado para determinar su validez, precisión y fiabilidad.[19] Un instrumento es válido si realmente mide la característica que pretende medir. Es justo si este no penaliza ni otorga ningún privilegio a ninguna persona. Es fiable si su resultado se repite, incluso cuando los factores externos irrelevantes se ven alterados. Antes de que los ordenadores se metieran en la sociedad, la calificación de trabajos de grandes consecuencias, solía ser dada por dos humanos expertos en el tema. Si las puntuaciones difieren por más de un punto, un tercer experto más experimentado resolvería la diferencia. En este sistema, hay una manera fácil de medir la fiabilidad: por acuerdo entre evaluadores. Si los evaluadores no se ponen de acuerdo en ningún momento, puede haber un error en su entrenamiento. Si un evaluador discrepa consistentemente con cómo otros calificadores califican a los mismos ensayos, probablemente necesita más entrenamiento. Varias estadísticas han sido propuestas para medir el acuerdo entre evaluadores. Entre ellos son, Scott (π), Cohen (κ), Krippendorf (α), coeficiente de correlación de Pearson (r), coeficiente de correlación de Spearman (ρ), coeficiente de correlación de concordancia de Lin. El porcentaje de coincidencias es una estadística simple aplicable a la puntuación de calificaciones que van de 1 hasta n, siendo habitual que sea 4 ≤ n ≤ 6 . Se dan hasta tres tipos de resultados, cada uno calificando un porcentaje de ensayos: acuerdo exacto (ambos evaluadores dan el mismo puntaje), acuerdo adyacente (hay una diferencia máxima de un punto entre los evaluadores, esto incluye el acuerdo exacto), total desacuerdo (cuando la diferencia en los resultados de los evaluadores es de más de 2 puntos). Los evaluadores humanos expertos alcanzaron un acuerdo exacto entre el 53% y el 81% de todos los ensayos y un acuerdo adyacente entre el 97% y el 100%.[20] El acuerdo entre evaluadores ahora puede ser aplicado para medir el rendimiento del ordenador. Se da un conjunto de ensayos a dos humanos evaluadores y a un PAE. Si las puntuaciones asignadas por el ordenador coinciden con uno de los evaluadores humanos así como los evaluadores están de acuerdo entre sí, el PAE se considera fiable. Alternativamente, a cada ensayo se le da una "verdadera puntuación " al tomar la media de las dos puntuaciones de los evaluadores humanos, por lo que la comparación entre los dos humanos y el ordenador se da mediante la verdadera puntuación. Algunos investigadores han informado que sus sistemas PAE pueden, de hecho, hacerlo mejor que un humano. Page hizo esta reclamación para PEG en 1994.[5] Scott Elliot dijo en 2003 que IntelliMetric normalmente vencía a los anotadores humanos.[6] Las máquinas PAE, aun así, parecían ser menos fiables que lectores humanos para cualquier clase de test de escritura compleja.[21] Actualmente, al menos un ser humano da una puntuación en ámbitos como GMAT. PAE se utiliza como segundo evaluador. Un evaluador humano resuelve cualquier desacuerdo de más de un punto. CríticaPAE ha sido criticado por varios motivos. Yang et al. menciona "La dependencia excesiva en los detalles superficiales de los textos, la insensibilidad por el contenido de las respuestas y la falta de creatividad de las mismas, y la vulnerabilidad de las nuevas formas de hacer trampa." Según varios críticos, la motivación de los estudiantes disminuirá cuando se den cuenta que nadie leerá sus escritos. Entre las críticas más importantes, son aquellos informes donde los autores dicen haber recibido una calificación alta por ensayos escritos mal intencionadamente.[22] Petición de HumanReaders.OrgEl 12 de marzo de 2013, HumanReaders.Org lanzó una petición on-line, "Profesionales En contra de la máquina que Puntúa los Ensayos Estudiantiles con Grandes Consecuencias". En pocas semanas, la petición obtuvo miles de firmas, incluyendo Noam Chomsky,[23] y estuvo citado en un numerosos diarios, incluyendo The New York Times,[24] y en un número grande de blogs de educación y de tecnología.[25] La petición describe el uso de las PAE para pruebas de grandes consecuencias como "triviales", "reductivas", "poco precisas", "no diagnosticas", "injustas" y "secretas".[26] En un resumen detallado del estudio en PAE, la petición del sitio nota, "RESULTADOS MUESTRAN QUE nadie—alumnado, padres, profesores, empresarios, administradores, los legisladores—puede confiar en la máquina que puntúa ensayos … Y QUE la máquina que puntúa no mide, y por tanto no promueve, actos auténticos de escritura."[27] La petición indica el uso de las PAE para pruebas de grandes consecuencias, pero no dice nada sobre otros posibles usos. SoftwareLa mayoría de recursos para la puntuación automatizada de ensayos son propiedad.
Referencias
|