Implementación del modelo de Rasch para la generación automática de pruebas de aula

Abstract

Este trabajo se circunscribe a temas relacionadas con la automatización de exámenes en el aula, partiendo de la teoría clásica de los tests (TCT), para luego analizar el aporte de la teoría de respuesta al ítem (TRI), específicamente por medio del modelo de Rasch y utilizando como base una herramienta de software denominada “The Examiner”, que permite la creación, calificación y análisis de pruebas de aula. Se aprovecha la información consignada en la base de datos del software para 1428 ítems utilizados en exámenes reales y aplicados en una universidad estatal, con el fin de analizar los indicadores que el software calcula como predichos. Se realiza una comprobación de los cálculos internos del software, para concluir que la información generada es útil para la confección de exámenes. En este sentido y como elementos clave, el software aporta información sobre la media esperada para los exámenes aplicados y sobre el coeficiente de confiabilidad o consistencia esperado mediante el alfa de Cronbach. Los resultados del análisis permiten concluir que los cálculos que genera el software para estos valores predichos se pueden utilizar como información de referencia útil para la confección previa de exámenes a partir de ítems consignados con información histórica. Por otro lado, se utiliza la información de la base de datos para ajustar el modelo de Rasch a las pruebas de aula ejecutadas, así como a pruebas simuladas y se concluye que este modelo genera un buen ajuste a nivel de exámenes, ítems y personas, por lo cual se convierte en una alternativa para incorporarlo como parte de las funcionalidades del software en versiones posteriores y así enriquecer el análisis que brinda el enfoque de la TCT.This work is related to the automation of exams in the classroom, starting from the classical test theory (CTT) and then analyzing the contribution of the item response theory (IRT), specifically through the Rasch model and using a software tool called “The Examiner”, which allows the creation, grading and analysis of classroom tests. The information recorded in the software database for 1428 items used in real exams and applied in a state university is used, in order to analyze the indicators that the software calculates as predicted. A verification of the internal calculations of the software is carried out, to conclude that the information generated is useful for the preparation of exams. In this line and as key elements, the software provides information on the expected average for the applied tests and on the expected alpha coefficient. The results of the analysis allow to conclude that the calculations generated by the software for these predicted values can be used as useful reference information for the preliminary preparation of examinations from items recorded with historical information. On the other hand, the information from the database is used to adjust the Rasch model to the classroom tests carried out, as well as to simulated tests, and it is concluded that this model generates good adjustments either for exams, items, and people. Then, it becomes an alternative to incorporate it as part of the software functionalities in later versions and this way enrich the analysis provided by the TCT approach.