Aplicación del modelo de Rasch, en el análisis psicométrico de una prueba de diagnóstico en matemática

Abstract

El presente trabajo pretende generar evidencias empíricas en torno a la validez de la prueba de “Diagnóstico de conocimientos y destrezas en matemática del estudiante al ingresar a la universidad”, de la Escuela de Matemática de la Universidad de Costa Rica, desde la aplicación del modelo de Rasch. La muestra corresponde a 2624 examinados del 2008. Los objetivos del estudio se dirigieron primeramente a establecer evidencias de validez y confiabilidad para el instrumento. Por medio de análisis de factores exploratorio se verificó la unidimensionalidad de la escala y con el modelo de Rasch se generaron evidencias para concluir un grado aceptable de confiabilidad. Con la participación de 5 jueces expertos se establecieron niveles sustantivos de desempeño, clasificando los ítems según dificultad, y según procesos y contenidos necesarios para su resolución. Para validar las valoraciones de los jueces se contrastaron sus clasificaciones de dificultad con las estimaciones obtenidas al aplicar el modelo de Rasch, y por medio de un análisis de concordancia con la medida Kappa de Cohen se logró determinar el grupo de los 3 jueces que se acercaban más a las estimaciones de Rasch y cuyas valoraciones fueron consideradas para establecer los niveles de desempeño.

The study intended, by means of the Rasch model, to provide empirical evidences regarding the validity of the test called “Diagnostic of knowledge and skills in Mathematics of the student entering the University”, developed by the School of Mathematics at the University of Costa Rica. The sample consisted of 2624 examinees in the year 2008. The research objectives first addressed the issue of establishing validity and reliability evidences for the instrument. Using exploratory factor analysis the unidimensionality of the scale was confirmed, and employing the Rasch model evidence was generated to conclude an acceptable degree of reliability. With the participation of 5 expert judges substantive levels of performance were established, classifying the items according to difficulty, and according to necessary processes and contents for their solution. To validate the judges’ assessments, their difficulty classifications were contrasted with the difficulty estimations from the Rasch model, and, making use of a concordance analysis with Cohen’s Kappa the group of the 3 judges that were closer to Rasch estimations was determined. These 3 judges’ appraisals were considered to establish the performance levels.