Evidence of validity of the Scholastic Aptitude Test of the University of Costa Rica based on their internal structure

Abstract

The aim of this study is to find validity evidence in the Scholastic Aptitude Test (PAA; Spanish acronym) of the University of Costa Rica (UCR) based on its internal structure. The construct measuring of this test presents two hypotheses for its structure: the one-dimensional and two-dimensional. For both guesses the stated goal was reached. For the one dimensional hypothesis an exploratory factor analysis (EFA) showed that the first factor explained a 23% of the variance of the PAA´s items while the second factor was only able to explain a 2.8%. Then, a confirmatory factor analysis (CFA) showed that this hypothesis is acceptably consistent with data. In terms of the two-dimensional hypothesis, the EFA Promax rotation displayed the association of factors to the suggested dimensions for the construct; in addition, the CFA associated with this hypothesis also showed a good fit. These results provide to the PAA developers team a theoretical support to make the Test´s psychometric analysis based on either position proposed on the structure of the evaluated construct.

El objetivo de este estudio es hallar evidencias de validez la Prueba de Aptitud Académica (PAA) de la Universidad de Costa Rica (UCR), basadas en su estructura interna. El constructo que mide esta prueba presenta dos hipótesis para su estructura: la unidimensionalidad y la bidimensionalidad, bajo ambas conjeturas se alcanzó el objetivo planteado. Para la unidimensionalidad, un análisis factorial exploratorio (AFE) mostró que el primer factor explicó un 23% de la variancia de todos los ítems de la PAA, mientras que el segundo factor solamente logró explicar un 2.8%; luego, un análisis factorial confirmatorio (AFC) evidenció que esta hipótesis se ajusta aceptablemente a los datos. En cuanto a la bidimensionalidad, la rotación Promax del AFE manifestó la asociación de los factores a las dimensiones planteadas para el constructo; además, el AFC asociado a esta hipótesis también mostró un buen ajuste. Estos resultados brindan al equipo desarrollador de la PAA un sustento teórico para realizar análisis psicométricos de la Prueba basados en cualquiera de las dos posiciones sobre la estructura del constructo evaluado.