HTML EN (English)
PDF EN (English)
FLIP
XML (English)
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial 4.0.
La Revista de Arquitectura se cataloga como una publicación de acceso abierto. Más información >>>
Los autores conservarán los derechos de autor y garantizarán a la Revista de Arquitectura el derecho de primera publicación de la obra, el cual estará simultáneamente sujeto a la licencia Creative Commons (CC) BY-NC.
Los autores suscribirán una licencia no exclusiva de distribución de la versión de la obra publicada mediante la firma de (RevArq FP03 Autorización reproducción)
El Autoarchivo estará de acuerdo con los criterios expresados por SHERPA/RoMEO y la clasificación Verde.
Para ver en detalle estos lineamientos, por favor consultar >>>
Resumen
En una evaluación del desempeño se crea un producto o se desarrolla un proceso, que es evaluado por varios calificadores. El Modelo de Rasch de Facetas Múltiples (MRFM), extensión del modelo de Rasch, cuantifica diversos atributos asociados a la calidad de la medición en tales evaluaciones, incluyendo la concordancia entre calificadores, cualidad esencial para la validez. Los datos provienen de una prueba de desempeño aplicada con propósitos de selección en la Escuela de Arquitectura de la Universidad de Costa Rica (UCR). Se analizaron las aplicaciones de la prueba del 2015 al 2018, cada una tenía entre 600 y 800 examinados. Cada producto fue evaluado por tres calificadores, y los equipos de calificadores tenían entre 12 y 15 miembros. Los tres primeros años mostraron alto grado de variabilidad entre las severidades de los calificadores, dispersándose más de 2 logits, en la escala de Rasch. En 2018 se introdujeron modificaciones para mejorar la concordancia entre los calificadores, y los análisis correspondientes mostraron una disminución relevante en la dispersión de las severidades, con un rango de 1.09 logits. El estudio ilustra los beneficios de este modelo para analizar y mejorar la calidad técnica de una evaluación del desempeño de alto impacto.
Palabras clave:
Citas
Andrich, D. (1978). A rating formulation for ordered response categories. Psychometrika, 43(4), 561-573. https://www.springer.com/journal/11336
Eckes, T. (2011). Many- Facet Rash Measurement. In Grotjahn, R and Sigott, G (Eds.), Introduction to Many-Facet Rasch Measurement (2nd ed.). Peter Lang. https://www.researchgate.net/publication/228465956_Many-facet_Rasch_measurement
Hernández, O. (2015). Informe PH, Prueba de Habilidad 2014 - ingreso 2015. Escuela de Arquitectura-UCR. [2014 Skills Test Report for 2015 admission. Architecture School. University of Costa Rica]. https://issuu.com/olmanarq/docs/informe_ph-2014_arquis
Hernández, O. (2018). Informe PH, Prueba de Habilidad 2017 - ingreso 2018. Escuela de Arquitectura-UCR. [2017 Skills Test Report for 2018 admission. Architecture School. University of Costa Rica]. https://issuu.com/olmanarq/docs/informe_ph-2017
Lane, S. & Stone, C.A. (2006). Performance Assessment. In R. L. Brennan (Ed.), Educational Measurement (pp. 387-431). Praeger.
Linacre, J. M. (1989). Many-facet Rasch measurement. MESA Press.
Linacre, J. M. & Wright, B. D. (2002). Construction of measures from many-facet data. Journal of Applied Measurement, 3(4), 486-512. http://jampress.org/
Linacre, J. M. (2010). A user’s guide to Facets: Rasch model computer programs. Winsteps.
Linacre, J. M. (2015). Facet Rasch Measurement computer program (Version 3.71.3). Winsteps.
Martínez, R. (2010). La evaluación del desempeño. [Performance assessment]. Papeles del Psicólogo, 31(1), 85-96. http://www.papelesdelpsicologo.es/pdf/1799.pdf
Masters, G. N. (1982). A Rasch model for partial credit scoring. Psychometrika, 47, 149-174. https://doi.org/10.1007/BF02296272
Myford, C. M. & Wolfe, E. W. (2004). Detecting and Measuring Rater Effects Using Many-Facet Rasch Measurement: Part I. In E. V. Smith & R. M. Smith (Eds.), Introduction to Rasch Measurement (pp. 460-517). JAM Press.
Prieto, G. (2015). Análisis de un test de desempeño en expresión escrita mediante el modelo de MFRM. [Analysis of a performance test in written expression using the MFRM model]. Actualidades en Psicología, 29(119), 03-19. http://dx.doi.org/10.15517/ap.v29i119.19822
Prieto, G. & Nieto, E. (2014). Analysis of rater severity on written expression exam using Many Faceted Rasch Measurement. Psicológica, 35(2), 385-397. https://www.researchgate.net/publication/288462542_Analysis_of_rater_severity_on_written_expression_exam_using_Many_Faceted_Rasch_Measurement
Rasch, G. (1960). Probabilistic models for some intelligence and attainment tests. MESA Press. https://doi.org/10.1177/014662168100500413
##submission.citations.for##
