ICT and 360º evaluation: Improving professional skills in higher education in Spain

Daniel David Martínez-Romera; Sara Cortés-Dumont

doi:10.18543/tjhe.2361

Daniel David Martínez-Romera University of Málaga, Spain https://orcid.org/0000-0003-4895-7955
Sara Cortés-Dumont University of Jaén, Spain https://orcid.org/0000-0002-6542-378X

Keywords: educational technology, formative evaluation, educational research, statistical analysis, comparative analysis

Abstract

The current dynamics of knowledge and innovation generation are faced with, sometimes, incompatible social and cultural trends. Something to which the University is not oblivious. Based on contemporary studies and our own experience, one of the clearest tensions has to do with the ability to judging based on reasons and not emotions. To help with this, in the educational context, the 360-degree evaluation can be a useful instrument in terms of the strengthening of their objective judgment. It is a technique that was conceived to exercise objective evaluation, in several and concurrent ways, which also allows to know their degree of objectivity. To demonstrate its potential, a sample of 56 students was used, taking the teacher’s grading as a reference. The task involved self, peer and inter-group assessment. The methodology was mixed, with support in descriptive statistics for quantitative grades and natural language processing for comments and clarifications. It was possible to detect differences in behavior depending on the type of analysis (self-assessment, peers, and groups), as well as determining which students were most qualified to assess objectively. Another issue was the general reluctance to explain numerical grades through notes. Here we consider several factors to explore, among which we highlight: the digital tool used and the time available; the phase of the academic course and the characteristics of the task; and subjective bias, especially in cases of low score. About the experience, it has also been possible to detect some difficulties derived from the application of a methodology, as complex and demanding as the one used, which generated more than 3000 evaluations. In any case, and in view of the data obtained, we consider that the results corroborate the practical utility of this approach and invite to explore additional aspects within this area.

Received: 24 February 2022
Accepted: 12 September 2022

Downloads

Download data is not yet available.

Author Biographies

Daniel David Martínez-Romera, University of Málaga, Spain

Lecturer in Teaching of Social Sciences in the Faculty of Education at the University of Málaga, accredited as an Associate Professor. PhD in Education from the University of Malaga, PhD in Geography from the University of Granada and international postgraduate in Geographic Information Systems from UNIGIS International University. From 2005 to 2010, he was a trainee researcher and a PhD researcher at the Andalusian Institute of Statistics and Cartography, within an agreement with the University of Granada. Over the last twelve years, his main lines of research are: Geography, Social Sciences and Teaching; Development and Innovation of ICT Applied to Teaching. An example of his work is the Diagrom teaching and analysis assistants (on ombrothermic diagrams) and Piradem assistants (on population pyramids); both available on his personal website. He also conducts quantitative and qualitative analyses of educational contexts and assessment processes supported by ICT.

Sara Cortés-Dumont, University of Jaén, Spain

Postgraduate Teaching Assistant in Geography in the Faculty of Humanities at he University of Jaén, Máster en Sistemas de Información Geográfica por la Universidad Internacional en Sistemas de Información Geográfica (UNIGIS). From 2003 to 2011 she was training intern and research fellow at the Andalusian Institute of Statistics and Cartography. She worked as GIS-specialist at University of Córdoba and freelancer until 2019. Her areas of interest cover Human Geography and Teaching innovation, focusing in knowledge transfer to society. She develops this interest as researcher through recent I+D+I National Projects: “Avanzando en la modelización: Fuentes catastrales y paracatastrales en el Antiguo Régimen. Territorio, población, recursos, funciones” (PID2019-106735GB-C22), “Modelización de patrones para la caracterización de la Córdoba eclesiástica del siglo XVIII según el catastro de Ensenada y otras fuentes Geohistóricas” (CSO2015-68441-C2-2-P) and “Dinámicas funcionales y ordenación de los espacios del “Sistema del Patrimonio Territorial andaluz: Análisis en Andalucía Occidental” (CSO2010-19278).

References

Álvarez-López, Gabriel, and María Matarranz. 2020. “Calidad y evaluación como tendencias globales en política educativa: estudio comparado de agencias nacionales de evaluación en educación obligatoria en Europa.” Revista Complutense de Educación 31 (1): 83-93. https://doi.org/10.5209/rced.61865 .

Andrade, G. 2019. Standing up for science against postmodernism and relativism. Philosophia (Philippines), 20, 197-211.

Arancibia Herrera, M. 2016. “Uso educativo de las TIC y su relación con las concepciones del profesor de historia sobre aprender y enseñar.” Revista Infancia, Educación y Aprendizaje 2 (2): 76-93.

Arreola Rico, Roxana Lilian. 2019. “Formación y evaluación docente basada en un perfil por competencias. Una propuesta desde la práctica reflexiva.” Revista Educación 43 (2): 239-58. https://doi.org/10.15517/revedu.v43i2.30898.

Báez-Rojas, Claudio, Karen Córdova-León, Lincoyán Fernández-Huerta, Ricardo Villagra-Astudillo, Laura Aravena-Canese, Claudio Báez-Rojas, Karen Córdova-León, Lincoyán Fernández-Huerta, Ricardo Villagra-Astudillo, and Laura Aravena-Canese. 2021. “Modelo de retroalimentación mediante evaluación de 360o para la docencia de pregrado en ciencias de la salud.” FEM: Revista de la Fundación Educación Médica 24 (4): 173-81. https://doi.org/10.33588/fem.244.1133.

Barba Aragón, María Isabel. 2020. “La satisfacción del alumnado con la evaluación 360o.” In CIVINEDU 2020. 4th International Virtual Conference on Educational Research and Innovation, REDINE, Red de Investigación e Innovación Educativa, 148-50. Madrid: Adaya Press.

Barbera, J., Naibert, N., Komperda, R., and Pentecost, T. C. 2020. Clarity on Cronbach’s Alpha Use. Journal of Chemical Education, 98(2): 257-258. https://doi.org/10.1021/acs.jchemed.0c00183.

Bujang, M. A., Omar, E. D., and Baharum, N. A. 2018. A Review on Sample Size Determination for Cronbach’s Alpha Test: A Simple Guide for Researchers. The Malaysian journal of medical sciences: MJMS, 25(6): 85–99. https://doi.org/10.21315/mjms2018.25.6.9.

Cebrián Robles, D. 2019. Evaluación formativa para los aprendizajes del prácticum con Corubric. In XV Symposium Internacional sobre el Prácticum y las Prácticas Externas:” Presente y retos de futuro”: actas, Poio (Pontevedra), 10, 11 y 12 de julio de 2019 (23). Asociación para el Desarrollo del Prácticum y de las Prácticas Externas.

Cebrián-de-la-Serna, Manuel, and M.E. Bergman. 2014. “Evaluación formativa con e-rúbrica: aproximación al estado del arte.” REDU : Revista de Docencia Universitaria 12 (1): 15-22.

Cubillos-Veja, Carla, and Magdalena Ferrán-Aranaz. 2018. “Diseño y Validación de una Rúbrica para Valorar la Resolución de Casos Prácticos Relativos a Derechos Humanos.” Revista Iberoamericana de Evaluación Educativa 11 (2). https://doi.org/10.15366/riee2018.11.2.002.

Curcu, Antonio. 2008. “Sujeto, subjetividad y formación en educación para pensar en otra visión pedagógica de la evaluación.” Revista de Teoría y Didáctica de las ciencias sociales 13: 195-216.

Dagal, Asude Balaban, and Rengin Zembat. 2017. “A Developmental Study on Evaluating the Performance of Preschool Education Institution Teachers with 360 Degree Feedback.” Journal of Education and Training Studies 5 (6): 22031. https://doi.org/10.11114/jets.v5i6.2365.

Das, K. 2019. “The role and impact of ICT in improving the quality of education: An overview.” International Journal of Innovative Studies in Sociology and Humanities, 4(6): 97-103.

Elías, Rudy. 2017. “Los programas internacionales de evaluación de logros académicos y su influencia en las políticas educativas en América Latina.” Población y Desarrollo 45: 74-82.

Emerson, R. W. 2019. “Cronbach’s Alpha Explained.” Journal of Visual Impairment and Blindness, 113(3): 327.

Fernández-Quero, Juan Luis. 2021. “El uso de las TIC como paliativo de las dificultades del aprendizaje en las ciencias sociales.” Digital Education Review, n.o 39 (julio): 213-37. https://doi.org/10.1344/der.2021.39.213-237.

Ferreiro Concepción, Jasiel Félix, and Carlos Rafael Fernández Medina. 2020. “Una mirada a la evaluación por rúbricas a través de las TIC.” Mendive. Revista de Educación 18 (1): 92-104.

Frías-Navarro, Dolores, and Marcos Pascual-Soler. 2021. “Recomendaciones para elaborar y redactar el informe de investigación.” In Research design, analysis and writing of results, Frías-Navarro, Dolores y Pascual-Soler, Marcos. Valencia: OSF. https://doi.org/10.17605/osf.io/kngtp.

Furedi, F. 2018. Qué le está pasando a la Universidad: Un Análisis Sociológico de su Infantilización. Madrid: Narcea Ediciones.

Galaz, Alberto, and Sergio Toro Arévalo. 2019. “Estrategias identitarias. La subjetividad del profesor ante la política de evaluación.” Andamios 16 (39): 35378. https://doi.org/10.29092/uacm.v16i39.687.

García-Valcárcel Muñoz-Repiso, Ana, Azucena Hernández Martín, Marta Martín del Pozo, and Susana Olmos Migueláñez. 2020. “Validación de una rúbrica para la evaluación de trabajos fin de máster.” Profesorado, Revista de Currículum y Formación del Profesorado 24 (2): 72-96. https://doi.org/10.30827/profesorado.v24i2.15151.

Gatica-Lara, Fiorina, and Teresita del Niño Jesús Uribarren-Berrueta. 2013. “¿Cómo elaborar una rúbrica?” Investigación en Educación Médica 2 (5): 61-65. https://doi.org/10.1016/S2007-5057(13)72684-X.

González-Such, José, Jesús Miguel Jornet-Meliá, María Jesús Perales Montolío, Margarita Bakieva-Karimova, Carlos Sancho-Álvarez, Purificación SánchezDelgado, and Sonia Ortega Gaite. 2021. “Evaluación de titulaciones universitarias según su aportación a la cohesión social (UNIVECS). Resultados de un análisis de validación cualitativa a través de grupos focales en dos titulaciones de máster de la Universitat de València.” New Trends in Qualitative Research 7 (julio): 278-95. https://doi.org/10.36367/ntqr.7.2021.278-295.

Grande de Prado, Mario, Francisco José García Peñalvo, A. Corell, and V. AbellaGarcía. 2021. “Evaluación en Educación Superior durante la pandemia de la COVID-19.” Campus Virtuales 1 (10): 49-58.

Hussen Maulud, D., Zeebaree, S. R. M., Jacksi, K., Mohammed Sadeeq, M. A., and Hussein Sharif, K. 2021. State of Art for Semantic Analysis of Natural Language Processing. Qubahan Academic Journal, 1(2), 21–28. https://doi.org/10.48161/qaj.v1n2a44.

Jogezai, N. A., Baloch, F. A. and Ismail, S. A. M. M. 2020. Hindering and enabling factors towards ICT integration in schools: A developing country perspective. İlköğretim Online – Elementary Education Online, 19(3): 1537-1547. https://doi.org/10.17051/ilkonline.2020.733176.

Jornet, José María, María Jesús Perales, and Purificación Sánchez-Delgado. 2011. “El valor social de la educación: entre la subjetividad y la objetividad. Consideraciones teórico-metodológicas para su evaluación.” RIEE 4: 51-77.

Jornet Meliá, Jesús Miguel, María Jesús Perales Montolío, and José González-Such. 2020. “El concepto de validez de los procesos de evaluación de la docencia: The concept of validity of teaching evaluation processes.” Revista Española de Pedagogía 78 (276): 233-52.

Kestel, M. and Korkmaz, I. 2019. The impact of Modernism and Postmodernism on Teachers. Turquoise International Journal of Educational Research and Social Studies, 1(1): 28-33.

Liu, Lili, Yilin Zhong, Gou Yu, Xinlin Hou, and Jianguang Qi. 2021. “Application of 360-degree assessment in the competency-oriented standardized training of pediatric residents.” Chinese Journal of Medical Education.

López Aguilar, G. R., M. V. A. Lara Andrade, E. Montiel Piña, M. A. Cruz Gómez, and S. Flores González. 2020. “Evaluación Diagnóstica en la Educación Superior con Prospectiva Educativa para Una Sociedad Incluyente.” In Agenda pública, gobernanza metropolitana y planeación prospectiva para un desarrollo sostenible, incluyente y solidario, Vázquez Guzmán, O. y Carrillo Huerta, M. M., 90-100. Puebla (México): Benemérita Universidad Autónoma de Puebla. https://bit.ly/3iwVrw8.

López-de-Arana Prado, Elena, Pilar Aramburuzabala Higuera, and Héctor Opazo Carvajal. 2019. “Diseño y validación de un cuestionario para la autoevaluación de experiencias de aprendizaje-servicio universitario.” Educación XX1 23 (1). https://doi.org/10.5944/educxx1.23834.

Mano, R. 2021. The institutionalization of ICT and civic participation: Evidence from eight European nations. Technology in Society, 64, 101518. https://doi.org/10.1016/j.techsoc.2020.101518.

Martínez Romera, Daniel. 2017. “La evaluación de diseños de intervención para el Prácticum como instrumento de formación e investigación en el Máster de Profesorado de Ciencias Sociales.” Revista Practicum 2 (diciembre): 32-49. https://doi.org/10.24310/RevPracticumrep.v2i2.9857.

. 2019. “Recursos para innovar en geografía e historia: un camino hacia las TAC.” In Tecnologías para la formación de profesionales en educación, Alías Garcia, Antonio, Cebrián Robles, Daniel, Ruiz Rey, Francisco José y Caraballo Vidal, Israel. Dykinson. https://doi.org/10.2307/j.ctv105bcxd.18.

Martínez Romera, Daniel, Daniel Cebrián Robles, and Rafael Pérez Galán. 2020. “Practical Training of Secondary School Teachers in Spain: Tutoring and Assessment Using ICT.” Turkish Online Journal of Distance Education 21 (abril): 153-66. https://doi.org/10.17718/tojde.728148.

Meghdad, Rahati, Rohollahi Nayereh, Sakeni Zahra, Zahed Houriye, and Nanakar Reza. 2020. “Assessment of the performance of nurses based on the 360-degree model and fuzzy multi-criteria decision-making method (FMCDM) and selecting qualified nurses.” Heliyon 6 (1): e03257. https://doi.org/10.1016/j.heliyon.2020.e03257.

Milliken, J. 2004. Thematic reflections on higher education. Higher Education in Europe, 29(1): 9-18. https://doi.org/10.1080/03797720410001673265.

Oliveras Boté, Isabel. 2019. Evaluación e incorporación del riesgo de sesgo de estudios no experimentales en revisiones sistemáticas y metaanálisis. Universidad Autónoma de Barcelona. https://ddd.uab.cat/record/207913.

Ortega-Quevedo, Vanessa, Cristina Gil-Puente, Cristina Vallés-Rapp, and María Antonia López-Luengo. 2020. “Diseño y validación de instrumentos de evaluación de pensamiento crítico en Educación Primaria.” Tecné, Episteme y Didaxis: TED 48 (diciembre): 91-110. https://doi.org/10.17227/ted.num4812383.

Ortiz-Revilla, Jairo, Ileana María Greca, and Agustín Adúriz-Bravo. 2021. “Conceptualización de las competencias: Revisión sistemática de su investigación en Educación Primaria.” Profesorado, Revista de Currículum y Formación del Profesorado 25 (1): 223-50. https://doi.org/10.30827/profesorado.v25i1.8304.

Pedregosa, F., G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blondel, et al. 2011. “Scikit-learn: Machine Learning in Python.” Journal of Machine Learning Research 12: 2825-30.

Perales-Montolío, M.J., J.M. Jornet-Meliá, and J. González-Such. 2014. Tendencias en las políticas de formación y evaluación del profesorado en la educación superior en España. Revista Iberoamericana de Evaluación Educativa, 7(2e): 53-64. https://goo.gl/qUxOKT.

Pozuelos Estrada, Francisco José, Francisco Javier García Prieto, and Sara Conde Vélez. 2020. “Evaluar prácticas innovadoras en la enseñanza universitaria. Validación de instrumento.” Educación XX1 24 (1). https://doi.org/10.5944/educxx1.26300.

Rodríguez-Gómez, David, Carme Armengol, and Julio Meneses. 2017. “La adquisición de las competencias profesionales a través de las prácticas curriculares de la formación inicial de maestros.” Revista de Educación 376: 229-51. https://doi.org/10.4438/1988-592X-RE-2017-376-350.

Sarceda-Gorgoso, M. Carmen, and María Luisa Rodicio-García. 2018. “Escenarios formativos y competencias profesionales en la formación inicial del profesorado.” Revista Complutense de Educación 29 (1): 147-63. https://doi.org/10.5209/RCED.52160.

Searle, J. R. 1995. Posmodernism and the Western Rationalist Tradition. Routledge.

Shafait, Z., Khan, M.A., Sahibzada, U.F., Dacko-Pikiewicz, Z., Popp, J. (2021). An assessment of students’ emotional intelligence, learning outcomes, and academic efficacy: A correlational study in higher education. PLoS ONE 16(8): e0255428. https://doi.org/10.1371/journal.pone.0255428.

Taber, Keith S. 2018. “The Use of Cronbach’s Alpha When Developing and Reporting Research Instruments in Science Education.” Research in Science Education 48 (6): 1273-96. https://doi.org/10.1007/s11165-016-9602-2.

Tejada-Fernández, J., J. Serrano-Angulo, C. Ruiz-Bueno, and D. Cebrián-Robles. 2015. “El proceso de construcción y validación de los instrumentos de recogida de información sobre el practicum y su evaluación a través de herramientas tecnológicas.” In Building and Validation of Instruments to Collect Information on the Practicum and their Evaluation Based on ICT Tools, editado por M. Rapos-Rivas, Muñoz-Carril, M.E.Martínez Figueira Zabalza Cerdeiriña, A., y Pérez Abellas, 261-72. Poio, España: Andavira Editora.

Urquidi Martin, Ana Cristina, María Sol Calabor Prieto, and Carmen Tamarit Aznar. 2019. “Entornos virtuales de aprendizaje: modelo ampliado de aceptación de la tecnología.” Revista Electrónica de Investigación Educativa 21 (junio): 1-12. https://doi.org/10.24320/redie.2019.21.e22.1866.

US Office of Personnel Management. 1997. 360-Degree assessment: An overview. United States Office of Personnel Management. https://bit.ly/3RbsR2j.

Usart Rodríguez, Mireia, José Luis Lázaro Cantabrana, and Mercè Gisbert Cervera. 2020. “Validación de una herramienta para autoevaluar la competencia digital docente.” Educación XX1 24 (1). https://doi.org/10.5944/educxx1.27080.

Vendrell i Morancho, Mireia, and Jesús Miguel Rodríguez Mantilla. 2020. “Pensamiento Crítico: conceptualización y relevancia en el seno de la educación superior.” Revista de la educación superior 49 (194): 9-25. https://doi.org/10.36857/resu.2020.194.1121.

Zhoc, K.C.H., King, R.B., Chung, T.S.H. and Junjun, C. 2020. Emotionally intelligent students are more engaged and successful: examining the role of emotional intelligence in higher education. European Journal of Psychology Education 35: 839–863. https://doi.org/10.1007/s10212-019-00458-0.

Zweekhorst, M.B.M. and Maas, J. 2015. ICT in higher education: students perceive increased engagement. Journal of Applied Research in Higher Education, 7(1): 2-18. https://doi.org/10.1108/JARHE-02-2014-0022.