Como saben nuestros lectores, el Consejo General de la Psicología cuenta con una Comisión de test, conformada por psicólogos/as procedentes del ámbito académico, de las editoras de test y del propio COP, que, desde el año 1995, trabajan con el objetivo primordial de velar por la calidad de las pruebas de evaluación que emplean los y las profesionales de la Psicología en España y potenciar el uso adecuado de las mismas. Para tal fin, desarrollan su labor en coordinación con otros grupos de trabajo de este mismo ámbito, tales como la Comisión de test de la EFPA (European Federation of Psychologists Association-Federación Europea de Asociaciones de Psicólogos Profesionales), o la ITC (International Test Commission-Comisión Internacional de Test). Esta coordinación permite facilitar el intercambio de conocimientos e inquietudes, así como cotejar perspectivas y problemas específicos.
Precisamente, con el fin de establecer un punto de encuentro para potenciar este intercambio de ideas, avances, innovaciones y buenas prácticas en este campo, la ITC celebrará, el próximo mes de julio de 2024, una nueva edición de su Congreso. Este importante encuentro, que tendrá lugar en Granada, será el primero que se realizará de forma presencial desde el año 2018, tras la irrupción de la pandemia de la COVID-19.
Para conocer todas las novedades de este interesante Congreso y su importancia para el avance en el campo de la evaluación de test, Infocop ha querido entrevistar a la psicóloga Ana Mª Hernández Baeza, miembro del Comité Organizador Local del mismo.
Ana Hernández Baeza es profesora titular de Psicometría en la Universitat de València, con doble afiliación con el departamento de Metodología de las Ciencias del Comportamiento y el IDOCAL (Instituto Universitario de Investigación en Psicología de los Recursos Humanos, del Desarrollo Organizacional y de la Calidad de Vida laboral).
Foto: Ana Hernández Baeza
Desde 2021, coordina la Comisión de Test del COP. Es vicepresidenta de la AEMCCO (Asociación Española de Metodología de las Ciencias del Comportamiento) y de la EAM (European Association of Methodology). También es miembro de la junta directiva de la EAWOP (European Association of Work and Organizational Psychology)
Sus principales líneas de investigación se relacionan con la validez de los instrumentos de medida y funcionamiento de las escalas, así como con el clima y liderazgo de los equipos de trabajo, o la calidad del trabajo, entre otras. Cuenta en su haber con numerosas publicaciones relacionadas con su ámbito de estudio en revistas como Multivariate Behavioral Research, Journal of Applied Psychology, Structural Equation Modeling, Psicothema, Organizational Research Methods, Journal of Vocational Behavior o European Journal of Work and Organizational Psychology.
ENTREVISTA
A modo de introducción, ¿podría decirnos por qué es tan importante una evaluación psicológica de calidad?
Muy brevemente, sabemos que la evaluación es una actividad esencial entre los profesionales de la Psicología, sea cual sea su área de especialización. Nos permite tomar decisiones diagnósticas, realizar procesos de selección, identificar necesidades, diseñar intervenciones a partir del análisis integral de las personas y sus contextos, y evaluar la eficacia de las intervenciones y el progreso de las personas, entre otras muchas.
La adecuación y la idoneidad de las decisiones tomadas y las conclusiones a las que llega el profesional están directamente conectadas con la calidad de las evaluaciones realizadas. Por ello, es fundamental que los profesionales seleccionen y hagan un uso adecuado de las herramientas evaluativas existentes, teniendo en cuenta el objetivo de evaluación y la calidad psicométrica (fiabilidad y validez) de la información que obtenemos con las distintas herramientas. Nos jugamos con ello la credibilidad y el prestigio de la profesión entre la sociedad. Y no solo eso, la tranquilidad de saber que estamos tomando las mejores decisiones y contribuyendo a construir una sociedad mejor.
Bajo su punto de vista, ¿en qué estado se encuentra actualmente el uso de test y la evaluación mediante test en España en comparación con el resto de Europa?
Los test son una herramienta muy importante para la evaluación psicológica. Mi experiencia en la comisión de test del Consejo General de la Psicología de España y de la EFPA (European Federation of Psychological Associations), me permite afirmar que en España hacemos las cosas generalmente bien, aunque indudablemente hay aspectos que se pueden mejorar. Por ejemplo, sabemos que las pruebas que se desarrollan y adaptan en nuestro país a través de las principales editoriales de test, son rigurosas y cumplen con los estándares de calidad establecidos. En cuanto al uso de los test, los resultados de la última encuesta de opinión y actitudes hacia los test respondida por los colegiados (Muñiz et al., 2020; Hernández et al., 2021), indican que, en general, los profesionales hacen un uso adecuado de las pruebas, pero, como siempre, hay espacio para la mejora.
Algunas malas prácticas sobre las que hay que continuar incidiendo para mejorar son la falta de actualización de los profesionales y usuarios en materia de test, la violación del copyright de los materiales, o ignorar las condiciones locales (país, región, etc.), que pueden afectar a la validez de las pruebas según el propósito buscado. Aunque el número de profesionales que incurren en estas prácticas sea reducido, son cuestiones muy serias y hay que seguir haciendo esfuerzos por mejorar el uso de los test.
Esta necesidad de mejora es compartida por el resto de Europa. De hecho, aunque todavía se está completando el último estudio impulsado por la EFPA en colaboración con la Comisión Internacional de Test, los resultados preliminares de la última encuesta de opinión sobre uso de los test presentados recientemente (Jiménez y Schallmoser, 2022), muestran que nuestro país está mejor posicionado que otros en lo que se refiere a problemas en el uso de los test, pero también es superado por otros como Austria, Bélgica y Países Bajos.
Como experta en el ámbito, ¿qué medidas se están tomando actualmente para mejorar la evaluación y el uso de los test en nuestro país? ¿Puede citarnos alguna de esas acciones concretas de mejora?
Como probablemente muchos lectores sabrán, la Comisión de test del Consejo General de la Psicología de España lleva años trabajando en distintos proyectos e implementando acciones para mejorar la evaluación mediante test. En todas ellas continuamos trabajando, además de realizar otras acciones puntuales como conferencias y seminarios.
En primer lugar, la comisión lleva ya más de 10 años evaluando a través de expertos la calidad psicométrica de los test publicados en nuestro país (tanto originales como adaptaciones). Este proyecto está contribuyendo a mejorar la calidad de las pruebas y los manuales técnicos que las acompañan. Pero, además, los informes de las evaluaciones, que pueden consultarse a través de la página web de la Comisión de Test, pueden ayudar a los profesionales de la Psicología a tomar decisiones informadas sobre la idoneidad de una prueba teniendo en cuenta su calidad psicométrica y el objetivo evaluativo.
En segundo lugar, la comisión también ha venido monitorizando desde hace más de tres décadas las opiniones y actitudes de los profesionales de la Psicología hacia los test y su uso a través de tres estudios mediante encuestas. Conocer estas opiniones y tener constancia de los retos y problemas a los que los profesionales se enfrentan a la hora de usar los test, así como las posibles malas prácticas que todavía persisten, resulta fundamental para plantear acciones de mejora.
En tercer lugar, la comisión trabaja en la redacción y difusión de estándares y códigos de buenas prácticas en materia de test. Como dije en una entrevista reciente, uno de los últimos documentos publicados por la comisión se refiere el uso de los test psicométricos en los procesos de selección de personal en las Administraciones Públicas (AAPP). Este informe ofrece recomendaciones a las AAPP convocantes de procesos selectivos y a los tribunales y servicios de evaluación implicados, e intenta mostrar a los organismos judiciales la idiosincrasia de la evaluación psicológica en contraposición a otro tipo de pruebas evaluativas como las de conocimientos.
Todos los informes y publicaciones que se derivan de las acciones mencionadas pueden consultarse en la página web de la Comisión de Test: https://www.cop.es/
Finalmente, las propias editoriales que forman parte de la comisión de test velan porque solo los profesionales cualificados accedan a los test, de acuerdo con la clasificación de categorías (A, B y C) establecida en 2014 por la APA. También imparten cursos de formación sobre la utilización de algunos de los test concretos que comercializan. Desde una perspectiva más amplia, la comisión ha impulsado distintos cursos de formación dentro del FOCAD (Formación Continuada a Distancia del COP). El más reciente, en preparación bajo la coordinación de la profesora Paula Elosua, se ocupará de las Nuevas Tendencias en Evaluación Psicológica y Educativa Apoyada en Tecnologías Digitales. También tenemos pendiente una propuesta conjunta con la Sociedad Española para el Avance de la Evaluación Psicológica (SEAEP), que también está representada en la comisión desde hace unos meses.
Sabemos que, en aras de promocionar y potenciar el uso adecuado de los test en España, la Comisión de Test del COP funciona de forma coordinada con otros grupos de trabajo internacionales con fines similares, entre ellos, la Comisión Internacional de Test (ITC-International Test Commission). Precisamente, el próximo mes de julio de 2024, entre los días 2 y 5, la ITC celebrará en Granada una nueva edición de su Congreso. Como miembro del Comité Organizador Local de este evento, ¿a quién está dirigido y qué objetivos persigue?
El congreso de la ITC busca ser un punto de encuentro para los profesionales e investigadores interesados en potenciar una evaluación psicológica y educativa de calidad (con interés en aspectos teóricos, prácticos y/o éticos), sea cual sea el ámbito de especialización. Por lo tanto, está dirigido, no solo a los diseñadores de pruebas o a los investigadores y académicos, sino también a los profesionales que quieren asegurar que las evaluaciones son fiables, válidas y justas.
Tiene distintos objetivos. Por una parte, fomentar el intercambio de conocimientos, avances e innovaciones recientes en el campo de la evaluación mediante test, siempre basados en investigaciones rigurosas. Pero también ofrece oportunidades de desarrollo profesional y formación continua, a través de los talleres, conferencias y presentaciones del congreso, y de las actividades de intercambio “empresa-academia” propuestas. Estas últimas, tienen como objetivo conectar el trabajo de los profesionales aplicados con el de los investigadores y reducir la brecha existente entre ambos ámbitos. Además, el congreso constituye una excelente oportunidad para colaborar e intercambiar ideas con otros profesionales y académicos de distintos países, y discutir los problemas y retos se plantean a la hora realizar evaluaciones y aplicar los test en distintos contextos (educativos, clínica y salud, forense, organizacional, etc.), y culturas. En definitiva, es una gran oportunidad de intercambio y aprendizaje.
¿Podría adelantarnos qué temas se abordarán a lo largo del mismo? ¿Cuáles van a ser las áreas de mayor interés?
El lema del congreso es “Trabajando juntos para mejorar la investigación y la evaluación transcultural”, que en un contexto plural y multilingüe como el muestro, es tremendamente relevante. Por ello, algunas de las líneas principales tienen que ver con los retos y soluciones para la traducción de pruebas, y también con la adaptación de pruebas para minorías lingüísticas y culturales. Además, hay otra línea interesante sobre los retos compartidos por la metodología de encuestas, la psicometría y la evaluación psicológica.
Asimismo, aunque el plazo de envío de propuestas aún está abierto y es difícil decir con exactitud los distintos temas tratados, se prevé que haya sesiones dedicadas a la validez y equidad en el uso de las pruebas, el empleo de métodos mixtos (cualitativos y cuantitativos) para evaluar la validez y los sesgos de las pruebas, las innovaciones más recientes en evaluación, como las evaluaciones remotas, o los test “on-the-fly”. Finalmente, los retos y oportunidades que la Inteligencia Artificial plantea para el desarrollo de instrumentos de evaluación, su utilización y las implicaciones éticas que plantean para la evaluación psicológica, formarán parte de la agenda científica del congreso. En definitiva, una gran variedad de temas muy interesantes.
Igual que en ediciones anteriores, el encuentro contará con la presencia de expertos de reconocido prestigio en el ámbito de la evaluación, ¿podría avanzarnos algunos de los ponentes que participarán en él?
Esta edición del congreso contará de nuevo con algunas de las personas más influyentes en el ámbito de la evaluación psicológica y educativa. Por ejemplo, podemos destacar algunas de las ponencias plenarias, como las impartidas por la directora de evaluación en Duolingo, Alina von Davier, que impartirá la charla “El futuro de la supervisión Remota en la evaluación: Garantizando la integridad y accesibilidad a los exámenes en la era digital” o la profesora Jennifer Randall, de la Universidad de Michigan, que impartirá la charla “En busca de evidencias de validez relacionadas con la equidad en las evaluaciones”.
También habrá mesas redondas y paneles de discusión con ponentes de prestigio internacional como Bruno Zumbo (University British Columbia), Ana Villar (Meta) y Beatrice Rammstedt (University of Mannheim), y en las que participarán diferentes asociaciones profesionales y metodológicas para discutir sobre los retos en evaluación psicológica y las posibles estrategias para dar respuesta a dichos retos.
En anteriores ediciones, el Congreso se ha caracterizado por contar con un extenso programa de conferencias, simposios invitados, talleres, etc. ¿Cómo se estructura el programa en este año 2024 y qué novedades nos podremos encontrar?
Todavía no contamos con el programa definitivo, pero está previsto que el primer día, el 2 de julio esté dedicado a talleres y curso cortos de formación. La oferta es muy variada, ocupándose de temas como el tratamiento de los sesgos de respuesta, la fijación de estándares en los test educativos y de desempeño, la generación automática de ítems basados en inteligencia artificial, el uso de la inteligencia artificial para obtener puntuaciones a partir de las respuestas que dan las personas a ítems de respuesta abierta, o las mejores prácticas en traducción y adaptación de test.
Todos ellos serán impartidos por profesionales y académicos de primera línea. A partir del día 3 el programa contará con un nutrido número de simposios, sesiones de presentaciones orales y póster, junto con mesas de debate y charlas plenarias. Como novedad, en este congreso de la ITC, se proponen una serie de actividades para facilitar el intercambio “empresa-academia”, que como he dicho antes, tienen como objetivo conectar el trabajo de los profesionales aplicados con el de los investigadores y contribuir así a reducir la brecha existente entre ambos ámbitos.
Pero no todo va a ser trabajo. El congreso ofrece también un programa social muy atractivo, que incluye una visita nocturna a la Alhambra.
¿Qué oportunidades únicas ofrece este nuevo encuentro para todas las personas interesadas en participar, especialmente, en materia de evaluación de test?
El congreso de la ITC es una oportunidad única para mantenerse al día en los avances que se están produciendo en el ámbito de la evaluación, para continuar formándose en materia de evaluación mediante test y para fortalecer la comunidad de profesionales interesados por la evaluación psicológica y educativa. Este año resulta más fácil asistir, al celebrarse en nuestro país. Por lo que, desde el comité organizador del congreso nos gustaría animar a los colegiados del COP a participar de las charlas o incluso a enviar alguna propuesta que aborde los temas que les preocupan o algunas de sus experiencias de buenas prácticas de evaluación. Los colegiados que sean también miembros de la ITC tendrán un descuento adicional en la inscripción al congreso.
¿Cuáles son sus expectativas con respecto a la celebración de este Congreso?
Es el primer congreso presencial de la ITC desde el año de 2018. Y está generando un gran interés, así que no tengo ninguna duda de que será un éxito. Cuando finalice y volvamos a casa, seguro que nos llevamos ideas para nuevas investigaciones para mejorar la calidad técnica de las pruebas, lecciones aprendidas sobre cómo hacer un uso mejor de las mismas, más válido, ético y justo, y sobre la importancia de las diferencias culturales, y un mayor entendimiento sobre cómo la inteligencia artificial y la tecnología están cambiando las evaluaciones, sus ventajas e inconvenientes. No olvidemos además la posibilidad de haber incrementado nuestra red de contactos profesional y haber vivido una experiencia científica y cultural enriquecedora.
Para finalizar, ¿le gustaría añadir algún otro comentario?
Dar las gracias a los miembros del comité organizador del congreso y en especial a sus presidentes (los profesores José Luis Padilla, Isabel Benítez y Luis Manuel Lozano), por el duro trabajo que están realizando para organizar un congreso internacional de tal magnitud. Y animar a los colegiados a que entren en la web del congreso https://www.itc2024granada.com/ y se animen a participar. Y como no, agradecer al Consejo General del COP que sea un altavoz para la Comisión de Test y las acciones que tienen que ver con la mejora de la evaluación mediante test, como es este congreso de la ITC.
NOTA: En esta entrevista, con el fin de facilitar la lectura de la misma y siguiendo convenciones de la Real Academia Española de la Lengua, se ha usado género masculino de forma genérica, incluyendo a todas las personas, independientemente de su género.
REFERENCIAS
Hernández, A., Hidalgo, M., Muñiz, J., y Fernández-Hermida, J. R. (2021). Diferencias de opinión sobre el uso de los test: su relación con la edad, el género y el sector laboral. Papeles del Psicólogo, 42(2), 94-104.
Jimenez, P. y Schallmoser, T. (2022). Guiding European Testing Practice by Understanding Attitudes Toward Tests and Testing. Trabajo presentado en el 17th European Congress of Pyshcology. Liubliana (Slovenia).
Muñiz, J., Hernández, A., y Fernández-Hermida, J. R. (2020). Utilización de los test en España: El punto de vista de los psicólogos. Papeles del Psicólogo, 41(1), 1-15.