“La formación universitaria en Psicología no garantiza el buen uso de cualquier test de por vida. La tradición y la inercia institucional a usar determinados test (aunque se publiquen nuevos test con mejores propiedades psicométricas y baremos), el desconocimiento sobre los nuevos avances psicométricos, o el impacto de las nuevas tecnologías, entre otras cuestiones, pueden llevar a un mal uso de las pruebas.”

Así lo afirma la psicóloga Ana Hernández Baeza en la siguiente entrevista que Infocop le ha realizado con motivo de su reciente nombramiento como representante de los psicólogos españoles, en el Board of Assessment de la EFPA.

Ana Hernández Baeza es profesora titular de Psicometría en la Universitat de València, con doble afiliación con el departamento de Metodología de las Ciencias del Comportamiento y el IDOCAL (Instituto Universitario de Investigación en Psicología de los Recursos Humanos, del Desarrollo Organizacional y de la Calidad de Vida laboral).

Es miembro de la Comisión de Tests del COP y sus principales líneas de investigación se relacionan con la validez de los instrumentos de medida y funcionamiento de las escalas, así como con el clima y liderazgo de los equipos de trabajo, entre otras. Cuenta en su haber con numerosas publicaciones relacionadas con su ámbito de estudio en revistas como Multivariate Behavioral Research, Journal of Applied Psychology, Structural Equation Modeling, Psicothema o European Journal of Work and Organizational Psychology.   

ENTREVISTA

A modo de introducción, ¿podría explicarnos qué supone para usted desempeñar este cargo, como representante de los psicólogos españoles, en el Board of Assessment de la EFPA?

Una gran responsabilidad, por supuesto. Pero también un gran honor tomar el relevo de mi predecesor, José Muñiz, que ha coordinado la Comisión de Test del Consejo General de la Psicología hasta hace unas semanas y que fue el representante del Colegio en esta comisión de la EFPA desde sus inicios, presidiéndola durante varios años.

El objetivo del Board of Assessment de la EFPA es promover acciones para la mejora continua de la evaluación mediante test. Formar parte de esta comisión te da la oportunidad de trabajar en sintonía con otros países, aprender de ellos, y aportar ideas para mejorar la evaluación psicológica. Todos sabemos que la evaluación es una actividad inherente al quehacer diario de los psicólogos y psicólogas, sea cual sea su área de especialización. Y también que los test son una herramienta fundamental para dicha evaluación. Por ello, los proyectos de la comisión pueden tener un gran alcance si se implementan de forma adecuada. De ahí la gran responsabilidad, que además conlleva un reto: conseguir que las nuevas medidas y acciones adoptadas por la EFPA sean adecuadamente adaptadas a nuestro contexto y sean bien acogidas por los profesionales, para conseguir los cambios y las mejoras buscadas.

Como representante de la comisión del Board of Assessment de la EFPA en España, ¿se marca algún objetivo a alcanzar durante su cargo?

Creo que la línea de trabajo seguida hasta ahora merece una continuidad, ya que se han ido desarrollando acciones encaminadas a mejorar los tres pilares básicos que garantizan una evaluación de calidad: la competencia de los profesionales y usuarios de las pruebas psicológicas, la calidad de las propias pruebas y el rigor en el proceso de evaluación, siempre basado en evidencias. Pero eso no quiere decir que no tenga objetivos concretos referidos a cada uno de estos pilares.

Por lo que se refiere a la competencia de los profesionales, en España se da por hecho que solo deberían usar los test quienes poseen el título de Psicología, y también que este título universitario garantiza que las personas han adquirido las competencias mínimas exigibles para hacer un buen uso de los test. Y yo creo que, en general, nuestros titulados sí adquieren una formación básica adecuada en materia de test, que suelen mejorar a través de los másteres. Sin embargo, la formación universitaria en Psicología no garantiza el buen uso de cualquier test de por vida. La tradición y la inercia institucional a usar determinados test (aunque se publiquen nuevos test con mejores propiedades psicométricas y baremos), el desconocimiento sobre los nuevos avances psicométricos, o el impacto de las nuevas tecnologías, entre otras cuestiones, pueden llevar a un mal uso de las pruebas. De hecho, en la última encuesta que recoge la opinión y prácticas de los psicólogos colegiados sobre los test (Muñiz et al., 2020), hay varios indicadores que claramente muestran la necesidad de seguir mejorando las prácticas del uso de test. Por ejemplo, un porcentaje de profesionales pequeño, pero relevante, reconocen que no comprueban las propiedades psicométricas de los test antes de usarlos. O también que, en su entorno profesional, los test no se restringen al personal cualificado o no se está al día en materia de test. Por lo tanto, es necesario seguir insistiendo en la mejora del uso de los test, lo que implica mejorar las competencias de los usuarios de test.

Una posibilidad para garantizar estas competencias sería impulsar una estrategia restrictiva como la de introducir un sistema de certificación de usuarios de test, copiando el modelo europeo impulsado por la EFPA. Pero por ahora preferimos seguir potenciando las vías de formación continua (por ejemplo, a través del FOCAD), y también las vías informativas, con la diseminación de las directrices sobre buenas prácticas en el uso de los test, y las consecuencias de las malas prácticas

En cuanto a la calidad de las pruebas, la EFPA cuenta con un modelo de evaluación de la calidad de los test que, desde su primera propuesta en 2002, ha sido revisado y modificado a lo largo de los años. De hecho, hace pocos meses comenzó a planificarse una nueva revisión del modelo. También se está trabajando en el diseño de un procedimiento que facilite la implementación del modelo en los distintos países. En estos puntos, España está en una posición ventajosa. La Comisión de Test del Consejo General del COP cuenta con su propio modelo adaptado desde hace tiempo. Es el llamado Cuestionario de Evaluación de Test -CET, que fue propuesto por Gerardo Prieto y José Muñiz en el año 2000 y revisado en 2016. El CET y su versión revisada (CET-R) se han ido implementando anualmente desde 2011 con más de 80 test revisados hasta la fecha. Por ello, nuestra experiencia junto con las de otros países que también realizan estas evaluaciones, como Reino Unido u Holanda, puede ser un input muy importante para implementar esta acción en otros países. En España, los resultados de las evaluaciones pueden consultarse a través de la página web del COP y pueden ser muy útiles para tomar una decisión informada sobre qué test puede resultar más adecuado para cada caso. Esta es una línea que consideramos central y en la que se seguirá trabajando, aportando nuestra experiencia, pero también mejorando nuestro modelo de evaluación a partir de las actualizaciones y mejoras introducidas en el modelo europeo.

Y, finalmente, el proceso de evaluación recoge todos los aspectos del uso de los test (desde las cualificaciones exigidas por quienes los administran, hasta la elaboración de informes). La norma ISO10667 que regula la evaluación de personas en contextos organizacionales, es un input formidable para sistematizar los procesos de la evaluación en los distintos ámbitos de la Psicología. La EFPA también impulsa este tipo de proyectos en los que nos implicaremos en la medida de lo posible.

Además de representar al COP en el Board of Assesment, también coordinará la Comisión de Test. ¿Cómo valora la calidad de las pruebas que se publican en España?

En general la valoración es muy positiva. Así lo demuestran los resultados de las evaluaciones de las pruebas que publican las principales editoriales de test (CEPE, GiuntiEOS Psychometrics, Pearson y TEA) realizadas mediante el CET. Por supuesto que siempre se puede mejorar. Y en ello estamos trabajando junto con las editoriales, que están plenamente implicadas en la mejora constante de las pruebas y los manuales que las acompañan. Lógicamente todavía hay test pendientes de actualización y revisión, pero poco a poco se va trabajando en ello.
Nos preocupa más la existencia de algunas pruebas que se publicitan con campañas de marketing muy atractivas, y que son muy sofisticadas tecnológicamente, pero que no se acompañan de suficientes evidencias de calidad. Obviamente, no es suficiente con que indiquen que hay estudios que avalan su uso, como se hace en algunos casos. Es necesario que proporcionen un manual técnico que incluya estudios empíricos sobre la calidad psicométrica de las pruebas. Los profesionales deberían ser muy exigentes en este sentido.

¿Podría explicarnos por qué es necesaria una comisión de Test para quien no lo sepa?

Como he dicho antes, los test son herramientas esenciales en el día a día de la práctica profesional de la Psicología. Como cualquier herramienta, su utilidad depende de lo buena que sea para lograr el propósito para el que se diseñó, y también del uso que se haga de ella. Por ello la comisión tiene dos objetivos principales: potenciar la calidad de los test en nuestro país y velar por el uso adecuado de los test.

Para lograr estos objetivos la comisión realiza múltiples acciones, como la evaluación de la calidad de los test que he comentado anteriormente, o la realización de estudios para conocer la opinión que los psicólogos tienen sobre los test, cómo los usan y cuáles son los principales problemas con los que se encuentran. También trabaja en la difusión de buenas prácticas (mediante la traducción de directrices internacionales, la publicación de trabajos divulgativos y la participación en mesas de debate) y en la promoción de cursos de formación y actualización en materia de construcción de test, por ejemplo, dentro del programa del FOCAD que ofrece el Consejo General del COP. Finalmente, la comisión responde a las dudas, sugerencias y denuncias que va recibiendo sobre el uso de los test.

En año de pandemia, el uso de las tecnologías se ha disparado, ya no solo a nivel personal, sino también laboral, educativo, etc., dando un paso de gigante como no se había visto antes. ¿Cómo valora este avance? ¿Cree que influirá en la evaluación psicológica?

Las tecnologías de la comunicación y la información ya estaban teniendo un importante impacto sobre el proceso evaluativo mucho antes de la pandemia. Han afectado y están afectando enormemente al diseño de los ítems, a la administración de las pruebas, o a la forma de puntuar los test y elaborar informes. También están contribuyendo al auge de la evaluación ambulatoria, que permite registrar mediante dispositivos móviles información sobre las conductas, emociones, pensamientos, etc., de las personas, manteniendo una perspectiva personalizada, dinámica, contextual y ecológica. Incluso hay ejemplos de evaluaciones a partir del big data, analizando, por ejemplo, la información de las redes sociales; y se está introduciendo la gamificación en los test, que traslada la mecánica de los juegos a la evaluación.

Centrándonos en la pandemia, lo que sí que ha traído la situación particular vivida, es la necesidad de llevar a cabo tele-evaluaciones y de aplicar los test de forma remota. Los profesionales se han ido adaptando a esta situación lo mejor que han podido, pero la situación ha puesto de manifiesto la necesidad de contar con pruebas que puedan ser administradas con garantías en este contexto. A este respecto, recientemente se ha publicado un trabajo que resume los principales riesgos de la administración remota de test (especialmente cuando estos no se han creado específicamente para su administración on-line) y ofrece una serie de recomendaciones a seguir (Elosua, 2021), que habría que tener muy en cuenta.

Yo creo firmemente que los avances tecnológicos ofrecen grandes oportunidades para la evaluación mediante test. Pero también conllevan ciertos riesgos. Algunos tienen que ver con la seguridad y la privacidad (con cuestiones como el control de los ítems o de la identidad de las personas). Y se está investigando mucho sobre cómo prevenir estos problemas. Pero otro riesgo importante reside en la posibilidad de que los avances tecnológicos que acompañan algunas pruebas de apariencia muy atractiva nos deslumbren y nos hagan perder de vista lo verdaderamente importante: la calidad psicométrica.

No sé si ha tenido oportunidad de pensar en ello aún, pero ¿cuáles cree que deberían ser los objetivos y proyectos, actuales y futuros, de la Comisión?

Creo que tenemos bastante trabajo manteniendo los proyectos y acciones que la comisión venía desarrollando, y que son muy importantes. Pero sí debemos intentar conseguir que las acciones de la comisión tengan un mayor impacto sobre los profesionales. Para tal fin, debemos mejorar los mecanismos de difusión de las acciones y reducir la distancia que en ocasiones existe entre los psicómetras y académicos, por una parte, y los profesionales, por otra. Entre la investigación y las prácticas de evaluación. La comisión de test continuará trabajando para conseguirlo.

Referencias:

Elosua, P. (2021). Aplicación remota de test: riesgos y recomendaciones. Papeles del Psicólogo, 42, 33-37.

Muñiz, J., Hernández, A., y Fernández-Hermida, J. R. (2020). La utilización de los test en España: el punto de vista de los psicólogos. Papeles del Psicólogo, 41, 1-15.