Como ya saben nuestros lectores, la Comisión Nacional de Test, perteneciente al Consejo General de la Psicología de España, elabora anualmente una evaluación de los test editados en nuestra país, con la finalidad de ayudar a los y las profesionales en la toma de decisiones de uso de los test, brindándoles información acerca de su calidad mediante criterios teóricos, prácticos y psicométricos.
Dicha Comisión está conformada por psicólogos y psicólogas procedentes del ámbito académico, de las editoras de test y del propio COP, que, desde el año 1995, vienen trabajando de forma conjunta con el objetivo primordial de promocionar y potenciar el uso adecuado de los test en España, mejorando su calidad y, con ello, la práctica profesional.
A este respecto, la última edición de la revista Papeles del Psicólogo, correspondiente al mes de mayo, ha publicado un artículo donde se presentan los resultados de la décima evaluación de test, llevada a cabo tanto por la Comisión como por diferentes casas editoriales (TEA Hogrefe, Pearson Educación y Giunti Psychometrics) y catorce evaluadores (profesores de las áreas de Metodología de las Ciencias del Comportamiento, de Personalidad, Evaluación y Tratamientos Psicológicos y de Psicología Evolutiva y de la Educación, así como algunos/as especialistas clínicos/as).
Este proceso de revisión se inició en 2010, valorando pruebas tan conocidas como el WISC-IV, el NEO PI-R o el PROLEC-R, y su éxito ha quedado patente desde entonces hasta la actualidad, con 96 test ya revisados.
En esta décima edición se han revisado los siguientes test psicológicos: BASC-3 (Sistema de evaluación de la conducta de niños y adolescentes); CIT (Cuestionario de Impacto del Trauma); CPF (Cuestionario de Personalidad Forense); CTE (Cuestionario de Talento Emprendedor); DABS (Escala de Diagnóstico de Conducta Adaptativa); PROLEXIA (Diagnóstico y Detección Temprana de la Dislexia).
Asimismo, se han valorado las propiedades psicométricas de una prueba no comercial, la Escala de Depresión Geriátrica (GDS), mencionada entre los 25 test más usados por psicólogos y psicólogas españoles/as. De acuerdo con el autor de este artículo, “evaluar test no comerciales, desarrollados en contextos académicos, es crucial, ya que enriquece el conjunto de herramientas disponibles para los profesionales”.
¿Cómo se lleva a cabo el proceso de revisión de test?
Todos estos test pasan por un arduo proceso valorativo que comienza con una propuesta por parte de las editoriales a la Comisión de Test del COP, de la selección de pruebas que quieren someter a evaluación. Adicionalmente, desde la Comisión de Test, se ha decidido añadir una prueba no comercializada (la GDS).
El proceso de revisión para las pruebas comerciales sigue un protocolo similar al de ediciones anteriores. Esto es, la elección de un/a coordinador/a (autor de este artículo), encargado, a petición de la Comisión Nacional de Test, de seleccionar un panel de expertos/as evaluadores. Una vez aceptada la tarea, se les envía la versión revisada del Cuestionario para la Evaluación de los Test (CET-R) -adaptación española del modelo de evaluación de test desarrollado por la EFPA (Hernández, Ponsoda, Muñiz, Prieto y Elosua, 2016; Prieto y Muñiz, 2000)-, con instrucciones sobre algunas observaciones generales e importantes (tales como, no considerar información ajena a la documentación entregada o, en el caso de pruebas adaptadas, ponderar de forma distinta los estudios de la versión original y la forma adaptada), junto con un glosario de términos psicométricos, para facilitar que todos los revisores les asignen el mismo significado.
Los revisores reciben un ejemplar completo del cuestionario que deben evaluar, con el fin de que recojan información relativa a la calidad de los materiales, el análisis formal y psicométrico de los ítems, la validez y la fiabilidad de las pruebas, etc., y, a la par, realicen una valoración global, informando sobre la idoneidad del instrumento y señalando sus puntos fuertes y débiles.
De los instrumentos de evaluación se espera que posean determinadas características que justifiquen su uso: las propiedades psicométricas deben ser buenas (se debe evaluar con una precisión adecuada, el cuestionario debe haber mostrado evidencias de validez), la baremación debe ser actual, la muestra empleada, tanto para la baremación como para el cálculo de las propiedades psicométricas, debe ser la adecuada teniendo en mente el uso que se pretende realizar, etc.
Una vez aplicado el CET-R a la prueba que se les ha adjudicado, los revisores lo devuelven cumplimentado al coordinador, que se encarga de poner en común los dos informes realizados por los revisores (respuestas de revisión por pares). En caso de discrepancias entre las calificaciones, es el coordinador quien determina la calificación final, teniendo en cuenta el razonamiento del experto y la información del manual de la prueba. Posteriormente, redactar un informe preliminar para cada uno de los test, que se envía a cada editorial responsable del cuestionario, para que puedan realizar alegaciones en caso de considerarlo oportuno.
Tras atender a la información proporcionada por los expertos y expertas y las casas editoriales, el coordinador presenta la versión definitiva del informe a la Comisión Nacional de Test. Un miembro de la Comisión revisa los informes definitivos y se incorporan sus sugerencias de estilo antes del envío final para su publicación.
Protocolo específico con respecto a la Escala no Comercial (la GDS)
Las revisiones suelen centrarse principalmente en test comerciales, siendo estos los más utilizados por la mayoría de los psicólogos y psicólogas españoles/as, excepto en esta ocasión, en que se ha revisado la Escala de Depresión Geriátrica (GDS). De acuerdo con el coordinador de la revisión, hasta el momento, tan solo se ha analizado un test no comercial: la escala revisada de predicción del riesgo de violencia grave contra la pareja (EPV-R; Echeburúa et al., 2010; revisada en Ponsoda y Hontangas, 2013).
No obstante, señala, “muchos test de fuentes académicas se usan tanto en la academia como fuera de ella”, motivo por el cual la Comisión de Test se ha propuesto avanzar en la evaluación de pruebas no comerciales usadas profesionalmente, evaluando la GDS. Se prevé que en la siguiente, se evalúen las Escalas de Tácticas de Conflicto (CTS; Straus, 1979).
Para el autor, revisar pruebas no comerciales “conlleva afrontar desafíos significativos, como la falta de manuales completos y la dispersión de la información relevante”. Asimismo, en el caso de adaptaciones, es fundamental establecer “criterios claros para determinar qué versiones de un test evaluar”.
El proceso que se sigue aquí comienza generándose un listado de versiones adaptadas, realizando una búsqueda bibliográfica en la Web of Science y partiendo del trabajo de revisión de Cabañero-Martinez et al. (2007).
El rol del coordinador en esta evaluación incluye algunas funciones adicionales
A la hora de seleccionar de entre la diversidad de adaptaciones, el autor del artículo pone de relieve la importancia de considerar determinados factores, como la fidelidad de la adaptación al instrumento original, el uso extendido en la práctica clínica y en investigaciones previas, así como la calidad de la traducción y adaptación cultural. De igual modo, es esencial tener en cuenta la información disponible sobre las propiedades psicométricas de la adaptación en muestras locales y, en el caso de pruebas desarrolladas originalmente en español, considera relevante determinar de qué modo deben seleccionarse los estudios más pertinentes.
El rol del coordinador en esta evaluación incluye algunas funciones adicionales, siendo responsable de seleccionar las fuentes documentales adecuadas, lo que implica una búsqueda meticulosa en bases de datos académicas y la revisión de literatura relevante.
Con esos criterios se han localizado un total de 103 artículos y más de 20 versiones que varían en número de ítems (siendo 15 y 30 las longitudes más frecuentes). Después, se han establecido los criterios para elegir la versión a revisar, teniendo en cuenta: (a) número de citas recibidas en Google Scholar, Web of Science y/o Scopus; (b) inclusión en trabajos de revisión de las adaptaciones de escalas de depresión o en bancos de instrumentos de salud mental (p. ej., CIBERSAM); (c) reconocimiento por parte del autor original de la adaptación de la escala (p. ej., listando la versión en su página web); (d) tamaño y representatividad de las muestras de validación.
A partir de la información recogida se ha valorado que la versión abreviada de Martínez de la Iglesia et al. (2002, 2005), de 15 ítems, parece la opción más popular, atendiendo, por ejemplo, al número de citas de los trabajos, a la inclusión en la revisión de instrumentos de screening para la depresión, en español, de Reuland et al. (2009) o en la página web del autor de la versión original. Además, dicha versión es una de las dos mejor puntuadas en la revisión de Cabañero-Martínez et al. (2007), que consideran que es la única en la que se informa de la realización de un adecuado proceso de adaptación transcultural.
Tras seleccionar la versión específica de la GDS de Martínez de la Iglesia et al., se ha emprendido una revisión exhaustiva de los artículos que citan estos trabajos, utilizando las bases de datos Scopus y Web of Science (WoS). Se han localizado 224 trabajos, seleccionando, finalmente, un conjunto de 14 artículos entre los que destacan los tres artículos fundamentales sobre el desarrollo de la versión original de la escala (Brink et al., 1982; Yesavage et al., 1982, 1986), siete artículos que ofrecen información relativa a las propiedades psicométricas de la versión adaptada (los más importantes: Martínez de la Iglesia et al., 2002, 2005; Lucas-Carrasco, 2012; Delgado-Losada et al., 2021), y cuatro trabajos de revisión o síntesis, tanto de la versión adaptada como de la original.
Adicionalmente, se ha brindado a los revisores un compendio de 55 artículos citados en estas revisiones, para permitirles profundizar en aspectos más específicos en caso necesario (por ej., el funcionamiento diferencial de los ítems, estudios sobre la estructura interna, o investigaciones acerca de la generalización de la fiabilidad de la escala).
Los resultados ponen de relieve la alta calidad de los test editados en España
Los resultados obtenidos en esta décima edición ponen de relieve la alta calidad de los test editados en España, con buenas puntuaciones y estudios exhaustivos de las propiedades psicométricas, incluyendo el uso de técnicas avanzadas como la TRI o la tipificación continua.
Se considera valorable que varias pruebas incluyan estudios sobre los puntos de corte, “que enriquecen la interpretación de las puntuaciones”. Entre las diversas recomendaciones, el autor del artículo señala la relevancia de incrementar los estudios sobre el funcionamiento diferencial de los ítems y precisar las hipótesis al describir las evidencias de validez convergente y discriminante, así como evitar la extrapolación de resultados de estudios de validación de una muestra a otra con características distintas.
De igual modo, dado que se observa que cada vez es más frecuente la omisión de los baremos del manual (lo que dificulta su evaluación), se considera clave que las editoriales ofrezcan la información como material adicional para el proceso de revisión del test.
Con respecto a la evaluación de la prueba no comercial, dado que algunos criterios importantes del CET-R “resultan inaplicables a pruebas carentes de manual ni materiales impresos”, es necesario tanto adaptar el enfoque de evaluación, como que los investigadores generen este tipo de materiales.
El CET-R constituye una herramienta formativa importante para futuros psicólogos y psicólogas
El autor concluye su artículo resaltando las bondades del modelo CET-R, al guiar a autores y editores en el desarrollo y adaptación de pruebas, y al contribuir a la difusión de pruebas menos conocidas “pero ampliamente utilizadas y respaldadas por evidencias de calidad técnica y psicométrica”.
Destaca como herramienta formativa importante para los futuros psicólogos, “concienciándolos sobre los estándares que deben exigir en la aplicación de los test”. En relación al modo de mejorar el conocimiento de estos procesos entre los psicólogos y las psicólogas en nuestro país, el autor considera conveniente la creación de una base de datos de test evaluados, organizada por constructos o áreas de evaluación, para facilitar las comparativas. En este sentido, recoge el buscador de test del Consejo General de la Psicología (https://www.jornadas.cop.es/evaluacionTest/), que permite búsquedas por palabras clave y mejora el acceso a estas evaluaciones.
Todo este procedimiento de evaluación, presentado a grandes rasgos, constituye un medio eficaz para mejorar los test y su práctica, al ofrecer a los posibles usuarios/as de estas pruebas una información objetiva y actualizada de la mano de expertos y expertas en el ámbito (los resultados de las evaluaciones realizadas son públicos y se puede acceder a ellas a través de la página web del Consejo General de la Psicología).
Se puede acceder al artículo a través de la revista Papeles del Psicólogo o bien directamente aquí: