¿Los resultados de las investigaciones psicológicas son fiables?

En abril de 2015 se ha dado por finalizado uno de los proyectos de investigación psicológica más ambiciosos, consistente en someter a pruebas de replicación un total de 100 estudios originales en Psicología. De los 100 experimentos sometidos a estas pruebas, sólo se han replicado 39, es decir, 61 estudios no han conseguido ser replicados, aunque con algunas matizaciones, ya que de estos 61 estudios que han dado resultados negativos, los investigadores han considerado que 24 de ellos obtenían resultados “moderadamente similares” a los originales (es decir, presentaban el mismo patrón de resultados que el estudio original, aunque sin alcanzar el nivel de significación estadística convencional).

La revista Nature se ha hecho eco de estos primeros resultados, que aún se encuentran bajo el proceso de revisión de pares en la revista Science, a través de un artículo titulado First results from psychology’s largest reproducibility test.

El proyecto al que pertenece este estudio, denominado “Reproducibility Project: psychology” (Proyecto de Replicación: Psicología), supone el mayor esfuerzo de colaboración entre diferentes equipos de investigación repartidos a lo largo del mundo, con el objetivo de replicar trabajos originales en Psicología. Dichos trabajos han sido seleccionados por denuncias previas de fraude, limitaciones en los análisis estadísticos o por su interés como experimentos clásicos en este campo. Dentro de esta reciente línea de trabajo por la replicación de resultados en Psicología se enmarca también el proyecto ManyLabs, del que ya se informó en Infocop (ver aquí), y en el que se reprodujeron con éxito los resultados de un total de 10 de los 13 experimentos originales seleccionados.

En este nuevo proyecto, iniciado en el año 2011, han participado 270 científicos de todo el mundo, que han tratado de reproducir las principales conclusiones de una muestra de artículos publicados, en el año 2008, en tres revistas principales sobre Psicología (Journal of Personality and Social Psychology, Psychological Science y Journal of Experimental Psychology: Learning, Memory, and Cognition), constituyendo el primer proyecto de replicación sistemática en Psicología de esta envergadura.

Los diferentes equipos de investigación a los que se encomendó la tarea de replicar los estudios originales siguieron un protocolo estructurado en el que los experimentos, los análisis estadísticos, los tamaños de las muestras y los criterios de replicación estaban establecidos previamente. El Proyecto fue dirigido por el Centro de Ciencia Abierta (Center for Open Science) en Charlottesville (Virginia, EE.UU.), mediante un sistema abierto y accesible online.

Tal y como era de esperar, los resultados, dados a conocer en el artículo de la revista Nature, han abierto el debate en torno a la fiabilidad de las conclusiones en Psicología. Para algunos autores, y según se recoge en el citado artículo, estos resultados ponen en evidencia que la Psicología tiene un problema grave de replicación. “Muchos de los científicos que trabajan dan por sentado que si algo se publica es que es correcto”, ha afirmado Hal Pashler de la Universidad de California en San Diego, lo que dificulta la identificación de “falsos positivos” que se dan en la literatura psicológica.

No obstante, el texto también recoge la opinión contraria de otros investigadores, como la de Daniele Fanelli de la Universidad de Stanford en California, que advierte que en realidad la Psicología no se queda por detrás de otros campos de estudio, como la Biología del cáncer o la Farmacología, donde el éxito en la replicación de resultados es incluso menor.

Asimismo, y según señala Brian Nosek, uno de los psicólogos que lidera el proyecto, hay que tener en cuenta la dificultad que entraña determinar hasta qué punto se ha fallado en el proceso de replicación del estudio original. Para este investigador, no hay una manera simple o estándar para contestar si un estudio ha sido replicado 100% o no. Y es que los equipos no siempre pueden replicar exactamente los experimentos originales, siendo las variaciones, en algunas situaciones, inevitables. Tal es el caso de un estudio israelí que planteaba como escenario un compañero que tenía que faltar al trabajo por causa de baja por maternidad o servicio militar y que investigadores de EE.UU. replicaron utilizando como causa de baja una boda o una luna de miel. Otras variaciones se deben a los materiales o recursos electrónicos empleados… En definitiva, “las categorías rígidas, del todo o nada, no son útiles”, afirma Greg Hajcak, psicóloga clínica de la Universidad de Stony Brook en Nueva York y autora de uno de los estudios que no ha sido replicado, pero cuyos resultados obtenidos han seguido el mismo patrón que el estudio original, aunque no han alcanzado el nivel de significación estadística convencional. Por otro lado, además de estos problemas que se plantean en la replicación de los estudios, la revista Nature alude también a la existencia de posibles sesgos en la interacción entre los equipos de investigación y los autores originales de los estudios replicados.

En cualquier caso, y aunque parece que todavía queda mucho camino por recorrer, la comunidad científica muestra su acuerdo en considerar la importancia de ampliar nuestro conocimiento sobre los problemas de replicación en Psicología y de continuar invirtiendo esfuerzos en esta dirección, ya que esta línea de trabajo permitirá que la disciplina se vea fortalecida. A este respecto, algunos investigadores plantean que es necesario incorporar cambios para que la replicación se generalice y esté patente en todas las revistas científicas psicológicas.

Más información en:

Proyecto de Replicación: Psicología