El 28 de agosto de 2015 la revista Science liberaba del embargo editorial al proyecto Reproducibility Project: Psychology (Proyecto de Replicación: Psicología), publicando oficialmente el artículo Estimating the reproducibility of Psychological Science (Estimando la replicabilidad de la Psicología Científica). El proyecto, que se puso en marcha hace cuatro años, ha supuesto la investigación más comprehensiva realizada hasta la fecha sobre la replicabilidad de la Psicología, llevando a cabo 100 réplicas de estudios publicados en 3 de las revistas más importantes de Psicología. Los autores han encontrado que, independientemente del método analítico o del criterio usado, menos de la mitad de las réplicas producen los mismos resultados que los del estudio original. Sobre este proyecto y sus características generales ya se informó en Infocop (ver ¿Los resultados de las investigaciones psicológicas son fiables?).

El proyecto ha contado con representación española por parte de dos investigadores: David Santos y Belén Fernández-Castilla. Tal y como afirma David Santos, investigador de la Universidad Autónoma de Madrid, “este proyecto supone la mayor colaboración internacional hasta la fecha en el ámbito de la Psicología y nos enseña cómo funciona la ciencia abierta en todas sus facetas”. Por su parte, la otra investigadora española, Belén Fernández-Castilla, de la Universidad Complutense de Madrid, ha apuntado que “los científicos investigan sobre cosas que no están del todo entendidas y estas observaciones iniciales pueden no ser robustas”.

Según han explicado los miembros del equipo responsable de la investigación, la baja tasa de replicación puede ser debida a tres razones. En primer lugar, incluso aunque muchos de los equipos de investigación han trabajado estrechamente con los autores originales, las pequeñas diferencias inevitables respecto a cuándo, dónde, o cómo se ha llevado a cabo la réplica pueden haber influido en los resultados. En segundo lugar, la réplica puede haber fallado en detectar el resultado original debido al propio azar. Finalmente, el resultado original puede haber sido un falso positivo. Johana Cohoon, otra de las coordinadores del proyecto y representante del Centro de Ciencia Abierta, ha concluido que “los resultados demuestran que replicar un resultado original puede ser más difícil de lo que asumimos, y que podemos necesitar otro tipo de intervenciones para mejorar esta tasa de replicabilidad”.

Los resultados del estudio han sido objeto de debate en el ámbito científico y universitario. De esta manera, otros investigadores han hablado sobre el proyecto y su repercusión en el mundo de la Psicología y en el panorama científico en general. “Creo que sabíamos o sospechábamos que la literatura tenía ciertos problemas, pero verlo tan claramente, en una escala tan amplia – no tiene precedentes”, ha señalado Jelte Wicherts, un profesor titular del departamento de Estadística y Metodología de la Universidad de Tilburg en Holanda. El Dr. John Ioannidis, director del Centro de Innovación en Meta-Investigación de la Universidad de Stanford, quien previamente había estimado que la mitad de los resultados publicados en Medicina estaban inflados o eran erróneos, ha comentado que el porcentaje en Psicología es mucho mayor de lo que había pensado. También ha añadido que el problema podría ser incluso peor en otros campos, como la Biología Celular, la Economía, la Neurociencia, la Medicina Clínica y la Investigación Animal.

“Vemos estos resultados como una llamada a la acción, tanto a la comunidad científica para que realice más réplicas, como a las entidades de financiación y revistas para que solucionen el problema con los incentivos”, ha dicho Brian Nosek, profesor de la Universidad de Virginia y director ejecutivo del Centro de Ciencia Abierta.  A este respecto, en una rueda de prensa que tuvo lugar inmediatamente después de la publicación del artículo, Marcia McNutt, la editora jefa de Science, advirtió que “había que tener cuidado para que este artículo no se vea como la última palabra sobre la replicabilida,  sino todo lo contrario, como el principio”.

Siguiendo en la misma línea, en una conferencia con periodistas que tuvo lugar inmediatamente después de la publicación del artículo, Marcia McNutt, la editora jefa de Science, comentó que “había que tener cuidado para que este artículo no se vea como la última palabra sobre la replicabilidad sino todo lo contrario, como el principio”.

De hecho, muchas organizaciones, entidades de financiación, y editoriales están ya trabajando para mejorar la replicabilidad. Por ejemplo, en 2014, la revista Psychological Science –una de las revistas incluidas en este estudio- implementó nuevos procedimientos, como el uso de insignias para reconocer el intercambio abierto de datos y materiales. “Los esfuerzos incluyen incrementar la transparencia de los materiales, los datos, los códigos de las investigaciones originales, de tal forma que otros equipos puedan evaluar, replicar y extender de forma más precisa los resultados originales,  y el registro previo de diseños de investigación, para incrementar la robustez de las inferencias realizadas con las técnicas de análisis estadístico aplicadas a los resultados”, ha explicado Denny Borsboom, un miembro del equipo de la Universidad de Amsterdam que también ha estado involucrado en la creación de las guías para la promoción de la apertura y la transparencia en investigación (TOP, Transparency and Openness Promotion Guidelines), publicadas en Science en junio.

Más información en:

Artículo en Science sobre los resultados de Reproducibility Project: Psychology.

Sitio web de Reproducibility Project: Psychology en la plataforma Open Science Framework con todos los detalles sobre el proyecto, materiales, datos y el resto de autores participantes.

Sitio web de TOP Guidelines con el link a la publicación en Science de junio de 2015 donde se informa sobre la guía, los signatarios (más de 500 revistas), y esfuerzos relacionados a lo largo de distintas disciplinas científicas.

Open Science Framework: Infraestructura gratis y con fuentes abiertas para investigadores con el objetivo de facilitar que se compartan datos y materiales.