Sesgos en la investigación y publicación de resultados en psicología
2 Nov 2012
En los últimos años, diversos autores han alertado sobre la falta de estudios de replicación en psicología y han insistido en la importancia de este tipo de trabajos para el avance de la investigación científica. Así lo denuncia la revista Nature en un artículo publicado recientemente: Replication studies: bad copy (Estudios de replicación: una mala copia).
Para muchos psicólogos la señal de alarma de que la investigación psicológica tenía problemas, la dio la publicación, en 2011, de los trabajos del psicólogo Daryl Bem sobre la premonición en la revista Journal of Personality and Social Psychology. En su experimento se mostraron 48 palabras a estudiantes voluntarios para pedirles posteriormente que apuntaran tantas palabras como pudieran recordar. A continuación, tuvieron una sesión práctica en la que se les dio un subconjunto de las 48 palabras y se les pidió que las escribiesen. Bem concluyó que algunos sujetos recordaban mejor las palabras que iban a practicar posteriormente. |
|
Tras su publicación, tres equipos de investigación, de forma independiente, trataron de replicar el «efecto psíquico» divulgado por Bem y, al no lograrlo, se enfrentaron a serios problemas para la publicación de sus resultados. Una de las razones que dieron algunas revistas fue que no publicaban réplicas exactas (réplicas que tratan de repetir el experimento lo más fielmente posible al modelo original, para ver si se obtienen los mismos resultados), de estudios ya divulgados.
Los resultados positivos en psicología, pueden comportarse como rumores: fáciles de divulgar, pero difíciles de disipar. Estudios curiosos invaden las revistas, que se esfuerzan por presentar investigaciones nuevas y emocionantes, aunque, no por ello, rigurosas metodológicamente. Mientras tanto, cuando los intentos por replicar estos estudios, fracasan, se quedan sistemáticamente sin publicar. Lo que hace que aunque hay experimentos que todo el mundo sabe que son imposibles de replicar, no queda constancia de ello en la literatura.
Este tipo de problemas se ven acentuados por una serie de hábitos arraigados en la investigación como, modificar los diseños experimentales de forma que se garanticen los resultados positivos, decidir el tamaño de la muestra después de comprobar si los resultados son significativos o seleccionar los estudios antecedentes que confirmen la hipótesis en estudio.
Famosos han sido algunos casos de fraude, como los de los psicólogos Diederick Stapel o el de Dirk Smeesters; que, en parte, no fueron detectados por los problemas a la hora de poner en marcha los estudios de replicación y las dificultades para su publicación.
| Sin embargo, no sólo la psicología se enfrenta al problema del sesgo hacia los resultados positivos, sino que es un fenómeno generalizado en todas las ciencias. En una revisión de 4.600 estudios de diferentes disciplinas, Danielle Fanelli, un sociólogo de la Universidad de Edimburgo encontró que la proporción de resultados positivos se elevó en más del 22% entre 1990 y 2007. Además, en otro de sus estudios, presenta un listado de las disciplinas más propensas a reportar resultados positivos (ver figura 1), encabezado por la psicología y la psiquiatría. Esto está propiciando una preocupante tendencia a publicar sólo los resultados positivos, a no replicar los estudios a pesar de lo importantes que son las réplicas para el avance de la ciencia, e incluso en algunos casos a falsear los datos, todo con el fin de conseguir publicaciones que despierten la curiosidad de los potenciales lectores. |
Sin embargo, no se nos puede olvidar que una réplica negativa no invalida el resultado original. Hay muchas razones y factores por los que tales intentos podrían no tener éxito. Debemos pensar en las réplicas de los estudios como una necesidad para la investigación científica y no como una amenaza para los investigadores. Gracias a las réplicas, ya sean exactas, conceptuales (tratan de demostrar el fenómeno con un paradigma o condiciones experimentales nuevas) o sistemáticas (consisten en modificar las variables que no se consideran cruciales para el fenómeno que se estudia a fin de asegurarse de que sobrevive a tales cambios), se da una mayor comprensión de un fenómeno cuando los investigadores pueden hallar condiciones en las que el fenómeno a estudio no se replica. Cuando se establecen tales condiciones limítrofes y el investigador entiende los factores que controlan la presencia o ausencia del fenómeno, se pueden elaborar mejores teorías.
Impulsados por estas controversias, algunos psicólogos están buscando maneras de animar a los investigadores a realizar réplicas de estudios. Por ejemplo, en enero de 2012, Hal Pashler, psicólogo de la Universidad de California (EE.UU) junto con otros colaboradores, crearon un sitio web llamado PsychFileDrawer donde los psicólogos pueden publicar los experimentos de replicación, ya sean exitosos o no. El sitio ha sido muy bien recibido, aunque todavía cuenta con pocas entradas ya que este tipo de publicaciones expone a los científicos a las críticas de sus colegas y no ayuda a su historial de publicaciones.
Numerosos investigadores han propuesto diferentes soluciones para intentar frenar tanto la tendencia a los resultados positivos como el fraude en las publicaciones, como por ejemplo: que los programas de doctorado obligasen a los doctorandos a la réplica de algún estudio de su campo; que los estudios de replicación se publicasen bajo reglas diferentes; que, al igual que los ensayos clínicos en medicina, hubiera que pre-registrar los trabajos para evitar que se cambien variables según los resultados que se van obteniendo; que se publiquen los estudios con independencia de los resultados; que se pudiera colaborar con los autores originales para la realización de réplicas… Sin embargo, estos cambios tal vez sean una esperanza lejana, ya que a pesar de toda esta evidencia, algunos científicos aún se cuestionan si hay verdaderamente un problema.