Primeros resultados sobre estudios de replicación en Psicología

A pesar de que la replicación de resultados supone un método fundamental para afianzar el conocimiento científico, los estudios de replicación, es decir, las investigaciones que pretenden reproducir experimentos anteriores, apenas suelen implementarse en Psicología.

Con la finalidad de revertir esta tendencia, hace unos años se creó la iniciativa Many Labs Replication Project (Proyecto de Replicación de Muchos Laboratorios – ManyLabs), mediante la cual un gran número de investigadores se puso de acuerdo para replicar 13 hallazgos o efectos conocidos en la literatura sobre Psicología a través de varios equipos de investigación independientes, repartidos por todo el mundo. Específicamente, el proyecto ha sido realizado con 36 equipos con sus muestras de investigación procedentes de 12 países, y reuniendo un total de 6.344 participantes. Estos primeros resultados han sido publicados en un informe, titulado Investigating variation in replicability: a Many Labs Replication Project.

Los 13 efectos psicológicos que han sido objeto de replicación son los siguientes:

• Sesgo del costo hundido (Sunk costs) (Oppenherimer, Meyvis y Davidenko, 2009): es la resistencia que tiene una persona a abandonar un proyecto en el que ha invertido mucho dinero y esfuerzo, a pesar de que se haya demostrado que dicho proyecto es inviable.

• Teoría de la expectativa (Gain versus loss framing) (Tversky y Kahneman, 1981 ): las personas prefieren el riesgo en el caso de las pérdidas, pero optan por la certeza en el caso de las ganancias.

• Sesgo del anclaje (Anchoring) (Jacowitz y Kahneman, 1995): si se proporciona un valor (ancla) antes de solicitar la estimación de un tamaño o distancia, este valor actúa como ancla, sesgando las respuestas de los sujetos hacia esa dirección.

• La falacia del jugador (Retrospective gambler’s fallacy) (Oppenheimer y Monin, 2009): creencia de que la ocurrencia de desviaciones del comportamiento esperado (para una secuencia de eventos independientes de algún proceso aleatorio, como por ejemplo, lanzar un dado) implica una mayor probabilidad de obtener, a continuación, las desviaciones en la dirección opuesta.

• Efecto de las escalas de frecuencia alta vs baja (Low-vs-high category scales) (Schwarz, Hippler, Deutsch, y Strack, 1985): tendencia de los encuestados por la cual suelen asumir que los valores medios de la escala de frecuencia reflejan el comportamiento normal o típico y que los extremos de la escala corresponden a los extremos de la distribución, por lo que utilizan el rango de alternativas de respuesta como marco de referencia para estimar su propia frecuencia de un determinado comportamiento.

• Norma de reciprocidad (Norm of reciprocity) (Hyman y Sheatsley, 1950): las personas tienden a tener una opinión más favorable de las conductas de los miembros de su grupo de pertenencia que de los miembros de otros grupos.

• Permitido/Prohibido (Allowed/Forbidden) (Rugg, 1941): la manera en que esté redactada una pregunta influye en la tendencia de respuesta de los encuestados.

• Reconocimiento de la fuente (Quote Attribution) (Lorge y Curtis, 1936): la fuente de información tiene un gran impacto en cómo se percibe y evalúa la información correspondiente.

• Condicionamiento de la bandera (Flag Priming) (Carter, Ferguson, y Hassin, 2011; Estudio 2): la exposición a imágenes con una bandera del país aumenta las respuestas conservadoras hacia diversas cuestiones políticas.

• Condicionamiento del dinero (Currency priming) (Caruso, Vohs, Baxter, y Waytz, 2013): la exposición a imágenes relacionadas con dinero aumenta la tendencia a apoyar el sistema social del país.

• Efecto del contacto imaginado (Imagined contact) (Hüsnü y Crisp, 2010; Estudio 1): el mero hecho de imaginar una interacción o contacto con miembros de otros grupos étnicos es suficiente para reducir el prejuicio asociado a dichos grupos.

• Las diferencias de sexo en las actitudes matemáticas implícitas (Sex differences in implicit math attitudes) (Nosek, Banaji, y Greenwald, 2002): las mujeres tienen actitudes implícitas más negativas hacia las matemáticas que hacia las artes en comparación con los hombres.

• La relación entre las actitudes matemáticas implícitas y las actitudes autoinformadas (Implicit math attitudes relations with self-reported attitudes) (Nosek y cols., 2002).

De acuerdo a los resultados de esta primera replicación a gran escala, 11 de los 13 efectos psicológicos han sido replicados con éxito (los únicos dos efectos que no han conseguido ser replicados han sido el del condicionamiento de la bandera y el del condicionamiento del dinero).

En cuanto a los efectos psicológicos que se han replicado, en algunos casos, se ha encontrado que los estudios originales, incluso, han subestimado el tamaño del efecto, es decir, que el efecto ha resultado ser más potente de lo que se pensaba. Tal es el caso de los estudios llevados a cabo por el psicólogo y premio Nobel de Economía, D. Kanheman, sobre el sesgo del anclaje y la teoría de la expectativa, así como el efecto de lo permitido/prohibido de Rugg. En contraposición, el efecto del contacto imaginado de Hüsnü y Crisp ha sido replicado débilmente, es decir, con menor intensidad que el estudio original.

Según ha declarado a diversos medios Brian Nosek, uno de los investigadores participantes en el proyecto, “los resultados son alentadores, lo que demuestra que hay efectos importantes en nuestro campo que son replicables». No obstante, añade, esto no significa que se siga manteniendo una tasa de replicación exitosa de 10 de cada 13 experimentos psicológicos. A este respecto, D. Kahneman también se ha manifestado cauteloso con las conclusiones: “la investigación parece estar muy bien hecha y ser del todo convincente, aunque sin duda es demasiado pronto para extraer conclusiones generales sobre campos completos de investigación, partiendo de este único esfuerzo».

Asimismo, los investigadores del proyecto ManyLabs han evaluado si las diferencias en el contexto de aplicación o el tipo de muestra influyen en la tendencia de los resultados, encontrando que apenas se produce influencia de estas variables. La mayor parte de la variabilidad en la respuestas ha sido explicada por el efecto psicológico objeto de estudio de la investigación, por lo que los autores concluyen que “para predecir el tamaño del efecto es mucho más importante saber qué efecto se está estudiando, que conocer el tipo de muestra o el contexto de aplicación”.  No obstante, señalan que todavía deben realizarse más estudios de replicación para poder determinar si las diferencias culturales influyen en estos efectos psicológicos, dado que la mayoría de las muestras empleadas en este primer proyecto han sido de procedencia occidental, culta, de clase alta y de pertenencia a sociedades industrializadas y con sistemas democráticos.

Tanto el informe, como los datos obtenidos por cada uno de los equipos de investigación y el material utilizado han sido enviados a una base de datos de acceso libre (ver aquí), con el objetivo de que otros equipos de investigación puedan tener acceso a dicha información y se pueda seguir promoviendo la replicación de nuevos estudios sobre estos efectos en Psicología.

De esta manera, la iniciativa llevada a cabo por el proyecto ManyLabs supone un avance importante en Psicología, tanto por el interés hacia la replicación de experimentos -dado que en los últimos años diversos estudios han dado la voz de alarma, poniendo en duda la fiabilidad y la generalización de los resultados de las investigaciones psicológicas (para más información ver: Sesgos en la investigación y publicación de resultados en psicología)-  como por el enfoque de libre acceso a la información, lo que aumenta la transparencia y la credibilidad en las investigaciones psicológicas. El proyecto ManyLabs ha sido recibido con entusiasmo por una parte importante de la comunidad investigadora, que espera que este tipo de enfoque de estudios de replicación, con acceso abierto a los datos, se convierta en un enfoque estándar en Psicología

Más información en:

Investigating variation in replicability: a Many Labs Replication Project