Para realizar una práctica profesional con garantías de eficacia, las propuestas de nuevas intervenciones psicológicas con las que abordar problemas específicos requieren de una evaluación científica. Esta evaluación se realiza a partir de estudios primarios, en los que se recopilan evidencias.

El meta-análisis (MA) es una metodología diseñada para sintetizar los resultados de investigaciones desarrolladas para dar respuesta a una misma pregunta (p.ej. Botella y Gambara 2006; Sánchez-Meca y Botella, 2015). Uno de los principales usos que se le ha dado es justamente en el contexto de la evaluación de la eficacia de intervenciones y/o tratamientos. En estos contextos, el objetivo de un MA es sintetizar esas fuentes de evidencia, en ocasiones contradictoria, para «emitir un dictamen» sobre la cuestión más preciso y concluyente del que se podría lograr a partir de cada uno de los estudios individuales.

Como el punto de partida de todo MA son las evidencias aportadas por cada uno de los estudios, la credibilidad de las conclusiones alcanzadas dependerá directamente de la calidad de tales evidencias. En consecuencia, se hace necesario valorar de algún modo la calidad científica de los estudios incluidos en una síntesis. A pesar de ello, la intención de hacerlo se enfrenta con la complicación de la falta de consenso respecto a qué aspectos se debe prestar atención o cómo hacerlo (por ejemplo, según el estatus de la publicación, la calidad del informe, el tipo de diseño según una jerarquía, el riesgo de sesgo, etc.). Y, aunque en las últimas décadas se han desarrollado un número creciente de indicadores de dicha calidad, las revisiones sobre el tema han puesto de manifiesto limitaciones tanto en su construcción como en su uso (ver, p.ej., Chacón, Sanduvete y Sánchez, 2016).

Aunque, por ejemplo, desde la Medicina Basada en la Evidencia (MBE) se considera que la mejor evidencia es aquella derivada de los diseños experimentales de grupos aleatorios (ensayos controlados aleatorizados) y la colaboración Cochrane y Campbell aconsejan realizar MA con la mejor evidencia (utilizando el diseño como criterio de inclusión en la revisión) y sobre ellos analizar la calidad de los estudios incluidos; en el ámbito de la Psicología no es tan claro que en un mismo MA no deban incluirse estudios no estrictamente experimentales por considerarlos de menor calidad. En los estudios sobre la eficacia de intervenciones en psicología, es frecuente utilizar diseños más diversos que en otras disciplinas, el uso de otros diseños (p.ej. cuasi-experimentos) está muy extendido y de no incluirlos se ignoraría mucha evidencia (Codray y Murphy, 2009).

Teniendo en cuenta lo anterior, planteamos un trabajo (Gambara, Durán y Santana, 2021) para conocer la calidad de las fuentes incluidas en los MA publicados en las principales revistas de psicología españolas, cuyos objetivos se dirigían a conocer la eficacia de intervenciones. Concretamente nos planteamos conocer en qué medida se valoraba la calidad de los estudios primarios y de hacerlo qué criterios se seguían. Además, analizamos el impacto que pudiera tener la calidad de los estudios primarios en las conclusiones alcanzadas.

Tras la correspondiente búsqueda exhaustiva, se seleccionaron 34 MA publicados que cumplían los criterios del estudio. Tras su codificación encontramos que la mayoría de ellos se centraban en problemas psicológicos como ansiedad, depresión o adicciones, y una minoría evaluaron intervenciones en el ámbito educativo y programas de prevención. Una mayoría de los MA incluidos reportaron haber realizado una evaluación de la calidad de los estudios primarios (79%). La forma más habitual de realizar dicha evaluación fue atendiendo a las características del diseño de investigación (lo que se hizo en el 88% de los casos), siendo menos frecuente valorar el tamaño muestral (56%) o las propiedades de las medidas empleadas (26%). La valoración de estas características de los estudios puede utilizarse para establecer criterios mínimos para tener en cuenta las evidencias correspondientes en la síntesis. En los casos en los que se utilizaron criterios basados en el diseño, lo más frecuente fue incluir los resultados tanto de ensayos aleatorizados (experimentos) como no aleatorizados (cuasi experimentos) con grupo de control. Esto ocurrió en el 42% de los casos, frente al 33% que también incluyeron ensayos no aleatorizados sin grupos de control y el 15% que sólo incluyeron experimentos estrictos. Teniendo en cuenta que la aleatorización y la inclusión de grupo de control son dos elementos con un impacto directo sobre la calidad científica del estudio en este contexto, parece que lo más habitual en los trabajos publicados en revistas españolas es posicionarse en un punto intermedio entre la intención de ser exhaustivo en la recopilación de evidencia disponible y analizar solamente la de mayor calidad. También es reseñable que ninguna síntesis incluyó estudios de caso único.

Por último, existen indicios de que la calidad de los estudios primarios tiene efecto sobre las conclusiones que se extraen de ellos, ya que en los MA que estudiaron esta relación lo que se constató con mayor frecuencia fue que una mayor calidad de los estudios está inversamente relacionada con el grado de eficacia encontrada para las intervenciones. Este resultado va en la misma línea que el hecho de que lo más frecuente fuera encontrar evidencia más favorable a la eficacia de los tratamientos entre diseños no aleatorizados frente a los que sí incluyen esta medida. Consideramos que estas conclusiones pueden generar líneas de investigación donde se estudie la relación entre el tipo de diseño y los tamaños del efecto, así como la posible mayor exigencia sobre la calidad de los estudios a publicar en las revistas respecto a épocas anteriores y el tamaño del efecto encontrado.

Nuestro trabajo también llamó la atención sobre la importancia no solo de desarrollar investigaciones de calidad, sino de informar de las investigaciones pensando en su aportación ya que el cuidado en los informes es imprescindible para que un trabajo concreto pueda ser incorporado o no en una futura revisión sistemática. Se hace imprescindible que la calidad de un estudio y la calidad del reporte vayan de la mano.

El artículo completo puede encontrarse en:

Gambara, H., Durán, J. I., & Santana, Á. (2021). Evaluación de la Calidad de Estudios de Metaanálisis sobre la Eficacia de las Intervenciones en Revistas Españolas de Psicología. Clinical and Health.