Métodos e indicadores para evaluar la investigación: indicadores por revistas, por investigadores y por países

1. Indicadores de revistas

• Factor de impacto de la revista: es el resultado del número total de veces en un año que se referencian los artículos de una determinada revista, publicados en los dos años anteriores, dividido por el número total de artículos publicados en esa revista durante esos dos años. Lo habitual es que sólo se refiera a las revistas incluidas en la Web of Science (Garfield, 2003). El factor de impacto es, sin duda, el indicador más utilizado para evaluar las revistas, aunque hay que tener presente que se refiere a una base de datos que es la más selectiva, pues en total tiene 11.200 revistas, lo cual implica menos del 10% de las publicaciones científicas que existen en el mundo. De psicología se incluyen unas 600 revistas, que se clasifican en diez categorías y que publican mayoritariamente en inglés.

• Índice de inmediatez: se basa en el número de veces que se referencian los artículos publicados el mismo año para el que se calcula el índice. Es un buen indicador de la rapidez con la que se citan los artículos de un campo científico. A diferencia del factor de impacto, que tiene en cuenta las citas en un año de lo publicado en los dos años previos, el índice de inmediatez se obtiene dividiendo por el número de veces que son referenciados los artículos de un año por el número de los artículos publicados en el mismo año.

• Índice Scimago Journal Rank (SJR): es una medida de la influencia científica de las revistas académicas que tiene en cuenta el número de veces que se referencia una revista y la importancia o el prestigio de las revistas donde se referencia. De forma muy simplificada el SJR de una revista es el número medio ponderado de las referencias recibidas en el año seleccionado por los documentos publicados en la revista en los tres años anteriores. Este es un indicador de la base de datos SCOPUS, la cual es equiparable a la Web of Science. Scopus tiene actualmente 16.500 revistas especializadas indexadas, de las cuales unas 5.500 se ubican en ciencias sociales (donde se incluye a la Psicología).

• Índice de impacto de la revista: es lo mismo que el factor de impacto, la única diferencia es que se consideran sólo las revistas españolas. En el caso de la psicología hay más de cien, además, aunque se utiliza la misma fórmula que en el factor de impacto, en el índice de impacto se calculan las referencias en un periodo de tres años en lugar de dos. Es muy útil para evaluar y clasificar muchas revistas que no están incluidas en la Web of Science y resulta de gran interés para poder catalogar las revistas nacionales. Véase IN-RECS.

• Índice de internacionalidad de la revista: es un algoritmo en el que se consideran doce parámetros de una revista (idioma de publicación, nacionalidad del equipo editorial, de los editores y de los autores, que esté incluida en el ISI, el valor del factor de impacto, inclusión en bases de datos, que en las bases de datos estén incluidas revistas de distintos países, nombre de la revista, entidad responsable, uso de normas internacionales y acceso por Internet). Estos parámetros son valorados en función de unos pesos ponderados y se transforma en una puntuación final que oscila entre 0 y 100, siendo ese valor el Índice de internacionalidad (Buela-Casal y Zych, 2012). En Buela-Casal, Zych, Sierra y Bermúdez (2007) puede verse el índice de internacionalidad de las revistas españolas de psicología.

• Índice de descargas de los artículos: este indicador, sin duda, es de especial importancia a nivel profesional. Consiste en el registro total de descargas que ha tenido un artículo o una revista científica a través de una base de datos de Internet. Actualmente se puede contabilizar de manera automática el número de veces que un artículo es descargado, sólo el abstract o el texto completo. Es, en cierto modo, un índice de difusión o de lectura de los artículos. Se puede obtener bien a través de la página Web de la revista o por medio de la base de datos REDALYC.

• Número de artículos publicados: éste es un indicador que incorpora el número de artículos publicados en revistas incluidas en la Web of Science, en Scopus, INRECS u otras. Se trata del indicador más utilizado en España para evaluar a los investigadores, siendo el más importante, pues es el principal indicador del rendimiento del investigador. En el estudio de Olivas-Ávila y Musi-Lechuga (2010) puede verse la producción en artículos de la WoS de los investigadores de psicología en España.

• Número de citas acumuladas: consiste en el sumatorio de las referencias recibidas de los artículos publicados por un investigador. Se trata de un buen indicador del impacto o efecto que tiene un investigador en la comunidad científica, pues sus trabajos son citados por otros investigadores. En cierto modo se considera un indicador de calidad de los trabajos, pues, aunque no siempre, se ha demostrado que, en términos generales, existe una relación entre las citas y la calidad medida por expertos (Buela-Casal y Zych, 2010).

• Factor de impacto acumulado: es el sumatorio del factor de impacto de la totalidad de las revistas en las que publicó un investigador. Es un indicador indirecto del impacto que un investigador tiene, dado que se evalúa a través del factor de impacto de las revistas en las que publicó.

• Número de trabajos con un número significativo de citas: se trata de contabilizar sólo aquellos trabajos que tengan un número mínimo de citas, determinado por cada campo de conocimiento. La idea es que sólo se contabilicen aquellos artículos que al menos tengan un número determinado de citas y, por tanto, resulta idóneo para identificar trabajos relevantes de un investigador.

• Índice h: este indicador se calcula en función a la distribución de las veces que se referencian los artículos de un investigador. Así, se establece que se consigue un índice h si el h de sus artículos recibe al menos h referencias cada uno. Por ejemplo, un científico que tiene un índice h de 30 implica que tiene al menos 30 artículos que fueron referenciados al menos 30 veces cada uno, pero no tiene 31 artículos que fuesen referenciados al menos 31 veces cada uno. Por tanto, el índice h es el balance entre el número de artículos y las citas a éstos (Hirsch, 2005; 2012). Este es, sin duda, un buen indicador para comparar científicos de élite, véase por ejemplo, el índice h de los presidentes de la APA:

Tabla 1. Presidentes de la APA con el mayor índice h.

• Número de revistas en función de las revistas totales: éste es un importante indicador, aunque poco utilizado, dado que permite analizar la importancia institucional que tiene un país en la WoS o en Scopus. Para un país no sólo es importante saber cuántos investigadores publican en revistas indexadas en estas bases de datos, sino también el número de revistas que tienen en cada una de las categorías de la WoS. En el caso que nos ocupa, podemos ver que España tiene 12 revistas de psicología de un total de unas 600. Es decir, se trata de un número importante si se considera el número de países que tienen revistas en la WoS. Es más, España tiene más revistas que el conjunto de países de Iberomérica (exceptuando España). A continuación se muestran las revistas españolas con su factor de impacto actual y su posición en sus categorías correspondientes:

Tabla 2. Revistas españolas de Psicología en la Web of Science

• Número de artículos del país: Se trata de contabilizar los artículos incluidos en la WoS o en Scopus con la afiliación de país. Esto permite no sólo cuantificar los artículos publicados por los investigadores de un país, sino también cómo está cada país en relación con los demás. Para una información detallada de cómo está la psicología española con respecto a la de otros países, véase Navarrete-Cortes, Fernández-López, López-Baena, Quevedo-Blasco y Buela-Casal (2010) y Navarrete-Cortes, Quevedo-Blasco, Chaichio-Moreno, Ríos y Buela-Casal (2009). En la Tabla 3 se presentan algunos de los indicadores más importantes en la clasificación por países en Psicología en la WoS.

Tabla 3. Ranking por países según la producción científica (período de 6 años) en revistas de Psicología indexadas en ISI (Web of Science), atendiendo a diferentes indicadores*

• Promedio de veces que son referenciados los artículos de un país en un periodo de tiempo: éste indicador se obtiene del número de referencias a los artículos de un país dividido por el número total de artículos publicados por investigadores de ese país.

• Número de artículos publicados en las cinco primeras revistas de la categoría: Se trata de contabilizar los artículos que se publican en las primeras 5 revistas de cada categoría, bien sea de la WoS o de Scopus. Es un buen indicador del nivel de excelencia de la investigación que produce un país.

En la actualidad, y coincidiendo con las directrices de la norma ISO-10667, la evaluación del rendimiento en el ámbito laboral debe ser válida y fiable, deben existir indicadores, criterios y estándares bien fundamentados y conocidos por todos. Esto no es más que una garantía del proceso y de los resultados de la evaluación. Así, en la actualidad, la evaluación objetiva mediante resultados se aplica en todos los ámbitos de la investigación en España (Buela-Casal, Bermúdez, Sierra, Quevedo-Blasco, Castro y Guillén-Riquelme, 2011) y lógicamente cada vez se tiene más en cuenta para conseguir financiación (Buela-Casal, Bermúdez, Sierra, Quevedo-Blasco, Guillen-Riquelme y Castro, 2010).

En el campo de la psicología se han conseguido importantes avances en España. Como ya se ha mencionado, actualmente hay un importante número de revistas españolas en la WoS y en Scopus, incluso algunas situadas en el primer y segundo cuartil. Además, la producción en investigación de los autores españoles en las revistas más prestigiosas del mundo no ha parado de crecer desde hace treinta años (véase, Olivas-Ávila y Musi-Lechuga, 2010) y esto ha tenido como consecuencia, que la psicología española ocupe el noveno puesto en producción en la WoS, y esto sin tener en cuenta el tamaño de los países, pues como se puede ver en la Tabla 3, tan sólo uno de los países que están por delante tiene un tamaño menor que España. Y aunque es cierto que la media de citas por artículo es más baja que en los quince primeros países, hay que tener presente que varias revistas españolas de psicología publican en castellano, lo que implica recibir menos citas por autores de otros países. Sin embargo, es importante resaltar que España está entre los siete países que más publican en las cinco primeras revistas de las distintas categorías de psicología.

En resumen, la psicología española en los últimos años ha experimentado importantes avances, pues a nivel académico es considerada una disciplina de las ciencias de la salud, en el ámbito profesional se regula por ley como una profesión sanitaria y en la investigación se ha situado entre los diez países más productivos del mundo.