EVALUAR LAS ORGANIZACIONES SOCIALES
01 Sep 2006

En las últimas décadas, la participación e implicación ciudadana en la acción social ha sido muy positiva y ha influido en la aparición de distintos tipos de entidades tales como asociaciones, fundaciones, organizaciones no gubernamentales, empresas de carácter social, etc., que han procurado un mayor acercamiento de la política a la realidad social. Su colaboración con la Administración en la prestación de determinados servicios es cada vez más estrecha, hasta el punto de que se han convertido en sistemas de distribución de las políticas y programas sociales, empleando la terminología acuñada por Seidman (1983).

 

Sin embargo, esta creciente demanda no se ha visto acompañada de una respuesta eficaz por parte de las entidades sociales. Esta situación ha llevado a que cada vez estén más presionadas por sus donantes y por la sociedad en su conjunto para que, al igual que la Administración, rindan cuentas de su actuación. Por ello, es necesario introducir mecanismos para evaluar con objetividad e independencia estas organizaciones en el marco de su colaboración con la Administración para la prestación de servicios sociales, lo que, sin duda, exige desarrollar modelos que nos permitan valorarlas para facilitar la toma de decisiones y elaborar propuestas de cara a ofrecerles una asistencia técnica y formativa ajustada a sus necesidades.

Con este fin, se ha seguido la Teoría de la Evaluación desarrollada por Shadish, Cook y Leviton (1991). Su teoría nos parece apropiada puesto que obliga a los evaluadores a ser explícitos sobre las teorías y asunciones que ellos, de forma implícita, usan en su trabajo. En particular, en un trabajo de investigación publicado recientemente, tomamos como referencia la revisión posterior de Shadish (1994) que, siguiendo los argumentos de Scriven (1980), considera que la mejor evaluación debe ser aquella que responda a las necesidades a que se enfrenta. En concreto, estas necesidades se refieren a:

  1. El conocimiento del objeto de evaluación o evaluando. Sistematizar el proceso de evaluación implica conocer, en primer lugar, el objeto de evaluación (acciones políticas, programas, servicios, organizaciones, etc.). Esto supone delimitar tanto sus elementos constituyentes como el contexto socioeconómico donde tiene lugar su acción.

  2. La formulación de los criterios de valoración. Sin lugar a dudas, en la evaluación hay implícita una valoración, cuando menos de naturaleza comparativa. Ello exige explicitar los criterios que nos llevan a la formulación de las conclusiones de la evaluación. Siguiendo a Scriven (1980), se distinguen cuatro fases: 1) El establecimiento de los criterios de mérito que determinan la forma de etiquetar el objeto de evaluación para ser juzgado como bueno o útil; 2) La elaboración de estándares o normas de funcionamiento que especifican niveles o grados de mérito; 3) La recogida de información sobre el desempeño del objeto sometido a evaluación y comparación con los estándares de funcionamiento establecidos previamente; 4) La síntesis o integración de los datos dentro de un juicio de valor.

  3. La elección del procedimiento para la obtención del conocimiento. Para realizar un juicio de valor no basta sólo con la selección de los criterios pertinentes de valoración y sus estándares de desempeño, también es imprescindible la elección de la metodología más adecuada para obtener el conocimiento sobre el que enjuiciar el evaluando. Al respecto, nos adherimos al planteamiento de Patton (1997) al señalar que la elección de la metodología deberá ser acorde a las necesidades de los usuarios, que estarán reflejadas en los objetivos de la evaluación. Para evitar que la evaluación quede sujeta a intereses particulares, el establecimiento de tales objetivos deberá ser el resultado de lo que necesiten saber los usuarios y de lo que el evaluador considere más pertinente, dadas las particularidades que presente el objeto de evaluación.

  4. La utilización de los resultados de la evaluación. En este caso, el evaluador debe considerar los posibles usos que puedan derivarse de la evaluación, esto es: a) instrumental, donde los resultados de la evaluación se utilizarían como inputs centrales en la toma de decisiones; b) conceptual, proporcionando nuevos conocimientos y una mayor comprensión del objeto de la evaluación, sin tener que derivar en actuaciones concretas; o c) político, donde se utilizarían los resultados de la evaluación en un debate político como ejercicio de persuasión.

A su vez, los profesionales van a requerir conceptos prácticos que orienten las estrategias generales que deben adoptar para conducir una evaluación. Por lo tanto, la teoría de la práctica es un elemento central en la teoría de la evaluación, ya que ayuda a clarificar las prioridades del contexto y las negociaciones que se llevan a cabo para la toma de decisiones de la tarea evaluativa, dados unos recursos, un tiempo disponible y unas destrezas determinadas.

Todo esto nos sirve para ilustrar una serie de líneas prácticas que orientan la evaluación de las organizaciones sociales, considerando que la elección de las mejores estrategias y tácticas en el trabajo profesional del evaluador dependerá de los contextos específicos donde tiene lugar y, sobre todo, de los propósitos de evaluación que, siguiendo a Chelimsky (1997), constituyen: a) la rendición de cuentas o responsabilidad, b) la obtención de conocimiento acerca del evaluando y c) la evaluación para el desarrollo y aprendizaje. En función de estos propósitos, un plan de evaluación de las organizaciones sociales que colaboran con la Administración supondría:

 

1. La elaboración de un modelo conceptual. Este modelo orienta las preguntas de evaluación acerca de la estructura, características y funcionamiento de las organizaciones sociales, así como de los procesos que ponen en marcha su colaboración con la Administración. La determinación de este modelo se basaría en la identificación de los elementos prioritarios que los políticos y técnicos de la Administración, los representantes de las entidades y los expertos consideran necesario que se incluyan en dicho modelo.

De este modo, pueden plantearse diversas cuestiones de evaluación relacionadas con los procesos que tienen lugar en la prestación del servicio (tanto de la organización responsable del servicio como de la propia prestación del servicio) y los resultados (bien considerándose el efecto del apoyo gubernamental a estas organizaciones o bien los beneficios alcanzados por los beneficiarios más directos, los servicios que prestan tales entidades), siendo la negociación un medio necesario para articular y compatibilizar estas prioridades.

2. El establecimiento de los criterios de valor, respetando los principios que sustentan la colaboración de las organizaciones sociales desde un punto de vista prescriptivo. Entre tales criterios se podrían considerar los siguientes: pertinencia (adecuación de los resultados y objetivos de la organización al contexto en el que opera), capacidad institucional (capacidad de gestión de las instituciones receptoras de apoyo financiero), sostenibilidad (grado en que las organizaciones pueden continuar su acción una vez que se ha retirado la ayuda externa) eficacia (relación entre los resultados alcanzados y los objetivos previstos por la organización responsable del servicio); eficiencia (logros alcanzados en función de los recursos empleados), impacto (contribución de la organización en un contexto más amplio).

Hay que tener presente que estos criterios quedarán sujetos a la particular visión que cada uno de los implicados pueda tener acerca de ellos. Por ejemplo, para la Administración una organización será pertinente si su actuación responde a las necesidades sociales establecidas con criterios normativos, en cambio desde la perspectiva de los miembros de las organizaciones o incluso de sus beneficiarios lo será en la medida en que ofrece respuestas alternativas a las deficiencias que, bajo su punto de vista, muestra el Estado en la resolución de los problemas que les afectan de forma directa. Por esta razón, desde una aproximación descriptiva deben considerarse las múltiples percepciones de valor de los grupos implicados. De este modo, y de cara a la valoración y propuestas de mejora, éstos participarían en la designación de los criterios de valoración y en el análisis de los datos recogidos.

Al igual que ocurre con la selección de los criterios de valor, deben establecerse, además, las medidas de desempeño de forma que se recojan aquellos aspectos que son de mayor interés para los diversos grupos de implicados. Por lo general, éstas pueden quedar representadas, desde un marco lógico, en términos de contexto (aspectos históricos, políticos, jurídicos, económicos, etc.), insumos (función social de la organización, recursos, dispositivos de comunicación dentro de la organización y fuera de ella, diseño de las actuaciones, etc.), actividades (movilización de la comunidad, reestructuración de los servicios, etc.), productos (contabilidad financiera, servicios prestados, adherencia a estándares de calidad, etc.) y resultados (los cambios sobre los individuos, familias, organizaciones, instituciones o la comunidad). La recogida de información, siguiendo este modelo lógico, servirá para la interpretación y asignación de significado de tales medidas, de tal modo que medir insumos-actividades-productos puede ser indicativo de la capacidad de la organización para conseguir con mayor probabilidad resultados (Wholey y Newcomer, 1997).

3. La selección de los métodos y técnicas de recogida y análisis de la información en función criterios de valoración y medidas de desempeño especificadas. Así, por ejemplo, ante el interés por realizar un seguimiento del gasto público en la financiación de las entidades sociales colaboradoras, el evaluador puede optar por realizar un análisis comparativo de tales entidades en el contexto específico de la colaboración con la Administración Pública con la finalidad de explicar las fuentes de variación inter-organizacional en ese contexto. O bien, realizar estudios de casos para analizar con detenimiento una organización e identificar ciertas características y procesos sociales que ocurren dentro de ella, evaluando de forma constante sus fortalezas y debilidades. Sin embargo, ambas alternativas presentan limitaciones debidas, en el primer caso, a las dificultades para el establecimiento de dimensiones generales relevantes que hagan posible una explicación adecuada de la variabilidad entre las organizaciones, y, en el segundo, a la imposibilidad de establecer relaciones entre variables (Peiró, 1991). Quizás, por ello, la utilización de diferentes clases de métodos y técnicas de recogida de información pueden ayudar en la obtención y generación de conocimiento válido y fiable. Por ejemplo, la combinación de estudios de casos con métodos cuantitativos, permitiendo obtener un conocimiento comprehensivo a la vez que analítico (véase Datta, 1997).

4. La especificación de los caminos intencionados para ejercer una influencia en los grupos implicados (utilización de los resultados). Ésta quedará sujeta a los propósitos de la evaluación, así, la evaluación que demanda la Administración, estará más orientada a obtener de las organizaciones sociales una mayor responsabilidad pública de sus acciones y a la toma de decisiones políticas para mejorar la eficacia de la colaboración con las organizaciones sociales.

 

Por otra parte, los investigadores buscarán la mejor comprensión y explicación de los procesos que circunscriben la acción de estas entidades. Mientras que, las personas que dirigen y lideran las organizaciones sociales disponen de la evaluación para mejorar la gestión y eficacia de sus actuaciones. De este modo, la evaluación, para los primeros casos, asume un modelo lineal de carácter sumativo, mediante acciones correctivas. En los últimos, la evaluación, siguiendo un modelo no lineal, de carácter formativo y participativo, servirá como instrumento que facilita los procesos de aprendizaje que contribuyan al cambio organizacional, esto es, la transferencia del conocimiento que proporciona la evaluación a las particularidades de las organizaciones, convirtiéndolas en agentes de su propio cambio.

En definitiva, un plan de evaluación de las organizaciones sociales debe tener en cuenta estos factores a la hora de elegir la mejor aproximación de evaluación sin olvidar que: a) dadas las características del objeto de evaluación, es manifiesto que se está ante un tipo de evaluando complejo, tanto por su heterogeneidad (desde organizaciones de autoayuda a organizaciones más centradas en la prestación de servicios), como por sus objetivos (promover la participación social y resolver los problemas sociales), en un contexto con una elevada susceptibilidad política y sensibilidad social (colaboración con los poderes públicos); b) hay muchos valores adheridos a la participación social, al igual que también hay diferentes grupos de interés que difieren sobre qué medir. Por lo tanto, si queremos asegurar que los diferentes puntos de vista queden representados, debemos considerar una evaluación multicriterio, sin olvidar los valores considerados fundamentales en la Sociedad del Bienestar; c) el conocimiento del evaluando desde una perspectiva ecológica tiene fuertes implicaciones para la evaluación, por cuanto exige examinar múltiples sistemas que interactúan unos con otros. Por ello, tanto las aproximaciones cuantitativas como las cualitativas deben ser utilizadas conjuntamente en orden a conducir una evaluación más adecuada a los propósitos enmarcados; y d) teniendo en cuenta el marco de acción en el que tiene lugar la evaluación, ésta ejercería su influencia sobre los grupos interesados en obtener un mejor conocimiento y comprensión del evaluando, las entidades públicas y privadas interesadas en aprender para tomar decisiones en la dirección adecuada y la sociedad civil que persigue el bienestar social.

Ver referencias bibliográficas.

Una versión completa de este artículo puede encontrarse en la revista de Intervención Psicosocial: Herrera, I.M., León, J.M. y Medina, S. (2006). Necesidades de evaluación de las organizaciones sociales. Intervención Psicosocial.15 (1), 65-79.

Sobre los autores:

Isabel María Herrera Sánchez: Doctora en Psicología. Experta en promoción de la salud y Master en Recursos Humanos. Profesora Colaboradora de Psicología Social de la Universidad de Sevilla. Su interés investigador se ha centrado en la evaluación de programas y organizaciones sociales.

José María León Rubio: Doctor en Psicología. Técnico Superior en Prevención de Riesgos Laborales. En la actualidad, ejerce su docencia en la Universidad de Sevilla como Catedrático de Psicología Social. Los procesos de comunicación en los servicios sanitarios, la autorregulación de las conductas de salud y la evaluación de riesgos psicosociales definen su perfil investigador.

Silvia Medina Anzano: Doctora en Psicología. Master en Drogodependencias y Psicología de la Salud. Profesora Titular de Psicología Social en la Universidad de Sevilla. Su interés investigador se ha centrado en los procesos de interacción social y su evaluación.

Noticias Relacionadas

Noticias

PSICOLOGÍA EN RED


LOS COLEGIOS HABLAN

MÁS NOTICIAS

Noticias Relacionadas

Noticias