Evaluación del impacto

Definición y método para la evaluación del impacto social.

ImpactoModelo de evaluación de resultados y efectos netos de la intervención social. Robin[1] recoge las diferentes aportaciones elaborando un excelente material didáctico, que las ordena y articula en un marco conceptual. Define impacto social como “… el cambio –positivo o negativo– que resulta de la puesta en marcha de un conjunto de servicios o actividades en un determinado contexto social y ambiental. Generalmente, se mide en el largo plazo” (Robin, 2012:5). En opinión de esta autora, “la gran paradoja de la evaluación del impacto social radica en que, cuanto más cualitativo, subjetivo, relativo a valores y con horizonte temporal de medio o largo plazo sea el enfoque, más difícil, y a la vez más útil, resultará el proceso evaluador” (Robin, 2012:6).

Distingue entre resultados (output), lo que se obtiene con cada actividad (el número de alumnos de un curso) e impactos (outcome) o cambios provocados (las competencias adquiridas por los alumnos). El primero se mide en el corto plazo, mientras que el segundo se mide en el largo plazo, resultando su medición más difícil. Un indicador puede ser considerado de resultado o de impacto en función de su relación con la misión. El impacto social, no obstante, siempre se relaciona con mejoras en la calidad de vida.

Uno de los elementos centrales en la evaluación del impacto es la teoría del cambio adoptada por la intervención a evaluar. En palabras de Robin, “la teoría del cambio considera que el emprendimiento social tiene como base una serie de supuestos que relacionan el problema social con la idea de la intervención, las actividades a realizar y los impactos conseguidos, que “en teoría” (de aquí su nombre), deberían influir sobre el problema social identificado inicialmente. Lo que hace es crear una relación lógica entre el problema, la solución, las actividades a implementar y los resultados e impactos que hay que conseguir” (Robin, 2012:13).

Retolaza[2], apunta que se trata de un proceso reflexivo, en el que se establecen supuestos y relaciones, que nos sirve para comprender y proponer la ruta del cambio social. Diferencia cuatro dimensiones para el cambio:

  • Transformación personal, mediante procesos de formación, reflexión, introspección y desarrollo personal.
  • Transformación de relaciones. A través del diálogo, gestión de conflictos, intercambio de experiencias y participación.
  • Transformación de patrones culturales, por medio de la comunicación y la sensibilización.
  • Transformación estructural, mediante desarrollos legislativos, políticos e institucionales.

En este espacio se plantea la teoría del cambio desde un enfoque relacional, teniendo en cuenta los diferentes sistemas en los que la entidad de referencia desarrolla su actividad, tratando de incluir en dicha teoría sus correspondientes interrelaciones.

En lo que respecta a la construcción de un sistema de medición del impacto, Robin parte de dos conceptos clave:

  • Los indicadores, que definen los datos a recoger para realizar la medición. Tienen un componente descriptivo, dentro de la teoría del cambio, y un componente de medida.
  • Los grupos de interés o personas afectadas directa o indirectamente por la intervención, los cuales deben participar, en la medida de lo posible, en la formulación de los indicadores. Se trata, como hemos visto, de un principio compartido por la práctica totalidad de los métodos analizados en el apartado anterior, para lo que disponemos de las técnicas descritas más arriba. Como afirman Trinidad y García[3], la participación, además, evita el rechazo a la evaluación que genera en la organización el efecto impositivo de la misma.

Los indicadores pueden ser personalizados, cuya información puede ser más fácilmente interpretable, o estandarizados, que favorecen la comparación. Por otro lado, pueden ser cuantitativos o cualitativos. Con carácter general, todo indicador debe estar fuertemente relacionado con la misión (con los objetivos) y con la estrategia. Y tiene que cumplir algunas reglas (debe ser SMART):

  • Específico (scpecific).
  • Medible (measurable).
  • Posible de lograr (achievable).
  • Realista (realistic).
  • Enmarcado en un determinado periodo de tiempo (time-bound).

La guía de la agencia USAID (USAID, 1996), citada por Robin (2012), establece 7 criterios para un buen indicador:

  1. El indicador debe estar lo más próximo posible al resultado que pretende medir. El error más frecuente es utilizar un indicador de resultado para medir un impacto.
  2. La objetividad significa que no hay ambigüedad sobre lo que está siendo medido. Para ello, debe ser unidimensional.
  3. Coherente con la complejidad del impacto medido, pero lo más simplificado posible (en cuanto a nº de indicadores)
  4. Cuantitativo, siempre que sea posible, sin descartar la riqueza que ofrecen los cualitativos.
  5. Desagregado, siempre que sea relevante.
  6. Práctico. Que su cálculo no precise demasiado esfuerzo.
  7. Consistente.

Dos consideraciones finales sobre los indicadores: en primer lugar, como apunta Lázaro[4], los indicadores deben estar conectados e interrelacionados, evitando el tradicional listado. En segundo lugar, en lo que se refiere a la evaluación del impacto en concreto, los indicadores formulados deben contemplar efectos netos, identificando el desplazamiento, el peso muerto, la atribución y el decremento,  descritos en el método SROI (Social Return On Investment) para medir el impacto social de las inversiones, desarrollado en la Guía para el Retorno Social de la Inversión[5], a partir de las propuestas, entre otros, de Emerson, (2001) y de Scholten, Nicholls, Olsen y Galimidi (2006), método que se centra en la valoración económica del impacto:

  • Desplazamiento (“displacement”): consiste en el estudio de qué porcentaje del cambio logrado, ha provocado otros cambios negativos.
  • Peso Muerto (“deadweight”): cambios que se lograrían sin necesidad de intervenir.
  • Atribución (“attribution”): cambios que se logran debido a otras contribuciones ajenas a la intervención.
  • Decrementos (“drop off”): es la reversión de los cambios logrados, con el paso del tiempo.

Siguiendo a Valdés[6], no existe un concepto unívoco de evaluación de impacto, dependiendo del paradigma teórico, sin embargo, hoy, se avanza hacia un consenso. En resumen, en este espacio se asume que evaluación del impacto es:

  • Investigación científica.
  • Establecer relación causa – efecto.
  • Establecer efectos netos, en un escenario contrafactual.
  • Evaluación adaptada, a medida.
  • Evaluación ecológica: en la población destinataria, en toda la población, en la organización, zanjando el debate sobre si la evaluación del impacto se refiere a los beneficiarios directos o a toda la población (como diferencian, por ejemplo, Aguilar y Ander-Egg, 1994).
  • Teoría del cambio social, estableciendo un marco conceptual relacionado de la propia intervención (relacional).
  • Participación de los grupos de interés.
  • Evaluación a largo plazo, después de un tiempo. No se puede llevar a cabo de forma inmediata.
  • Valoración económica del retorno y del beneficio social. En este sentido, cabe la pregunta ¿pueden los bienes relacionales ser valorados económicamente? Aquellos efectos que no puedan ser monetizados deben ser tenidas en cuenta, para interpretar los valores de los indicadores obtenidos.
  • Eficacia: comparación con lo programado.
  • Eficiencia: comparación con otras intervenciones.
  • Evaluación descriptiva y prescriptiva. Bueno y Osuna[7] consideran que la evaluación se sitúa entre el ámbito descriptivo y el prescriptivo, es decir, lado explica y contrasta los problemas y las intervenciones, pero, además, establece propuestas de mejora. Entienden estos autores que la vertiente descriptiva debe basarse en la prescriptiva.

[1] Robin, S. (2012). Herramientas de medición del impacto social. Barcelona. UOC.
[2] Retolaza, I. (2010). Teoría de cambio. Un enfoque de pensamiento-acción para navegar en la complejidad de los procesos de cambio social. Guatemala. Hivos – Instituto Humanista de Cooperación al Desarrollo.
[3] Trinidad, A. y García, J. M.      (2012). Las lógicas de evaluación de programas de intervención: ¿imposición o participación? Azarbe. Revista Internacional de Trabajo Social y Bienestar, (1). (pp. 111-126).
[4] Lázaro, A. (1992). La formalización de indicadores de evaluación. Bordón, 43(4). (pp.477-494).
[5] Nicholls, J.; Lawlor, E.; Neitzert, E. y Goodspeed, T. (2009). A guide to social return on investment. London. Office of the Third Sector, The Cabinet Office.
[6] Valdés, M. (2008). La evaluación de impacto de proyectos sociales: Definiciones y conceptos. Recuperado de…
[7] Bueno, C. y Osuna, J. L. (2013). La evaluación de políticas públicas en las ciencias sociales: entre el ser y el deber ser. Prisma Social. Revista de Ciencias Sociales, (9). (pp. 176-208).

Buscar en OpenEdition Search

Se le redirigirá a OpenEdition Search