Digital resources in the Social Sciences and Humanities OpenEdition Our platforms OpenEdition Books OpenEdition Journals Hypotheses Calenda Libraries OpenEdition Freemium Follow us

Marco teórico

LA EVALUACIÓN EN LA ACTUALIDAD. LA INVESTIGACIÓN EVALUATIVA.

1.- Análisis de los enfoques teóricos.

Simplificando (para un análisis más profundo, (Santos, 2019)[1]), podemos agrupar los enfoques teóricos en tres categorías:

  • El enfoque cuantitativo. Utilizaremos este término para denominar al que muchos autores se refieren con términos como clásico o científico-experimental.
  • El enfoque cualitativo. Seleccionamos esta denominación, aunque encontramos otras como evaluación naturalista, pluralista, ambientalista, libre de objetivos…
  • Enfoque integrador.

a.- Limitaciones de la evaluación clásica – cuantitativa.

Esta evaluación se basa en el establecimiento de relaciones causales entre la intervención y los efectos producidos. Para ello, se procede a:

  • Formulación de objetivos y metas.
  • Diseño e implantación de un programa de intervención social encaminado a conseguir los objetivos.
  • Comprobación de que se han logrado dichos objetivos.

Según Ballart[2], por un lado, la definición de los objetivos ya conlleva serias dificultades, puesto que deben ser operacionales, medibles y que faciliten la formulación de indicadores cuantitativos. Por otro lado, las estrategias no suelen ser sencillas, lo que dificulta el establecimiento de relaciones causales directas. Y, por último, la aplicación de diseños experimentales, con grupos de control aleatorios, fuera del laboratorio, resulta prácticamente imposible en infinidad de ocasiones, además de ser susceptible de cuestionamiento ético. En las situaciones reales, realizar medidas antes y después de la intervención y aislar otras variables que puedan influir durante el proceso es muy difícil.

En opinión de Weiss[3], además, encontramos otras limitaciones. Por una parte, de tipo temporal, al tratarse de evaluaciones, a menudo largas en el tiempo, lo que supone que pierden utilidad porque no llegan a tiempo para tomar las decisiones adecuadas y, por otra parte, de tipo económico, al tratarse de estudios de elevado coste. Por último, los resultados obtenidos a través de estos métodos son resultados técnicos, de interpretación ambigua, que, además, suelen concluir que la eficacia de los programas es muy similar, de bajos resultados, sin ofrecer diferencias entre los mismos, lo que disminuye la utilidad práctica de la propia evaluación.

b.- Debilidades de la evaluación cualitativa.

Agrupamos aquí buena parte de los enfoques teóricos analizados, de manera que vamos a extraer los aspectos comunes a todos ellos. Siguiendo a Ballart (1992), se trata de cuatro puntos o características:

  1. Variedad del proceso de evaluación, de forma participativa, atendiendo a un amplio abanico de dimensiones, de participantes… Se propone una evaluación pluralista.
  2. Utilidad de las conclusiones de la evaluación. Todos estos enfoques conceden gran importancia a que los resultados de la evaluación puedan ser utilizados y, de hecho, se utilicen, ya sea en el ámbito de la política, de la gestión o en favor de los intereses de los beneficiarios.
  3. Metodología cualitativa, como la única vía para profundizar en el contenido del programa, interpretarlo y entenderlo, así como el contexto en el que se desarrolla.
  4. Metodología dinámica, sujeta a cambios durante el propio proceso de evaluación. Se rechazan los métodos experimentales que requieren ser aplicados en una situación fija, irreal.

Mientras la evaluación clásica centra el foco de atención en observar los efectos de la intervención y compararlos con la situación inicial, los enfoques de carácter más cualitativo lo hacen en el proceso y en la implementación, para identificar los aspectos que puedan explicar dichos efectos.

Es evidente que una de las limitaciones de los enfoques naturalistas es la debilidad de sus conclusiones al no poder controlar algunos sesgos como los intereses de los participantes en el proceso evaluador, por ejemplo, responsables técnicos, políticos, beneficiarios o el propio evaluador. Este sistema de participación conlleva un proceso negociador, que, por una parte, puede terminar siendo no representativo y que, por otra, también requiere tiempo, con lo que no se soluciona una de las limitaciones importantes de la evaluación experimental (Ballart, 1992).

2.- Conclusión. Enfoque integrador.

Resumiendo, la evaluación clásica encuentra dos grandes limitaciones, por un lado, la dificultad de aplicar diseños experimentales fuera del laboratorio, y por otro, la escasa utilidad de los resultados que ofrece. Por su parte, la evaluación pluralista se topa con problemas de validez. Una postura integradora puede minimizar ambas limitaciones, sin embargo, incrementa la necesidad de recursos y alarga aún más el proceso temporal. A la luz de este análisis, la opción teórico-metodológica que parece más acertada es la evaluación adaptada, propuesta y desarrollada por Rossi, basada en el estudio de caso y planteando una investigación evaluativa a medida del programa a evaluar y de las posibilidades de llevarla a cabo. Esta es la perspectiva teórica, de carácter holístico, que se adopta en este espacio. La evaluación que aquí se lleva a cabo viene definida por la naturaleza, las peculiaridades y la propia esencia de la intervención objeto de valoración, la cual es el primer gran objetivo del estudio. Se trata pues, de una metodología de estudio de caso, que, como hemos visto, en absoluto es incompatible con una posterior generalización (Cronbach y Shapiro, 1982), lo que posibilita, a priori, el segundo de nuestros objetivos: el diseño y la validación de un modelo de evaluación de programas de intervención social. Sin embargo, esta perspectiva de evaluación sí que requiere que dicho modelo, así como sus posibles instrumentos y herramientas sean adaptables a las características de otras intervenciones.

[1] Santos, M. (2019). La evaluación de la intervención social. Enfoques teóricos. Ehquidad International Welfare Policies and Social Work Journal, 11 (pp.55-90). doi:https://doi.org/10.15257/ehquidad.2019.0003
[2] Ballart, X. (1992). ¿Cómo evaluar programas y servicios públicos? Aproximación sistemática y estudios de caso. Madrid. INAP.
[3] Weiss, C. H. (1972). Evaluation research. Englewood Cliffs, NJ. Prentice-Hall.