Digital resources in the Social Sciences and Humanities OpenEdition Our platforms OpenEdition Books OpenEdition Journals Hypotheses Calenda Libraries OpenEdition Freemium Follow us

Metodología

METODOLOGÍA DE LA EVALUACIÓN RELACIONAL.

Con esta fase, comienza el trabajo de campo propiamente dicho y la recogida y el análisis de la información. Uno de los dos grandes componentes complementarios de la evaluación realizada es la evaluación relacional. Como hemos señalado, se trata de la aplicación de una metodología cualitativa, que incorpora algunas técnicas estadísticas sencillas.

Paso 1.- Diseño del modelo de evaluación.

El modelo de evaluación está basado en la perspectiva relacional, organizando el trabajo y la información en función de los sistemas, los nodos y las relaciones, que nos llevan a la identificación de los puntos de acción. Se desarrolla una herramienta informática sencilla, confeccionando las tablas de recogida de información para su posterior análisis.

Paso 2.- Estudio inicial de la entidad y de los programas a evaluar. Entrevistas a informadores clave.

Con carácter previo, se lleva a cabo un primer análisis descriptivo de la entidad a evaluar, incluido en el ontosistema, que determinará y guiará los pasos siguientes, tanto de este componente relacional, como de la evaluación del impacto.

Paso 3.- Diseño de la técnica Delphi a aplicar.

Dadas las características de la información y de los informadores, se decide aplicar la técnica Delphi, lo cual obedece a algunos criterios:

  • Se precisa el anonimato, para evitar la influencia de las relaciones personales. Los informadores son compañeros de trabajo entre los que existen relaciones, como por ejemplo de liderazgo, que pueden influir y contaminar los resultados.
  • Facilita la retroalimentación controlada, al realizarse de forma individual.
  • Favorece el consenso estadístico del grupo.

Paso 4.- Confección del primer cuestionario.

El objetivo del primero de los cuestionarios es detectar los nodos y clasificarlos por sistemas. Se trata de detectar los elementos de cada uno de los sistemas entre los que se establecen relaciones. Se diseña, por tanto, un cuestionario basado de tablas, diferenciadas por sistemas, que incluyen preguntas que guían la identificación de nodos.

Paso 5.- Selección de expertos. Entrevistas para la explicación de la técnica a seguir.

Se selecciona un grupo de 15 informadores, técnicos y socios de la Fundación, con gran experiencia de trabajo en la misma, que conocen la entidad y su historia. Nueve de ellos son fundadores de la organización. Se organizan reuniones por grupos para informar del objetivo de la evaluación relacional y de sus características y sobre el método Delphi y su proceso. Se presenta el primer cuestionario y se dan las instrucciones pertinentes para su cumplimentación.

Paso 6.- Identificación de los nodos de los 6 sistemas. Primer cuestionario.

Una vez recogida toda la información de este primer cuestionario, se procede a ordenarla, recogiendo todos los nodos posibles, siempre que se consideren de interés para el desarrollo de la Fundación. Se van elaborando las correspondientes tablas organizadas por sistemas.

Paso 7.- Confección del segundo y del tercer cuestionario.

El siguiente paso consiste en elaborar los dos cuestionarios que se van a utilizar para analizar las relaciones. Se realiza en dos momentos por agrupar, por un lado, los sistemas cercanos, y por otro lado, los más lejanos. Se celebra una segunda reunión con los informadores, con dos objetivos: informar de los nodos identificados y dar las instrucciones precisas para cumplimentar los dos cuestionarios.

Paso 8.- Valoración de las relaciones de los 3 primeros sistemas. Segundo cuestionario.

Se procede a pasar el segundo cuestionario, para identificar las relaciones del ontosistema, microsistema y mesosistema. Se recoge información sobre las dimensiones relacionales, los factores y la tendencia.

Paso 9.- Valoración de las relaciones de los 3 últimos sistemas. Tercer cuestionario.

Igualmente, mediante el tercer cuestionario, se identifican las relaciones del exosistema, macrosistema y cronosistema y se clasifican, según sus características, recogiendo también información sobre la tendencia.

Paso 10.- Análisis de la información.

Una vez recogida la información, se unifica y se integra en una solo tabla por sistema, escogiendo las dimensiones, factores y características más “votadas”. Se celebra una tercera y última reunión para alcanzar algunos consensos para aquellas relaciones en las que hay mayor diversidad de respuestas.
Una vez clasificadas las relaciones, mediante las técnicas estadísticas descritas en el modelo, estableciendo los percentiles correspondientes, se detectan los puntos de acción: mejora, riesgo, atención y oportunidad.

Paso 11.- Conclusiones de la evaluación relacional.

Con toda la información, se extraen las conclusiones de este componente relacional de la evaluación, que posteriormente, se integra con las correspondientes al segundo de los componentes, la evaluación del impacto.