Digital resources in the Social Sciences and Humanities OpenEdition Our platforms OpenEdition Books OpenEdition Journals Hypotheses Calenda Libraries OpenEdition Freemium Follow us

Relación causal

INVESTIGACIÓN SOCIAL, CAUSALIDAD Y EXPERIMENTACIÓN.

Como tal investigación social, siguiendo a Beltrán[1], la evaluación de programas puede ser abordada por una metodología plural, con algunos principios universales:

  • La comunidad científica como árbitro.
  • Contrastación y evidencia empírica.
  • Combinación teoría y realidad.
  • Exclusión de la manipulación o el engaño.
  • Renuncia a encontrar la verdad absoluta.

Sin rechazar el razonamiento inductivo, como antagónico del hipotético-deductivo, Beltrán diferencia cinco vías de acercamiento a la realidad social:

  • El método histórico. En sociología, el objeto de estudio está en permanente cambio y es inseparable de la historia. No se puede estudiar una intervención social sin contextualizarla.
  • El método comparativo. Se aplica cuando el método experimental no es viable, lo cual sucede en la práctica totalidad de las ocasiones, en sociología. La dificultad reside en encontrar situaciones comparables.
  • El método crítico-racional. Se trata de una forma complementaria a la búsqueda de la evidencia empírica y consiste en un acceso a la realidad de forma racional y teórica, algo imprescindible para la ciencia.
  • El método cuantitativo. En toda ciencia se debe medir y cuantificar, siempre que ello sea relevante y ofrezca evidencia empírica. En sociología, como en otras ciencias sociales, ésta es la única limitación para la medición, por ello, la cuantificación por sí misma, sin ser interpretada y racionalizada, no es suficiente.
  • El método cualitativo. En las ciencias sociales, la metodología cualitativa adquiere un sentido de significado, de carácter simbólico, más que el sentido restringido de no medible o comparable de la estadística. En ninguno de los dos campos, cualitativo es sinónimo de subjetivo.

Compartiendo la idea de De Miguel[2] cuando afirma que es preciso alcanzar un mayor desarrollo teórico, para mejorar la práctica de la evaluación de programas, vamos a recoger, antes de profundizar en la misma, las aportaciones de este autor, en su visión integrada de la evaluación de la intervención social, para una futura consolidación como disciplina científica. Se trata de una apuesta por la investigación dirigida por la teoría:

  1. Profundizar sobre las teorías relacionadas con el cambio social.
  2. Establecer una teoría evaluativa explícita además de implícita.
  3. Clarificar los fundamentos epistemológicos de toda evaluación.
  4. Abordar la evaluación como una tarea ecléctica.
  5. Elegir los métodos en función de la finalidad.
  6. Fomentar la diversidad metodológica.
  7. Promover trabajos de síntesis antes que individuales.
  8. Velar por la credibilidad de los informes.
  9. Analizar los factores contextuales y políticos que condicionan el uso de la información.
  10. Realizar estudios de metaevaluación sobre los trabajos efectuados.

Alvira[3] distingue, en una investigación social, cuatro tipos de variables, que aquí vamos a clasificar como sigue:

  1. Variables explicativas, las que pretendemos medir y observar, planteadas en las hipótesis.
    1. Variables independientes, VI (X1, X2, ….., Xn). Son las variables que o bien manipula el experimentador o bien observamos para comprobar sus efectos (causa).
    2. Variables dependientes, VD (Y1, Y2, ….., Yn). Son las variables cuyo comportamiento (efectos) observa el investigador para relacionar con las variaciones producidas en las VI.
  2. Variables extrañas, VE:
    1. Variables controladas. Son variables cuyos efectos pueden confundirse con los de las explicativas, pero que el investigador controla, ya sea a priori, ya sea a posteriori.
    2. Variables perturbadoras: Variables no controladas por el investigador, que pueden confundirse con las explicativas.
    3. Variables aleatorias o estocásticas: No introducen sesgo. Errores no sistemáticos.

Corbetta[4] afirma que “Aunque la noción de causa-efecto es fundamental en el razonamiento científico, es una de las nociones más difíciles de traducir en términos operativos. Sin embargo, aunque la existencia de una ley causal nunca puede comprobarse empíricamente, el hecho de plantear una relación causal en el plano teórico, implica la observación de unos hechos. Estas observaciones no constituyen una prueba definitiva de la existencia del nexo causal, pero proporcionan una confirmación empírica de su existencia hipotética. Para poder confirmar empíricamente la existencia de una relación causal entre dos variables, se precisan tres elementos empíricos: covariación entre variable independiente y variable dependiente, dirección del nexo causal y control de las variables extrañas.” Corbetta (2010:141).
Siguiendo a Corbetta, podemos comprobar las hipótesis causales mediante dos técnicas:

  • El análisis de la covariación: investigación del comportamiento de una VI (X) y de una VD (Y) en su desarrollo natural, excluyendo los efectos de las variables extrañas mediante la comparación entre grupos y control estadístico.
  • El experimento: producción artificial de cambios en X (manipulación experimental) para observar la variación de Y, controlando los efectos de las variables extrañas mediante la distribución aleatoria de los sujetos.

Corbetta señala que ante el “problema fundamental de la deducción causal”, que consiste en que no podemos observar la variable Y con y sin tratamiento (modificación de la variable X) al mismo tiempo, disponemos de dos soluciones:

  • Solución científica, con dos modalidades:
    • Mediciones anteriores de Y sin tratamiento, en la misma unidad (tesis de invariación).
    • Mediciones de Y en una unidad equivalente (idéntica) sin tratamiento (tesis de equivalencia).
  • Solución estadística, utilizada cuando no es posible la científica, adecuada para las ciencias sociales: mediciones de Y sin tratamiento en unidades estadísticamente equivalentes (no idénticas).

Si atendemos a las dos condiciones siguientes:

  • Manipulación de la VI.
  • Distribución aleatoria de los sujetos en grupos.

Hablamos de:

  • Experimentos: se cumplen las dos condiciones.
  • Cuasiexperimentos: no se cumple la segunda condición.
  • Estudios correlacionales o análisis de variación: no se cumple la primera condición ni, por tanto, la segunda.

Alvira[5], basándose en los trabajos clásicos de Campbell y Stanley, en 1967 y de Cook y Campbell, en 1977, establece algunos criterios para la evaluación de los diseños a utilizar, cuya selección dependerá del tipo de investigación a desarrollar:

  • El criterio de validez interna: todas las alternativas explicativas posibles quedan controladas en el diseño y se comprueba la covariación y la secuencia temporal causa-efecto. Las técnicas para el control de alternativas son dos:
    • Mediciones repetidas de las variables en momentos distintos: al menos una antes y una después.
    • Mediciones de las variables en grupos de control equivalentes.
  • El criterio de validez externa: los resultados obtenidos pueden ser generalizados a otras unidades de análisis, otras situaciones, otros contextos u otros momentos. Las técnicas que proporcionan validez externa son:
    • Muestreo aleatorio.
    • Creación deliberada de grupos heterogéneos.
    • Utilización de ejemplos o casos modales para los objetivos o las áreas de la investigación.
    • Determinar las características (específicas, no necesariamente modales) de las unidades que se pretende generalizar.
  • El criterio de validez de constructo: es un caso especial del criterio de validez externa. Se trata de la validez al hacer operacional un término. Las técnicas correspondientes son:
    • Delimitación clara de los constructos.
    • Utilización de operaciones múltiples.
    • Utilización de métodos múltiples de recogida de datos (siempre que sea posible). Uso de indicadores.
  • El criterio de validez estadística. cuando se trabaja con muestras, se recurre tests de significación y es necesario acertar en la elección. Existen algunos factores importantes que proporcionan validez estadística:
    • Poder estadístico de un test.
    • Fiabilidad de las medidas.
    • Factores aleatorios del proceso.
    • Heterogeneidad aleatoria de los sujetos a investigar…

En la investigación social, los diseños utilizados más habitualmente son correlacionales, de carácter descriptivo, orientados a cumplir los criterios de validez externa y de constructo. En la tabla 5, vemos una comparación de la síntesis realizada por Campbell y Stanley, en 1967. En ella, aparecen destacados los diseños susceptibles de ser aplicados en este estudio: análisis de discontinuidad en la regresión (cuasi-experimental, nº 17) y análisis “ex post facto” (correlacional, nº 20), cuando no sea factible el anterior. Por otra parte, en la tabla 6, se resumen las diferentes amenazas a la validez, tanto interna como externa. En ella, se muestran las características propias de los dos diseños escogidos. En palabras de Apodaca[6], refiriéndose al diseño de discontinuidad en la regresión, “estos diseños se acercan notablemente a las garantías ofrecidas por los diseños experimentales aleatorios a la hora de estimar los efectos netos reales de las intervenciones. En estos diseños, la asignación al grupo objeto de tratamiento o al grupo control se realiza a partir de una puntuación de corte obtenida en una medida pretest. Son diseños con medidas pretest-postest que permiten comprobar si las diferencias pre-post del grupo objeto del tratamiento son mayores, similares o menores que el grupo de control o de referencia” (Apodaca, 1999:370).

Tabla 5.- Diseños de investigación.
Diseños
Fuente: Campbell y Stanley (1967). Elaboración propia.

Tabla 6.- Amenazas a la validez.
Amenazas a la validez
Fuente: Campbell y Stanley (1967). Elaboración propia.

Las características de este t hacen inviable la aplicación de un análisis de discontinuidad en la regresión, porque, aunque pudiéramos manipular la variable independiente con carácter previo y decidir la intervención social a llevar a cabo, resultaría imposible realizar la distribución de los sujetos en dos grupos, al azar o en función de un determinando punto de corte. La alternativa, por tanto, es utilizar un análisis ex post facto y estudiar los efectos de intervenciones que ya se han producido. Existen diferentes tipos de diseños ex post facto[7]:

  • Retrospectivos: se trata de estudios en los que tanto la causa como el efecto ya han ocurrido y medimos la variable dependiente y la independiente. Puede ser un análisis simple, en el que se estudia un solo grupo o bien, utilizarse un grupo de control, aunque no lo es propiamente dicho.
  • Prospectivos: han ocurrido las causas (variable independiente) pero aún no se han producido los efectos (variable dependiente). También este tipo puede variar en función de su complejidad.
  • Evolutivos: la variable independiente es el paso del tiempo. Pueden ser longitudinales, transversales o secuenciales.

Es necesario tener en cuenta que, al no tratarse de diseños experimentales, ni cuasiexperimentales, nos enfrentamos a las limitaciones[8] de confianza generadas por:

  • La imposibilidad de manipulación de la VI.
  • La no distribución aleatoria del grupo.
  • La falta de control de otras variables.

Sin embargo, la aplicación de este tipo de diseño ofrece una importante ventaja: la validez ecológica, la eliminación de la influencia de las situaciones artificiales. Afortunadamente, disponemos de técnicas metodológicas y estadísticas para minimizar el déficit de control, con respecto a los diseños experimentales, de manera que podamos establecer relaciones causales entre la intervención social y sus efectos.
Vamos a revisar someramente, entonces, algunos de estos métodos para establecer relaciones causales, cuando no son viables los diseños experimentales. Cansino y Sánchez[9], coincidiendo con García[10], clasifican los métodos de estimación de inferencia causal de la siguiente forma:

  1. Selección sobre variables observables. Se trata de procedimientos en los que se eligen variables predeterminadas que son observables. Existen tres tipos:
  • Subclasificación: se clasifican los sujetos en subgrupos, tanto de tratamiento como de control, en función de su puntuación en las variables seleccionadas. Se calculan las diferencias medias ponderadas por grupos.
  • Estimadores “matching” (pareo o emparejamiento). Se trata de un método de emparejamiento de sujetos (con y sin tratamiento), en función de su puntuación en la variable seleccionada. Se puede establecer una relación causal al disminuirse el riesgo y aumentar la precisión[11].
  • Método “propensity score” (propensión a participar). Los métodos anteriores son útiles para grupos pequeños y para pocas variables de emparejamiento, sin embargo, éste se puede aplicar a grupos más grandes y con mayor número de variables. Se trata de la probabilidad a participar en un programa, condicionada a una puntuación en una variable seleccionada[12].
  1. Estimador de diferencias en diferencias. Estos métodos tienen la ventaja de que se pueden aplicar cuando las vas variables no son observables. Se trata de analizar la diferencia en la VD antes y después del programa, en ambos grupos (tratamiento y control)[13]. El cálculo también se puede realizar mediante un análisis de regresión.
  2. Variables instrumentales. Este método se aplica cuando no es posible observar las variables, pero existen instrumentos para medirlas[14]. En el trabajo de Ramoni y Orlandoni[15] se relaciona el uso de variables instrumentales con los modelos de regresión de datos de panel, para la evaluación del impacto.

El análisis ex post facto, como se recoge en la tabla 6, presenta algunas amenazas a la validez, que deberemos afrontar y tratar de corregir.

[1] Beltrán, M. (2010). Cinco vías de acceso a la realidad social. En García, M.; Ibáñez, J. y Alvira, F. (ed). El análisis de la realidad social. Métodos y técnicas de investigación. (pp. 15-55). Madrid. Alianza Editorial.
[2] De Miguel, M. (2000). La evaluación de programas sociales: fundamentos y enfoques teóricos. Revista de Investigación Educativa, 18(2). (pp. 289-317).
[3] Alvira, F. (1991). Metodología de la evaluación de programas. Madrid. CIS Centro de Investigaciones Sociológicas.
[4] Corbetta, P. (2010). Metodología y técnicas de investigación social. Madrid. McGrawHill.
[5] Alvira, F. (2010). Diseños de investigación social: criterios operativos. En García, M.; Ibáñez, J. y Alvira, F. (ed). El análisis de la realidad social. Métodos y técnicas de investigación. (pp. 99-125). Madrid. Alianza Editorial.
[6] Apodaca, P. M. (1999). Evaluación de los resultados y del impacto. RIE. Revista Investigación Educativa, 17 (2). (pp. 363-377).
[7] León, O. G. y Montero, I. (2002). Métodos de investigación en Psicología y Educación. Madrid. McGraw-Hill.
[8] Bisquerra Alzina, R. (1989). Métodos de investigación educativa: guía práctica. Barcelona. CEAC.
[9] Cansino, J. M. y Sánchez, A.   (2004). Propuestas metodológicas para la evaluación de programas públicos de formación. Una revisión crítica. Documentos de trabajo (Centro de Estudios Andaluces), 1(86).
[10] Garcíia, L. (2011). Econometría de evaluación de impacto. Economia (Pontifical Catholic University of Peru), 34(67). (pp. 81-125).
[11] Rubin, D. B. (1973). Matching to remove bias in observational studies. Biometrics. (pp. 159-183).
[12] Rosenbaum, P. R. y Rubin, D. B. (1983). The central role of the propensity score in observational studies for causal effects. Biometrika, 70(1). (pp. 41-55).
[13] Heckman, J.; Ichimura, H.; Smith, J. y Todd, P. (1998). Matching as an econometric evaluation estimator. The review of economic studies, 65(2). (pp. 261-294).
[14] Arellano, F. A. (2006). Una revisión sobre los métodos de estudio y evaluación en las políticas activas de empleo. IVIE Working Paper 06-2006.
[15] Ramoni, J. y Orlandoni, G. (2013). Modelos de regresión de datos panel y su aplicación en la evaluación de impactos de programas sociales. Telos: Revista de Estudios Interdisciplinarios en Ciencias Sociales, 15(1). (pp. 119-130).