La evaluación realista

Por Javier Segura del Pozo
Médico salubrista

Una evaluación realista, en vez de centrarse en saber cual es el RESULTADO de una intervención (ejemplo, un programa de salud), estudia CÓMO ha funcionado (qué funcionó, para quiénes y en qué circunstancias). Para ello estudia los diferentes contextos donde se aplica un mismo programa y los “mecanismos” que han facilitado o dificultado que el programa funcione o no. El objetivo es identificar la mejor configuración de contexto-mecanismo-resultado para aplicar el programa en otros sitios. Compartiré algunas pistas sobre esta metodología que acabo de conocer (gracias a una reciente ponencia de nuestra colega Isabel Goicolea), y que al parecer ha tenido una notable difusión en los estudios de evaluación ¿Es una moda pasajera impulsada por el renombramiento simplificado de métodos y conceptos previamente existentes, o una útil aportación metodológica a la evaluación de programas de salud?

¿Qué es una evaluación realista?

Me limitaré a traducir el sintético texto: A brief introduction to Realist Evaluation  que podéis encontrar en la Web “Community matters” (La comunidad importa):

 pawson and tilley

Retratos de Pawson (izda) y Tilley (derecha) y portada de su libro “Realistic Evaluation”

“El término “evaluación realista” es acuñado por Pawson y Tilley en su obra seminal “Realisitic Evaluation (1997)[1] Como su nombre sugiere, es una aproximación basada en el realismo, una escuela filosófica que afirma que tanto el mundo material como el social son “reales” y pueden tener efectos reales; y que es posible llegar a entender mejor qué es lo que produce el cambio. Algunas de las implicaciones que según Pawson y Tilley tienen para la evaluación de programas incluyen:

  • Los programas sociales son un intento de abordar un problema social existente; es decir, crear cierto nivel de cambio social.
  • Los programas “funcionan” permitiendo a los participantes elegir diferentes opciones (aunque la elección siempre está constreñida por experiencias previas, creencias y actitudes, oportunidades y el acceso a los recursos).
  • Tomar y mantener diferentes decisiones requiere un cambio en el razonamiento de los participantes (por ejemplo, en los valores, las creencias, actitudes o la lógica que aplican a una situación particular) y/o en los recursos (ejemplo, información, habilidades recursos materiales, apoyo) de los que disponen.  Esta combinación de “razonamientos y recursos” es la que permitirá al programa “funcionar” y es denominada como “mecanismos” del programa.
  • Los programas “funcionan” de diferentes formas para diferentes personas (es decir, los programas pueden provocar diferentes mecanismos de cambio para diferentes participantes).
  • Los contextos en los que los programas operan son los que los diferencian de los resultados que consiguen. Los contextos de los programas incluyen elementos como las estructuras sociales, económicas y políticas, el contexto organizacional, los participantes del programa, la plantilla del programa,  el contexto geográfico e histórico, etc.
  • Algunos factores del contexto facilitan el desencadenamiento de mecanismos particulares. Otros aspectos del contexto pueden evitar que se desencadenen los mecanismos particulares. Es decir, siempre hay interacción entre contexto y mecanismos, y esta interacción es la que produce el impacto y los resultados del programa:

Contexto + Mecanismo = Resultado

  • Al funcionar los programas de forma diferentes en diferentes contextos y a través de diferentes mecanismos, no pueden ser replicados de un contexto a otro y conseguir automáticamente los mismos resultados. Sin embargo, comprender bien “qué funciona, para quién, en qué contexto y cómo” sí es un conocimiento exportable.
  • Por ello, una de las tareas de la evaluación es aprender más sobre: “qué funciona para quién”, “en qué contexto particular los programas funcionan o no” y “qué mecanismos han sido desencadenados por qué programa, en qué contexto”

 evalu real

Esquemas que ilustran la diferencia entre una evaluación “ordinaria”, a la izquierda (se evalúan las entradas y los resultados, siendo los procesos y mecanismos del programa una “caja negra”) y una evaluación realista, a la derecha (centrada en estudiar el contexto y los mecanismos del programa que ha movilizado la intervención, en relación al resultado). Fuente: Presentación de Isabel Goicolea. “Aplicación de la evaluación realista al estudio de la violencia del compañero intimo en Atención Primaria”. Madrid, 13 de mayo 2014.

Un enfoque realista asume que los programas “encarnan teorías”. Es decir, siempre que se implementa un programa, se está testando una teoría sobre “que puede provocar un cambio”, aunque esa teoría no sea explicita. Una de las tareas de la evaluación realista es hacer explicitas las teorías del programa, desarrollando hipótesis claras sobre como y para quienes “funciona el programa. Después la implementación del programa y su evaluación pondrán a prueba estas hipótesis. Esto implica recoger datos, no solo sobre los impactos del programa, o sobre los procesos de implementación del programa, sino sobre los aspectos específicos del contexto del programa que pueden tener un impacto en los resultados desprograma y sobre los mecanismos específicos que pueden crear los cambios.

Pawson y Tilley también argumentan que un enfoque realista tiene implicaciones particulares para el diseño de una evaluación y los roles de sus participantes. Por ejemplo, más que comparar los cambios en los participantes que han adoptado un programa con un grupo de personas que no lo hayan hecho (como se hace en los diseños de control aleatorio o cuasi.-experimental), una evaluación realista compara los mecanismos y resultados dentro de los programas. Preguntaría, por ejemplo, si un programa funciona de forma diferentes en diferentes lugares (y si es así, como y porque); o para diferentes grupos de población (por ejemplo, hombres y mujeres, o grupos con diferentes estatus socioeconómicos)… Además, sostienen que diferentes actores claves poseen diferente información y conocimiento sobre como se supone debe funcionar un programa y si lo hace así de hecho. Se deben poner en marcha procesos de recogida de datos (entrevistas, grupos focales, encuestas, etc.) para obtener la información particular que estos grupos de actores claves quieren tener, y a través de ello refutar o refinar las teorías sobre como y para quien funciona el programa”.

 [traducción propia de A brief introduction to Realist Evaluation   en la Web “Community matters”]

Comentario

Como sabéis, en Salud Pública también existen las modas. No es infrecuente encontrarse con un aparentemente nuevo concepto, metodología o enfoque, ampliamente difundido a partir de algunos salubristas que lo importan de fuera de nuestras fronteras (donde, a su vez, frecuentemente se importó de otros campos de conocimientos y aplicación, por ejemplo, las ciencias sociales). Al albur de la novedad y del sello de “modernidad”, rápidamente se  extiende por publicaciones y conferencias de Salud Pública o Epidemiología; como muestra de “estar a la última”, es mencionado por los más eméritos salubristas en congresos, donde acaba ofreciéndose como “novedad” en sus conferencias inaugurales y cursos precongresos, conformándose un vínculo entre los investigadores que la aplican. Un ejemplo, más o menos reciente, ha sido la promoción de la salud “basada en activos” (ver en el blog “Salud Pública y algo más”: El enfoque ABCD de desarrollo comunitario; y El mapa de recursos de una comunidad (Asset mapping)). Hay muchos más.

En algunos casos, nos encontramos ante la duda si lo que nos ofrecen ya nos suena de otras aportaciones y es un mero reembalaje simplificado de escaso valor. Pero en otras ocasiones, nos tenemos que preguntar si el éxito de su difusión no responde acaso a haber conseguido hacer una reformulación más práctica de otros conceptos y por lo tanto es una herramienta útil para nuestra práctica en Salud Pública. En el caso de la evaluación realista, me ocurrió algo similar. Me atrae una metodología que tiene en cuenta el contexto donde se aplican los programas. También las ideas previas de los actores del mismo. Me recuerda mucho a ciertos conceptos de la Concepción Operativa de Grupos que he utilizado en mi práctica institucional (ver Réquiem por el maestro Armando Bauleo ). Por ejemplo, los “razonamientos” de los “mecanismos” me suenan al ECRO pichoniano (esquema conceptual, referencial y operativo). Los “contextos” me recuerdan a “la teoría de los ámbitos” de José Bleger. Lo cual no le quita un ápice de valor, pues en la historia de la ciencia y el conocimiento, es difícil saber de quien es una idea original. La cuestión es como se combinan y aplican las ideas y conceptos.

Y me gusta esta combinación. También me gusta la idea de analizar tanto los éxitos como los fracasos de un programa; y la de desvelar la teoría implícita (también me suena), para confrontarla con la realidad. Me gusta discriminar si un programa funciona diferente según la clase social o el género; también en diferentes países y con diferentes referentes profesionales. Me gustan las evaluaciones mestizas que combinan métodos cualitativos y cuantitativos. En resumen, me parece atractivo este planteamiento. Aunque seguro que hay otros muy similares con otros nombres. Lo importante es que evaluemos bien nuestros programas y compartamos este conocimiento (ver en el blog “Salud Pública y algo más”:  la evaluación de un programa).

Como decía al principio, he conocido de la existencia de la evaluación realista gracias a Isabel Goicolea, que fue invitada a presentar su más reciente investigación en el último Seminario de Epidemiología Social de la Escuela Nacional de Sanidad[2]. Isabel es una médica salubrista española (vasca) con una biografía profesional impresionante (muchos años trabajando sobre el terreno en Latinoamérica, especialmente en programas de salud sexual y reproductiva) y desde hace varios años es profesora e investigadora del Departamento de Salud Publica y Medicina Clínica de la Universidad de Umeå en Suecia. Actualmente está haciendo una estancia, como investigadora invitada, en la Universidad Miguel Hernández de Elche (Alicante)[3], desarrollando su trabajo “¿Cómo aprenden los equipos de atención primaria a manejar la violencia de compañero íntimo?“. La ponencia del seminario tuvo este título y en ella Isabel demostró su gran capacidad pedagógica, además de su paciencia para responder, de forma muy “británica” a las dudas y opiniones del auditorio[4] ¡Gracias, Isabel, y hasta pronto!

Si queréis saber más

I. Si queréis saber más sobre evaluación realista, os recomiendo un texto y un video de Pawson y dos ejemplos de aplicación de la evaluación realista (por desgracia, todos en ingles). Al final también tenéis un video en español (!) con la presentación de Isabel Goicolea:

  1. Pawson, R. and Tilley. “Realistic Evaluation. Introduction” (2004). http://www.communitymatters.com.au/RE_chapter.pdf. Es el primer capíitulo de introducción donde se desarrolla el concepto en 35 paginas (en inglés).
  2. Video (en varias partes) sobre los principios “Evaluacion realista” a partir de una entrevista a Ray Pawson:  
  3. Goicolea, I et cols. “Mechanisms for achieving adolescent-friendly services in Ecuador: a realist evaluation approach”. Glob Health Action 2012, 5: 18748 (http://www.globalhealthaction.net/index.php/gha/article/view/18748) . En este trabajo Isabel Goicolea y su equipo aplican la evaluación realista a varias experiencias en Ecuador, cuyo fin es transformar varios centros de salud en “centros amigables” para los adolescentes y jóvenes.  Tremendo trabajo de campo e interesantes conclusiones, especialmente para los que trabajan en programa de salud sexual y reproductiva y centros jóvenes. No sé si hay una versión en español, especialmente para nuestros amigos y colegas ecuatorianos.
  4. Evans D, Killoran A. “Tackling health inequalities through partnership working: lessons from a realistic evaluation”. Crit Public Health 2000; 10: 125_40. Interesante evaluación de 2000 (al poco de salir el libro de Pawson y Tilley) sobre los primeros años de desarrollo de los Partnerships ingleses. Es decir, las experiencias de proyectos de coordinación intersectorial para el abordaje de las desigualdades sociales en salid en las zonas mas necesitadas de Inglaterra. Se comparan cuatro experiencias y se exploran los factores del contexto y “los mecanismos” relacionados con la siempre difícil coordinación intersectorial, que explican el mayor o menos éxito de los proyectos en esos sitios. Una de estas experiencias es la de Sandwell que visité hace unos años (2009) y cuyas impresiones compartí en el otro blog (ver en “Salud Pública y algo más”: La estartegia inglesa de lucha contra las DSS (1998-2010) y  “Healthy living centres” o centros de vida saludable, Gran Bretaña (1999-2010)
  5. “¿Cómo aprenden los equipos de atención primaria a manejar la violencia de compañero íntimo? Aplicando el enfoque de evaluación realista para explorar prácticas en servicios de atención primaria en España” Clase de Isabel Goicola en el Master de Salud Pública de la Universidad Miguel Hernández de Alicante. Muy similar a la ponencia expuesta en el Seminario en Madrid.  

    II. Si queréis saber más sobre Isabel Goicolea:

     http://www.phmed.umu.se/english/divisions/epidemiology/staff/isabel-goicolea/

     —————————————————–

    [1]Pawson, R. and Tilley, N (1997) Realistic Evaluation. London: Sage.

    [2] Aprovecho para felicitar a los promotores de este interesante Seminario de Epidemiología Social que ya cumple varios años: Joao Forjaz, Belén Sanz, Laura Otero, Manuel Franco, etc. Han hecho una selección de trabajos estupenda y han cuidado la pervivencia de un valioso foro de encuentro de la Epidemiología Social de Madrid.

    [3] Un abrazo a los/las compas sociólogos/as salubristas de Elche: Carmen Vives, Diana Gil, Daniel La Parra, Adrían Buzzaqui,…

    [4] La actitud de algunas intervenciones de la audiencia me recordó el anterior seminario, impartido, también de forma muy brillante, por la ponente Helena Legido-Quigley. Me suscitó algunas preguntas: ¿Por qué en España no somos mas amables con los que exponen y se exponen en público? ¿Por qué algunos se empeñan en ver siempre el vaso “medio lleno” (lo que falta), en vez de dar valor a lo que se ha conseguido? ¿Por qué algunos dedican más tiempo en mostrar (al otro, a la otra, a todos) todo lo que ellos saben, en vez de preguntar (al otro u otra) para aumentar su sabiduría? ¿Por qué en estos foros no se puede establecer serenamente un debate intelectual sincero y abierto, sin necesidad de ser ofensivo? Ahora que lo mejor de nuestros profesionales e investigadores  jóvenes se marcha al extranjero y va a tener que fajarse en otros foros, me pregunto: ¿Nos faltan habilidades dialécticas o nos sobra inseguridad? ¿Qué opináis?

Anuncios

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s