Developmental Evaluation: una breve introducción

En diversos ámbitos de las intervenciones de desarrollo ha venido teniendo mucha fuerza el trabajo sobre la noción de “mejores prácticas”. La misma refiere a determinadas iniciativas (proyectos, programas) que son identificadas como valiosas,  positivas, y dignas de ser replicadas.  De ese modo, dichas prácticas son rápidamente convertidas  en estándares, con la expectativa de alcanzar cierta escala e ir más allá de la “práctica” inicial.

Esto presenta diversos problemas, entre los cuales encontramos claramente que los estándares (como tales) tienden a desprenderse de su contexto de origen, y pasan a ser entendidos como cuasi-universales, vale decir, aplicables en todo ámbito y tiempo, por distante que sea con aquel que le dio origen.  Además de implicar que efectivamente sabemos cuál es la mejor manera de hacer las cosas, y de incluso desalentarnos a buscar otras maneras de hacerla, un punto crítico apunta a la complejidad: no siempre sabemos porqué algo funciona, aunque lo haga exitosamente.

 Ya comentamos anteriormente cómo la ciencia de la complejidad  puede aportar valiosos insumos y perspectivas enriquecedoras para entender el enmarañado proceso de cambio social y del desarrollo. La perspectiva de la complejidad facilita superar la visión de considerar a la pobreza, la vulnerabilidad, y la enfermedad como rompecabezas, y a las organizaciones de desarrollo como las piezas que faltan para completarlo. Esto, además de dar a las intervenciones externas una mayor importancia de la que tienen, distorsiona la naturaleza de los problemas que enfrentamos, presentando de manera simple el flujo del desarrollo. En lugar de abordar e involucrarnos con la complejidad, la misma es descartada o relegada a un lugar marginal, lo que es facilitado por las herramientas y técnicas que muchas veces usamos. El punto clave es que tratamos a las cosas complejas como si fueran simplemente complicadas.

Ante esto, recientemente han ido surgiendo enfoques y métodos de evaluación orientados a reconocer el carácter complejo de distintos contextos de implementación de programas y políticas. Entre ellos me parece que tres aportes infaltables son los siguientes: Purposeful Program Theory , de Sue Funnell y Patricia Rogers,  Systems Concepts in Action, de Bob Williams y Richard Hummelbruner, y Developmental Evaluation, de Michael Quinn Patton.

El enfoque de Patton (quien aquí comentó sobre tendencias actuales de la evaluación) está explícitamente orientado a articularse y apoyar procesos de desarrollo emergentes, innovadores y transformacionales. De algún modo, procura atender a la necesidad de evaluar un programa mientras el mismo se está desarrollando, en el sentido de que se está generando y configurando en su mismo desarrollo. Entonces, en ese contexto, aparece la necesidad de adecuar el enfoque de evaluación, respondiendo a diversas demandas: dar cuenta hacia los administradores y/o financiadores de resultados e impactos que se hubieran predeterminados, a la vez que requiere generar aprendizajes y lecciones de la experiencia en curso.  ¿Qué sugiere Patton que se puede hacer? Algo de lo siguiente:

  • Documentar los principios que impulsan el programa,  y utilizarlos  para organizar la puesta en acto en otros escenarios donde se va a desenvolver.
  • Identificar los factores que dan cuenta de que determinada área está lista para ejecutar el programa.
  • Compartir las lecciones aprendidas con los actores o interesados principales (los stakeholders)  en áreas de implementación posibles.

El punto es que la Developmental Evaluation no es solamente difícil de traducir (¿evaluación en desarrollo?), sino que es problemática en cuanto atiende a un conjunto complejo de condiciones y resultados que, en gran medida, desafían la ortodoxia en investigación y evaluación.  Patton es muy conocido por diversos aportes, entre los cuales resalta su proceso de evaluación focalizada en la utilización.  En este nuevo giro de tuerca, Patton hace uso de conceptos del paradigma de la complejidad para dar cuenta de situaciones de dinamismo y novedad, incertidumbre y construcción en proceso.  Y si bien en aquel enfoque brindó una guía o serie de pasos a seguir, estos ahora no están tan claramente estipulados. Justamente, no podría haber una “receta” para una metodología orientada a abordar la complejidad, con atención a la emergencia de nuevos patrones,  la tarea de darles sentido  para entenderlos en el contexto de su aparición, así como a rescatar al contexto de generación de los descubrimientos. Estos elementos caracterizan y distinguen a la Developmental Evaluation de otros enfoques de investigación y evaluación.

Valgan estas pocas líneas para una primera aproximación a este enfoque. La presentación in-extenso de Developmental Evaluation puede estudiarse en el libro homónimo. Y si quieren ver y escuchar un par de presentaciones del mismo Patton dando cuenta del enfoque y su articulación con los contextos de complejidad, pueden visitar My M&E y tendrán acceso a la grabación de dos video-conferencias y sus respectivas presentaciones:  la primera de ellas es (justamente) sobre la Developmental Evaluation, mientras que la segunda apunta a  How to evaluate interventions in complex dynamic environments.

Una inquietud final que me surge, la cual seguramente valdría la pena explorar, es cuáles son los puntos de contacto y distancia entre el enfoque de Patton y los aportes que el movimiento de la sistematización ha realizado en América Latina? Quizás algun@ de los amig@s del grupo Sistematización y Evaluación pueda darnos algunas pistas en los comentarios…

 

ACTUALIZACION:

Michael Q. Patton tuvo la gentileza de leer este post, y me envió la siguiente comunicación:

Pablo,
 
Thank you for sharing your posting.  I had a colleague translate it for me over the phone.  Very impressive and useful.
 
Mucho gracias,
 
Michael
Michael Quinn Patton
Utilization-Focused Evaluation
Saint Paul, MN

Acerca de Pablo Rodriguez-Bilella
Sociologist, evaluator, and something else... Family man, guitar learner, compulsive reader... Blogging and tweeting about Development, Evaluation and Complexity issues...

23 Responses to Developmental Evaluation: una breve introducción

  1. Elena Calafell dice:

    gracias por compartir una perspectiva que comparto contigo de hacerlo de una mnera clara, concisa y bien descrita. No estaba informada de que Patton recientemente habia desarrollado una metodologia sistematica de evaluacion que tiene en considercion la naturaleza de los programas, que son al fin y al cabo dependientes de mutiples variables que cambian y se desarrollan en funcion del contexto y por tanto exigen una adaptabilidad en el metodo de evaluacion. Gracias a ti mirare el video de Patton

    gracias

    Me gusta

  2. sergio lenci dice:

    gracias por lanzar esta discusion. agregaria solo una observacion. A mi manera de ver, la utilidad de la evaluacion no es necesariamente la de indentificar buenas practicas, no solamente por las razones que tu has sintetizado muy bien y que comparto plenamente, sino tambien por el hecho que se aprende mucho de los fracasos, tanto como de los triunfos. en este sentido, mas alla de los aspectos de accountability (como se dice en español?) es importante identificar lo que no ha funcionado y entender el porque, aunque al igual que en el caso de las buenas practicas, las lecciones que puedan extraerse no necesariamente tienen una validez universal.
    mi percpecion es que en algunas institutiones hay un interes excesivo en buenas practicas que hace pensar por un lado a una tendencia a simplificar la realidad y buscar recetas y, por el otro, a un entendimiento de la evaluacion que esta mas cerca de la divulgacion de resultados (o exagerando un poco de la promocion institutional) que de una verdadera intencion de aprendizaje institucional.

    Me gusta

  3. Emma Rotondo dice:

    Estimado Pablo:

    te felicito por esta reflexión a propòsito del enfoque de evaluación de Patton. Su orientación es orientado al aprendizaje social, la reflexiòn crítica y el diàlogo entre actores, lo cual es altamente relevante para retroalimentar el cambio (y acelerarlo). De alguna manera, apunta al corazón de la evaluación que es justamente mejorar “algo” sea este un proceso, un programa, una política, una organización etc. Patton enfatiza el uso del proceso evaluativo antes que rendiciòn de cuentas o la mediciòn del desempeño. De alguna manera coincide con los enfoques del coaching ontológico (Echevarría, Flores, Olaya. entre otros) puesto que parte de la idea que todo es construido socialmente y que el lenguaje es el vehículo para crear realidades. Si bien las teorìas sobre evaluaciòn son diversas, algunas la definen como una transdisciplina que busca no sólo retroalimentar el cambio sino fundamentalmente establecer el valor agregado de algo vs. dinero desembolsado, o sea comparar desempeño, rendiciòn de cuentas, planificado vs. resultados. En otras palabras, el enfoque de Patton se enfrenta al concepto de atribución y causalidad y postula una manera de abordar la evaluación más intersubjetiva. Encuentro, personalmente, que esta forma valorativa de procesar cambios, está más cerca de la sistematización como tal, sin dejar de ser evaluación. O sea, este enfoque (el de Patton) y la sistematización valoran y dan mérito a procesos desde la perspectiva de actores, construyen aprendizajes sociales paraa identificar factores de éxito (qué funcionó o no y por qué), entre otros. Si bien la sistematización es un tipo de investigación aplicada, creada en la región de América Latina, es momento de incluirla como proceso complementario en evaluaciones internas (sobre todo aunque no exclusivamente). En breve, el enfoque de Patton se acerca muchísimo a la sistematización. Por ahora dejo estos comentarios.

    Me gusta

    • Emma, que nos has dejado con gusto a poco al dejar los comentarios! Pues desde ya te voy invitando públicamente para algún momento en el futuro cercano para compartir con más detalles estas reflexiones. Casi cada dos oraciones tuyas hubiera querido hacerte preguntas, dar un comentario, pedirte una cita (de autor, no de cena, eh?). Asique, ya los seguimos charlando estos días….

      Me gusta

      • Emma Rotondo dice:

        Estimado Pablo y colegas: el enfoque de Patton da para mucho diàlogo y reflexión. En este momento está en el lugar opuesto a los autodenominados métodos “rigurosos” cuasi experimentales sobre los que que habrá que evaluar su efectividad para “capturar” la realidad compleja que es el cambio y la innovación. Quiero agregar que una consecuencia del enfoque de Patton es el nuevo rol del evaluador(a) como un facilitador de procesos de reflexión, saber escuchar, promover el diàlogo y la construcción de nuevos conocimientos orientados al aprendizaje y que son habilidades fundamentales que todo evaluador debe ir adquiriendo. De alguna manera, tambièn un rol de coach, o sea de acompañante mediante preguntas motivadoras para el logro de algún objetivo (valorar procesos por ejemplo). En la III Conferencia de ReLAC en Bogotá 2009, organizamos un taller Gladys Quintero de Venezuela y facilitadora de ALFA (Asociaciòn Latinoamericana de Facilitadores) y yo de Preval para ir instalando el interés por desarrollar habilidades de facilitaciòn y coaching, que ahora se está convirtiendo, junto con Lucia Calil de Brasil, en un curso virtual sobre “Facilitación de procesos de aprendizaje social en evaluaciòn y sistematización”. La idea es abrir espacio al desarrollo de competencias de facilitaciòn y coaching para conducir procesos de evaluación y sistematización que sean significativos para los actores sociales involucrados. saludos

        Me gusta

  4. Pablo – You and Patton raise an important point regarding how evaluation can be made more effective by building it into the process and evaluating throughout a project’s evolution, not just at the end. I am skeptical of terms like ‘best practices’ and ‘recipes’. I think we can certainly learn from other initiatives but ‘one size does not fit all’ and customization is critical. This discussion helps to move us away from ‘best’ and towards ‘good’.

    Me gusta

  5. Sí Pablo, felicidades por esta iniciativa. Y también a Emma por ampliar la perspectiva sobre lo que yo traduzco, intentando contestar tu pregunta Pablo, como “evaluación para el desarrollo de innovaciones”, que suele acontecer en circunstancias bastante complejas. Aunque sé un poco más del Developmental Evaluation que de la sistematización, estoy de acuerdo con Emma en sus semejanzas.

    Los comentarios de Elena y Sergio me recuerdan de no poca confusión que encuentro sobre las implicaciones concretas de la complejidad para la evaluación. Entonces, sólo añadiría que en la práctica, o la mía por lo menos, el desafío que presenta la complejidad para iniciativas de desarrollo y cambio social, sea en su gestión o en su evaluación, es enfrentar la realidad que por muy dinámico y llenos de incertidumbre que sean, usualmente estas intervenciones y las circunstancias en que se desarrollan son una mezcla de elementos simples, complicados y complejos. Entonces, uno tiene que reconocer y enfrentar en una misma intervención y de forma diferente:

    a) Lo simple, cuando sí se conocen de antemano cuáles serán los resultados de este y el otro aspecto de la intervención propuesta.

    b) Lo complicado, cuando las relaciones de causa-efecto en otros aspectos de la intervención propuesta ahora se desconocen pero se pueden conocer acudiendo a expertos o a la experimentación.

    c) Lo complejo, cuando se desconocen y se desconocerán los resultados hasta que hayan sido realizados.

    Para mí, es en este ámbito que entra el arte sea de gestión o de evaluación. Y me pregunto, ¿no será lo mismo para la sistematización?

    Agradecimientos y abrazos por la estimulante discusión,

    Ricardo

    Me gusta

    • “Evaluación para el desarrollo de innovaciones”… gracias Ricardo por el dato. Gracias al libro que comentamos antes más arriba, Getting to may be, el cual lo conocí gracias a vos, me resulta más claro entender a que refieren dichas innovaciones. En el link de más arriba se puede ver en Amazon la tabla de contenidos y creo que la introducción de ese fantástico libro, altamente recomendable para todos los interesados en el cambio social, la evaluación, y los contextos complejos.

      Me gusta

  6. Daniel Brandao dice:

    Pablo,

    Iniciativa incrível! Parabéns pelo trabalho. Vou divulgar o blog aqui no Brasil.

    Sensacional!

    Me gusta

  7. Obrigado, Daniel! E bem-vindos à beira do caos!

    Me gusta

  8. Martin Ochoa De la Cruz dice:

    Pablo, interesante reflexión la que planteas. Considero que la diversidad geográfica, cultural, económica, social y otros aspectos adicionales (propio de nuestros países), hacen desde la perspectiva de análisis aún más compleja los procesos de evaluación, pero justamente ahi esta lo “rico o la riqueza” de los procesos evaluativos, no debemos olvidar que es una característica de ellos (me refiero a los procesos de evaluación) su carácter de instruir y conocer más la realidad, para a partir de ellos realizar intervenciones más efectivas.

    Comparto lo señalado en tú nota, que existe la necesidad de adecuar el enfoque de evaluación, respondiendo a diversas demandas (administradores, financistas). De igual forma, me queda la inquietud de conocer su vinculación con procesos de sistematización.

    Martin Ochoa De la Cruz

    Me gusta

  9. Ruben Roa dice:

    No he leido a los autores que mencionas, soy un sociologo frustrado, apenas con un tiempo en una maestria de la UNTREF donde aprendi sobre demografia y calidad de vida. Aun asi, tambien soy medico epidemologo, y seria largo relatar aqui, el porque la propia medicina sufre su propia crisis de paradigmas, tal cual otras ciencias tambien. Tiene esto algo que ver con lo que plantea Edgard Morin en sus escritos ? Desde ya gracias y vuestra disposicion. RR

    Me gusta

    • Gracias Rubén por tus comentarios. Sin duda que los aportes de Morin son importantes para la discusión sobre complejidad, si bien es notable su ausencia en gran parte de la producción anglófona vinculada a la temática de la evaluación. Alguna vez con colegas de mi equipo nos preguntamos sobre eso, pero lamentablemente no le dimos seguimiento. Una punta más para explorar…

      Me gusta

  10. Pingback: Evaluación, valoración, negociación: reflexiones hacia una cultura de la evaluación « Al Borde del Caos

  11. Pingback: Para evaluar y aprender de los errores en cooperación | Cooperantes – APC

  12. Pingback: Viernes light: un año Al Borde del Caos… (y sin dar un paso al frente) « Al Borde del Caos

  13. moniccarm dice:

    Hola, sobre la evaluación del desarrollo, encuentro muy útil el artículo:
    http://www.gobernabilidad.cl/modules.php?name=News&file=article&sid=2055

    Me gusta

  14. Pingback: Bioactive Raspberry Ketones Reviews For Weight Loss

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

A %d blogueros les gusta esto: