En diversos ámbitos de las intervenciones de desarrollo ha venido teniendo mucha fuerza el trabajo sobre la noción de «mejores prácticas». La misma refiere a determinadas iniciativas (proyectos, programas) que son identificadas como valiosas, positivas, y dignas de ser replicadas. De ese modo, dichas prácticas son rápidamente convertidas en estándares, con la expectativa de alcanzar cierta escala e ir más allá de la “práctica” inicial.
Esto presenta diversos problemas, entre los cuales encontramos claramente que los estándares (como tales) tienden a desprenderse de su contexto de origen, y pasan a ser entendidos como cuasi-universales, vale decir, aplicables en todo ámbito y tiempo, por distante que sea con aquel que le dio origen. Además de implicar que efectivamente sabemos cuál es la mejor manera de hacer las cosas, y de incluso desalentarnos a buscar otras maneras de hacerla, un punto crítico apunta a la complejidad: no siempre sabemos porqué algo funciona, aunque lo haga exitosamente.
Ya comentamos anteriormente cómo la ciencia de la complejidad puede aportar valiosos insumos y perspectivas enriquecedoras para entender el enmarañado proceso de cambio social y del desarrollo. La perspectiva de la complejidad facilita superar la visión de considerar a la pobreza, la vulnerabilidad, y la enfermedad como rompecabezas, y a las organizaciones de desarrollo como las piezas que faltan para completarlo. Esto, además de dar a las intervenciones externas una mayor importancia de la que tienen, distorsiona la naturaleza de los problemas que enfrentamos, presentando de manera simple el flujo del desarrollo. En lugar de abordar e involucrarnos con la complejidad, la misma es descartada o relegada a un lugar marginal, lo que es facilitado por las herramientas y técnicas que muchas veces usamos. El punto clave es que tratamos a las cosas complejas como si fueran simplemente complicadas.
Ante esto, recientemente han ido surgiendo enfoques y métodos de evaluación orientados a reconocer el carácter complejo de distintos contextos de implementación de programas y políticas. Entre ellos me parece que tres aportes infaltables son los siguientes: Purposeful Program Theory , de Sue Funnell y Patricia Rogers, Systems Concepts in Action, de Bob Williams y Richard Hummelbruner, y Developmental Evaluation, de Michael Quinn Patton.
El enfoque de Patton (quien aquí comentó sobre tendencias actuales de la evaluación) está explícitamente orientado a articularse y apoyar procesos de desarrollo emergentes, innovadores y transformacionales. De algún modo, procura atender a la necesidad de evaluar un programa mientras el mismo se está desarrollando, en el sentido de que se está generando y configurando en su mismo desarrollo. Entonces, en ese contexto, aparece la necesidad de adecuar el enfoque de evaluación, respondiendo a diversas demandas: dar cuenta hacia los administradores y/o financiadores de resultados e impactos que se hubieran predeterminados, a la vez que requiere generar aprendizajes y lecciones de la experiencia en curso. ¿Qué sugiere Patton que se puede hacer? Algo de lo siguiente:
- Documentar los principios que impulsan el programa, y utilizarlos para organizar la puesta en acto en otros escenarios donde se va a desenvolver.
- Identificar los factores que dan cuenta de que determinada área está lista para ejecutar el programa.
- Compartir las lecciones aprendidas con los actores o interesados principales (los stakeholders) en áreas de implementación posibles.
El punto es que la Developmental Evaluation no es solamente difícil de traducir (¿evaluación en desarrollo?), sino que es problemática en cuanto atiende a un conjunto complejo de condiciones y resultados que, en gran medida, desafían la ortodoxia en investigación y evaluación. Patton es muy conocido por diversos aportes, entre los cuales resalta su proceso de evaluación focalizada en la utilización. En este nuevo giro de tuerca, Patton hace uso de conceptos del paradigma de la complejidad para dar cuenta de situaciones de dinamismo y novedad, incertidumbre y construcción en proceso. Y si bien en aquel enfoque brindó una guía o serie de pasos a seguir, estos ahora no están tan claramente estipulados. Justamente, no podría haber una «receta» para una metodología orientada a abordar la complejidad, con atención a la emergencia de nuevos patrones, la tarea de darles sentido para entenderlos en el contexto de su aparición, así como a rescatar al contexto de generación de los descubrimientos. Estos elementos caracterizan y distinguen a la Developmental Evaluation de otros enfoques de investigación y evaluación.
Valgan estas pocas líneas para una primera aproximación a este enfoque. La presentación in-extenso de Developmental Evaluation puede estudiarse en el libro homónimo. Y si quieren ver y escuchar un par de presentaciones del mismo Patton dando cuenta del enfoque y su articulación con los contextos de complejidad, pueden visitar My M&E y tendrán acceso a la grabación de dos video-conferencias y sus respectivas presentaciones: la primera de ellas es (justamente) sobre la Developmental Evaluation, mientras que la segunda apunta a How to evaluate interventions in complex dynamic environments.
Una inquietud final que me surge, la cual seguramente valdría la pena explorar, es cuáles son los puntos de contacto y distancia entre el enfoque de Patton y los aportes que el movimiento de la sistematización ha realizado en América Latina? Quizás algun@ de los amig@s del grupo Sistematización y Evaluación pueda darnos algunas pistas en los comentarios…
ACTUALIZACION:
Michael Q. Patton tuvo la gentileza de leer este post, y me envió la siguiente comunicación:
Pablo,
Thank you for sharing your posting. I had a colleague translate it for me over the phone. Very impressive and useful.
Mucho gracias,
MichaelMichael Quinn Patton Utilization-Focused Evaluation Saint Paul, MN
Al Borde del Caos 
gracias por compartir una perspectiva que comparto contigo de hacerlo de una mnera clara, concisa y bien descrita. No estaba informada de que Patton recientemente habia desarrollado una metodologia sistematica de evaluacion que tiene en considercion la naturaleza de los programas, que son al fin y al cabo dependientes de mutiples variables que cambian y se desarrollan en funcion del contexto y por tanto exigen una adaptabilidad en el metodo de evaluacion. Gracias a ti mirare el video de Patton
gracias
Me gustaMe gusta
Gracias Elena, espero que disfrutes los videos. Verás también que hay una serie de power points que acompañan la exposición, que también pueden descargarse aparte. Suerte!
Me gustaMe gusta
gracias por lanzar esta discusion. agregaria solo una observacion. A mi manera de ver, la utilidad de la evaluacion no es necesariamente la de indentificar buenas practicas, no solamente por las razones que tu has sintetizado muy bien y que comparto plenamente, sino tambien por el hecho que se aprende mucho de los fracasos, tanto como de los triunfos. en este sentido, mas alla de los aspectos de accountability (como se dice en español?) es importante identificar lo que no ha funcionado y entender el porque, aunque al igual que en el caso de las buenas practicas, las lecciones que puedan extraerse no necesariamente tienen una validez universal.
mi percpecion es que en algunas institutiones hay un interes excesivo en buenas practicas que hace pensar por un lado a una tendencia a simplificar la realidad y buscar recetas y, por el otro, a un entendimiento de la evaluacion que esta mas cerca de la divulgacion de resultados (o exagerando un poco de la promocion institutional) que de una verdadera intencion de aprendizaje institucional.
Me gustaMe gusta
Aprovechando que Ricardo Wilson-Grau me dio una mano en otro comentario con la traducción de Developmental Evaluation, te paso el dato que generalmente se traduce accountability como «rendición de cuentas». Tu comentario apunta a un tema que traté alguna vez aquí en el blog, referido al interés que ha generado recientemente el análisis del fracaso, hasta el punto que algunos parece que hablaran de la celebración del fracaso: https://albordedelcaos.com/2011/10/24/por-mi-culpa-por-mi-culpa-por-mi-gran-culpa/
También aquí, insisto, creo que los amigos que vienen trabajando el tema Sistematización tienen varios puntos que aportar.
Me gustaMe gusta
Estimado Pablo:
te felicito por esta reflexión a propòsito del enfoque de evaluación de Patton. Su orientación es orientado al aprendizaje social, la reflexiòn crítica y el diàlogo entre actores, lo cual es altamente relevante para retroalimentar el cambio (y acelerarlo). De alguna manera, apunta al corazón de la evaluación que es justamente mejorar «algo» sea este un proceso, un programa, una política, una organización etc. Patton enfatiza el uso del proceso evaluativo antes que rendiciòn de cuentas o la mediciòn del desempeño. De alguna manera coincide con los enfoques del coaching ontológico (Echevarría, Flores, Olaya. entre otros) puesto que parte de la idea que todo es construido socialmente y que el lenguaje es el vehículo para crear realidades. Si bien las teorìas sobre evaluaciòn son diversas, algunas la definen como una transdisciplina que busca no sólo retroalimentar el cambio sino fundamentalmente establecer el valor agregado de algo vs. dinero desembolsado, o sea comparar desempeño, rendiciòn de cuentas, planificado vs. resultados. En otras palabras, el enfoque de Patton se enfrenta al concepto de atribución y causalidad y postula una manera de abordar la evaluación más intersubjetiva. Encuentro, personalmente, que esta forma valorativa de procesar cambios, está más cerca de la sistematización como tal, sin dejar de ser evaluación. O sea, este enfoque (el de Patton) y la sistematización valoran y dan mérito a procesos desde la perspectiva de actores, construyen aprendizajes sociales paraa identificar factores de éxito (qué funcionó o no y por qué), entre otros. Si bien la sistematización es un tipo de investigación aplicada, creada en la región de América Latina, es momento de incluirla como proceso complementario en evaluaciones internas (sobre todo aunque no exclusivamente). En breve, el enfoque de Patton se acerca muchísimo a la sistematización. Por ahora dejo estos comentarios.
Me gustaMe gusta
Emma, que nos has dejado con gusto a poco al dejar los comentarios! Pues desde ya te voy invitando públicamente para algún momento en el futuro cercano para compartir con más detalles estas reflexiones. Casi cada dos oraciones tuyas hubiera querido hacerte preguntas, dar un comentario, pedirte una cita (de autor, no de cena, eh?). Asique, ya los seguimos charlando estos días….
Me gustaMe gusta
Estimado Pablo y colegas: el enfoque de Patton da para mucho diàlogo y reflexión. En este momento está en el lugar opuesto a los autodenominados métodos «rigurosos» cuasi experimentales sobre los que que habrá que evaluar su efectividad para «capturar» la realidad compleja que es el cambio y la innovación. Quiero agregar que una consecuencia del enfoque de Patton es el nuevo rol del evaluador(a) como un facilitador de procesos de reflexión, saber escuchar, promover el diàlogo y la construcción de nuevos conocimientos orientados al aprendizaje y que son habilidades fundamentales que todo evaluador debe ir adquiriendo. De alguna manera, tambièn un rol de coach, o sea de acompañante mediante preguntas motivadoras para el logro de algún objetivo (valorar procesos por ejemplo). En la III Conferencia de ReLAC en Bogotá 2009, organizamos un taller Gladys Quintero de Venezuela y facilitadora de ALFA (Asociaciòn Latinoamericana de Facilitadores) y yo de Preval para ir instalando el interés por desarrollar habilidades de facilitaciòn y coaching, que ahora se está convirtiendo, junto con Lucia Calil de Brasil, en un curso virtual sobre «Facilitación de procesos de aprendizaje social en evaluaciòn y sistematización». La idea es abrir espacio al desarrollo de competencias de facilitaciòn y coaching para conducir procesos de evaluación y sistematización que sean significativos para los actores sociales involucrados. saludos
Me gustaMe gusta
Pablo – You and Patton raise an important point regarding how evaluation can be made more effective by building it into the process and evaluating throughout a project’s evolution, not just at the end. I am skeptical of terms like ‘best practices’ and ‘recipes’. I think we can certainly learn from other initiatives but ‘one size does not fit all’ and customization is critical. This discussion helps to move us away from ‘best’ and towards ‘good’.
Me gustaMe gusta
Indeed, towards good practice and «getting to maybe», the title of a book Patton co-authored.
Me gustaMe gusta
This is a fan-tas-tic book, which by the way I discovered thanks to Ricardo! Bonnie, you´ll love it! You can pay a look to some pages here…
Me gustaMe gusta
Sí Pablo, felicidades por esta iniciativa. Y también a Emma por ampliar la perspectiva sobre lo que yo traduzco, intentando contestar tu pregunta Pablo, como «evaluación para el desarrollo de innovaciones», que suele acontecer en circunstancias bastante complejas. Aunque sé un poco más del Developmental Evaluation que de la sistematización, estoy de acuerdo con Emma en sus semejanzas.
Los comentarios de Elena y Sergio me recuerdan de no poca confusión que encuentro sobre las implicaciones concretas de la complejidad para la evaluación. Entonces, sólo añadiría que en la práctica, o la mía por lo menos, el desafío que presenta la complejidad para iniciativas de desarrollo y cambio social, sea en su gestión o en su evaluación, es enfrentar la realidad que por muy dinámico y llenos de incertidumbre que sean, usualmente estas intervenciones y las circunstancias en que se desarrollan son una mezcla de elementos simples, complicados y complejos. Entonces, uno tiene que reconocer y enfrentar en una misma intervención y de forma diferente:
a) Lo simple, cuando sí se conocen de antemano cuáles serán los resultados de este y el otro aspecto de la intervención propuesta.
b) Lo complicado, cuando las relaciones de causa-efecto en otros aspectos de la intervención propuesta ahora se desconocen pero se pueden conocer acudiendo a expertos o a la experimentación.
c) Lo complejo, cuando se desconocen y se desconocerán los resultados hasta que hayan sido realizados.
Para mí, es en este ámbito que entra el arte sea de gestión o de evaluación. Y me pregunto, ¿no será lo mismo para la sistematización?
Agradecimientos y abrazos por la estimulante discusión,
Ricardo
Me gustaMe gusta
«Evaluación para el desarrollo de innovaciones»… gracias Ricardo por el dato. Gracias al libro que comentamos antes más arriba, Getting to may be, el cual lo conocí gracias a vos, me resulta más claro entender a que refieren dichas innovaciones. En el link de más arriba se puede ver en Amazon la tabla de contenidos y creo que la introducción de ese fantástico libro, altamente recomendable para todos los interesados en el cambio social, la evaluación, y los contextos complejos.
Me gustaMe gusta
Pablo,
Iniciativa incrível! Parabéns pelo trabalho. Vou divulgar o blog aqui no Brasil.
Sensacional!
Me gustaMe gusta
Obrigado, Daniel! E bem-vindos à beira do caos!
Me gustaMe gusta
Pablo, interesante reflexión la que planteas. Considero que la diversidad geográfica, cultural, económica, social y otros aspectos adicionales (propio de nuestros países), hacen desde la perspectiva de análisis aún más compleja los procesos de evaluación, pero justamente ahi esta lo «rico o la riqueza» de los procesos evaluativos, no debemos olvidar que es una característica de ellos (me refiero a los procesos de evaluación) su carácter de instruir y conocer más la realidad, para a partir de ellos realizar intervenciones más efectivas.
Comparto lo señalado en tú nota, que existe la necesidad de adecuar el enfoque de evaluación, respondiendo a diversas demandas (administradores, financistas). De igual forma, me queda la inquietud de conocer su vinculación con procesos de sistematización.
Martin Ochoa De la Cruz
Me gustaMe gusta
No he leido a los autores que mencionas, soy un sociologo frustrado, apenas con un tiempo en una maestria de la UNTREF donde aprendi sobre demografia y calidad de vida. Aun asi, tambien soy medico epidemologo, y seria largo relatar aqui, el porque la propia medicina sufre su propia crisis de paradigmas, tal cual otras ciencias tambien. Tiene esto algo que ver con lo que plantea Edgard Morin en sus escritos ? Desde ya gracias y vuestra disposicion. RR
Me gustaMe gusta
Gracias Rubén por tus comentarios. Sin duda que los aportes de Morin son importantes para la discusión sobre complejidad, si bien es notable su ausencia en gran parte de la producción anglófona vinculada a la temática de la evaluación. Alguna vez con colegas de mi equipo nos preguntamos sobre eso, pero lamentablemente no le dimos seguimiento. Una punta más para explorar…
Me gustaMe gusta
Hola, sobre la evaluación del desarrollo, encuentro muy útil el artículo:
http://www.gobernabilidad.cl/modules.php?name=News&file=article&sid=2055
Me gustaMe gusta
Muy interesante, gracias!
Me gustaMe gusta