Evaluación, valoración, negociación: reflexiones hacia una cultura de la evaluación

En Octubre del 2011 compartí en este espacio una entrada titulada Por mi culpa, por mi culpa, por mi gran culpa,  en donde daba cuenta del crecimiento de una corriente de reflexión orientada a brindar un mayor espacio al reconocimiento de los errores que se cometen en las acciones de desarrollo, cooperación y ayuda humanitaria. También señalaba como expresión relevante de dicha tendencia lo que se mostraba en el sitio Admiting Failure, el cual ahora tiene en su portada una síntesis muy directa de sus propósitos:  la comunidad del desarrollo está fallando… en aprender del fracaso. En lugar de reconocer dichas experiencias como oportunidades de aprendizaje, las escondemos por miedo y vergüenza. 

En el mundo de la evaluación esta tendencia no ha resultado ajena. Mientras que en América Latina el enfoque de la Sistematización de experiencias ha venido planteando con claridad que hay un desafío no sólo metodológico o técnico en aprender de nuestras prácticas, sino fundamentalmente político, desde otros contextos también se ha acentuado la pertinencia y relevancia de aprender de los errores como componente clave de una evaluación genuina.

Más recientemente, y fruto del incansable trabajo como editora de Marie Gervais,  el Canadian Journal of Program Evaluation publicó un número especial para conmemorar su 25º aniversario. El foco del mismo estuvo puesto en cómo aprovechar y aprender de  evaluaciones que no resultaron «exitosas», vale decir, no alcanzaron los resultados esperados. En la introducción del número se desarrolla la discusión sobre cómo entender la noción de «evaluación exitosa» , dando cuenta con cierto detalle de la razón del lema del número especial: How to Take Advantage of Less-Than-Successful Evaluation Experiences.  La motivación por este foco temático parte de reconocer la poca reflexión que los evaluadores suelen dar a su práctica (con la excepción de los aspectos metodológicos), y -peor aún- el poco aprendizaje realizado como colectivo sobre dichos errores. ¡Tremenda paradoja para la trans-disciplina!

Es interesante analizar cómo apenas un cuarto de los convocados para este número finalmente completaron la tarea, aceptando la invitación y presentando un artículo. Las razones para ello no obedecieron tanto  a dificultades de tiempo o demandas laborales, sino a lo incómodo que resultaba para distintos evaluadores el escribir sobre sus experiencias más problemáticas y menos «exitosas» en su quehacer evaluativo.  Esto es señalado y repensado también por los dos comentaristas de lujo con que contó el número especial,  Ross Conner (ex-presidente de la American Evaluation Asociation y de la IOCE) y  Michael Q. Patton (de quién hablamos antes aquí).

Pues bien, junto al colega y amigo Rafel Monterde-Díaz (bloguero de Evaluateca) preparamos un artículo que forma parte de este número, reflexionando sobre la cultura de la evaluación a partir de un caso  que sin duda fue «poco «exitoso». Valga este espacio para compartir tanto la versión publicada en inglés, como así también su versión original en castellano. Queda abierta la sección comentarios para los ídem, mientras aprovechamos la visita de Rafael por estas australes comarcas (si bien la foto ilustra mi visita a su tierra, Valencia, momentos antes que nos invitaran a subir al patrullero que se asoma detrás… 😉 )

El Desarrollo de Capacidades de Evaluación: más allá de la cámara de eco

(you can read this post in English here)

La última década ha sido testigo de importantes transformaciones en el modo en que intercambiamos y compartimos información a través de medios electrónicos. En el mundo de la evaluación esto se ha expresado mayoritariamente en el uso de grupos o listas de discusión vía correo electrónico o list servers.

Por su versatilidad y sencillez de uso, los grupos de discusión han cumplido un rol relevante en facilitar el intercambio y flujo de información. Suscribirse a los mismos es muy sencillo, consistiendo por lo general en el envío de un email a una dirección listada en su página principal. Una ventaja importante es que una vez aceptados para participar en los grupos, podemos configurar algunas opciones de acuerdo a nuestras necesidades. Por ejemplo, y hasta que no lleguemos a vivir en un mundo sin correo electrónico, es posible al menos recibir un solo email tipo Digesto que nos sintetiza los intercambios del día en ese grupo en particular. Si deseamos prescindir totalmente de los envíos a nuestra casilla de correo, podemos (una vez suscriptos) acceder directamente al sitio web del grupo, y leer y responder desde ahí los mensajes.

Sin duda que en el mundo de la evaluación estos grupos se han convertido en una opción privilegiada para estar al tanto de las discusiones y temáticas “en el candelero”. Los intercambios que suelen darse son en muchas ocasiones puertas fantásticas para la indagación y la auto-formación, una dimensión relevante del desarrollo de capacidades de evaluación. Algunos ejemplos de estos grupos (con breves descripciones resumidas de sus sitios originales) son los siguientes:

XCeval es un grupo de correo electrónico con más de 1100 participantes, moderado por Jim Rugh y Craig Russon, orientado a personas interesadas en asuntos vinculados a la evaluación intercultural e internacional. Muchos de los anuncios son referidos a consultorías a corto plazo o bien de tiempo completo en puestos internacionales de monitoreo y evaluación. Suelen darse intercambios de ideas y discusiones de interés general para las personas que participan en instancias de evaluación del desarrollo a nivel internacional.

MandEnews, con más de 3000 miembros, es una lista de correo integrada a la página web MandE News. La lista de correo apunta también a intercambiar información sobre cuestiones de monitoreo y evaluación, especialmente vinculadas a la ayuda y cooperación al desarrollo internacional. En la lista se informa también acerca de las actualizaciones importantes de la página web, administrada por Rick Davies.

Theory-Based Evaluation  es la lista de discusión del tema evaluación basada- en- teoría, cuenta con unos 450 miembros,  y es  moderada por Denis Jobin y Craig Russon. Ofrece un foro donde los profesionales y académicos pueden intercambiar y compartir ideas, experiencias y métodos asociados con la evaluación basada en la teoría. Partiendo de la idea que el contexto actual presenta a la evaluación ve desafiada por la atribución, los sistemas complejos y la necesidad de políticas basadas en evidencias, la evaluación basada-en-teoría se constituye en una respuesta eficaz a estos retos.

Otros grupos o listas de discusión suelen estar asociados a redes y asociaciones regionales o globales de evaluadores (lo que la iniciativa EvalPartners llama VOPE –Voluntary Organizations of Professional Evaluators). Entre éstas se encuentran las siguientes:

ReLAC, grupo de discusión de la Red de Seguimiento, Evaluación y Sistematización en América Latina y el Caribe. Cuenta con unos 600 miembros, y por ella circula información sobre instancias de capacitación, conferencias, consultorías, etc. Más recientemente el uso de la plataforma NoticiasReLAC  ha permitido la creación de grupos temáticos (en sistematización, género y derechos humanos,  planificación y modelos lógicos, políticas educativas, y otros).

El  AfrEA listserver es la herramienta de información y conexión de la Asociación Africana de Evaluación. La lista de distribución cuenta con más de 600 miembros, y tiene por objeto desarrollar el concepto de una comunidad de evaluación en África y la ampliación de esta comunidad. Este grupo apunta a promover el intercambio de información, recursos y oportunidades, así como ser un foro para una amplia gama de actores interesados.

PREVAL, también en América Latina,  se constituyó en la primera red de evaluación de la región desde el lanzamiento del programa en 1997. A partir del año 2011 se ha constituído en una plataforma regional de recursos, y  mantiene servicios de asistencia técnica, formación y entrenamiento, así como de gestión del conocimiento. Cuenta con una comunidad de aprendizaje sobre Monitoreo y Evaluación de la Innovación Rural, un servicio público de información con unos 4,000 usuarios, un Portal web español e inglés con biblioteca virtual, enlaces de interés, temas de especialidad, sección multimedia que alberga más de 300 textos en evaluación y sistematización.

EvalTalk es el grupo abierto de la Asociación Americana de Evaluación (AEA). Cuenta con más  de 3000 participantes, y sus temas de discusión son diversos y muchas veces vinculados a la misma AEA.

El IDEAS discussion group  es el grupo de la International Development Evaluation Association, dedicado ala discussion e intercambio sobre tópicos vinculados con la evaluación del desarrollo. No es necesario ser miembro de IDEAS para participar en el grupo, pero ¡tampoco sería mala idea asociarse!  Más recientemente, se aceptó oficialmente la constitución de un grupo en LinkedIn, el cual cuenta con más de 1500 participantes, y es moderado por Luis Alejandro Bernal.

Otros grupos de discusión vía correo electrónico vinculados a la evaluación son los siguientes:

The Network and Evaluation mailing list; Most Significant Change; Real World Evaluation; Pelican Initiative: Platform for Evidence-based Learning & Communication for Social Change

Y para un listado aún más completo, ver la página web de la Asociación Americana de Evaluación.

De este largo pero para nada exhaustivo listado de servicios me parece que hay dos iniciativas que presentan matices originales en cuanto a la capacidad de llegar a audiencias más amplias, y estas son la  plataforma de la ReLAC y el grupo de IDEAS en LinkedIn. Si bien ambas se articulan fácilmente con el correo electrónico como forma de acceso a los intercambios, tienen un carácter abierto que suele estar ausente en los grupos de discusión o listservers. Esto implica, por ejemplo, que cualquier persona haciendo una búsqueda en Google pueda encontrar información y/o discusiones en dichos foros y sumarse a los mismos, mientras que las otras instancias (mayoritariamente) permiten recién enterarse de lo que en ellas se discuten cuando uno se suscribe. Seguramente esa ha sido la experiencia de algún lector de esta entrada que se interesó por alguno de los grupos antes mencionados, y que al hacer click en el enlace ha llegado solamente a una página de suscripción, sin poder leer los intercambios acaecidos. Recientemente, por ejemplo, un debate iniciada por Denis Jobin sobre evaluación de impacto y RCT apareció en tres de los grupos de correo electrónico antes citados, y resultó accesible solamente a los participantes en ellos.

Tal como hemos planteado aquí con anterioridad, la Web 2.0 está lista y dispuesta para nuestra conquista. Las plataformas Ning, los grupos de LinkedIn, los blogs, y Twitter son canales que facilitan abrir la cámara de eco  o el efecto burbuja en varios mundos, entre ellos el de la evaluación. Vale la pena familiarizarnos con ese mundo más amplio.

ACTUALIZACIÓN: No olviden leer los comentarios a esta entrada, donde se han ido sumando nuevas puertas para estar al tanto de este fascinante mundo de la evaluación.

Género, Derechos y Sensibilidad Cultural en la Evaluación del Desarrollo

La Sociedad Americana de Evaluación (AEA) cuenta con una iniciativa muy interesante llamada AEA365: A tip-a-Day by and for Evaluators, la cual consiste en un blog con entradas breves sobre temáticas diversas vinculadas al mundo de la evaluación: herramientas innovadoras, discusión y presentación de ideas, recursos didácticos, etc.  Tal como su nombre lo indica, diariamente encontramos una nueva entrada, las cuales suelen estar organizadas con cierta lógica de presentación. Por ejemplo,  tanto Evaluateca como Al Borde del Caos tuvieron su espacio en el marco de semanas dedicadas a evaluadores que bloguean. 

En esta ocasión me llega a través de la lista de correo de la ReLAC la versión en castellano de la entrada que publicaran en AEA365 hace unos días atrás las colegas Silvia Salinas-Mudler y Fabiola Amariles. Como la temática me parece muy relevante para los propósitos del blog, accedieron con generosidad a que lo compartiéramos aquí.  Gracias nuevamente, colegas! 

Somos Silvia Salinas Mulder, antropóloga boliviana, activista feminista y consultora independiente, y Fabiola Amariles, economista colombiana, fundadora y directora de “Aprendizaje para el Impacto” (Learning for Impact). Hemos trabajado durante varios años como evaluadoras externas de programas de desarrollo en América Latina. Las siguientes ideas pueden ayudar a poner en práctica los principios de la evaluación con enfoque en género y derechos humanos en contextos complejos y multiculturales.

Lección aprendida: Los Términos de Referencia (TdR) de una evaluación no están grabados en piedra.

Sugerencia: Reformular las preguntas de evaluación, a menudo convencionales, así como otros aspectos del proceso de evaluación, para asegurarse de visibilizar los asuntos de género y derechos humanos, y recoger evidencia del cambio (o ausencia de cambio) en las vidas de las mujeres. Tener en cuenta los asuntos específicos del contexto y las dinámicas de género, así como los patrones culturales, tales como los efectos de la migración en los roles familiares y los procesos de toma de decisiones en algunas comunidades agrícolas.

Lección aprendida: Algunos actores/as tienen cansancio de las entrevistas, mientras que otras personas, especialmente las mujeres rurales, están ansiosas de ser escuchadas.

Sugerencia: Use la creatividad, las técnicas de evaluación son el medio y no el fin, por lo tanto pueden ser continuamente creadas, recreadas y adaptadas a cada situación y contexto. Por ejemplo, utilice «conversatorios» (mesas redondas), a cambio de los grupos focales, reuniendo a actores con diversas trayectorias y perspectivas para discutir sobre un tema en particular de la evaluación; los grupos participantes suelen apreciar estos espacios de reflexión y sienten motivación para hablar desde perspectivas no convencionales, mientras que las/os evaluadores  obtienen una visión holística del tópico. Los dibujos, los  juegos de roles y otras técnicas de la educación popular también pueden facilitar la participación de los grupos marginados, incluyendo a las mujeres analfabetas.

Lección aprendida: Las respuestas a sus preguntas pueden no contener asuntos clave de género y de derechos humanos para entender cómo se está produciendo el cambio.

Sugerencia: Conocer los patrones culturales y de comunicación específicos de género es crucial para un intercambio efectivo. En todo caso, las entrevistas deben tratarse como diálogos en los que las personas tienen la oportunidad de expresar sus prioridades y puntos de vista. No limite sus interacciones a una dinámica de preguntas y respuestas. Permita que las personas hablen libremente, y «escuche activamente» para descubrir lo esencial. Respete e interprete los silencios y no insista en las respuestas a sus preguntas, mejor concéntrese en tratar de entender el significado oculto de cada reacción. Esto permitirá una eventual reconstrucción de cómo se está produciendo el cambio (Teoría del Cambio) para la intervención y el contexto específicos, incluso si ello no ha sido explícitamente diseñado en el proyecto. Además, como evaluadores tendemos a centrarnos en la comunicación verbal, haciendo caso omiso de la importancia del tono y los gestos. Asegúrese de estar alerta a los mensajes clave menos explícitos.

Recursos:

  • Haga clic aquí para las directrices sobre el diseño de una Teoría del Cambio.


Experiencias virtuales y presenciales en el desarrollo de capacidades en evaluación

You can read this post in English here

En el marco de las redes, asociaciones, y profesionales de la evaluación,  se ha establecido ya un claro consenso sobre la pertinencia y necesidad de desarrollar capacidades de evaluación. Al mismo tiempo, se reconoce que estamos lejos de arribar a un consenso similar sobre el cómo hacerlo.

La Red de Seguimiento, Evaluación y Sistematización en América Latina -ReLAC- llevó a cabo hace un par de años un relevamiento exploratorio en 16 países de la región a fin de caracterizar la situación de los servicios de evaluación  (una presentación esquemática del estudio puede verse aquí). Algunos datos relevantes del mismo mostraron que los dos asuntos más importantes vinculados con la demanda de evaluación en el sector público eran:
(a) la capacidad de realizar evaluaciones de impacto, y
(b) la capacitación en monitoreo y evaluación.

El panorama en general para la región señalaba que la demanda de servicios de monitoreo y evaluación había crecido mucho más rápidamente que la capacidad de ser llevados adelante de manera competente, mientras que las instancias de formación más comunes resultaban ser las universidades y los consultores particulares.

El estudio en cuestión fue desarrollado en paralelo con un proceso muy interesante que, tanto por su novedad como por su escala, no llegó a ser reflejado en el mismo. Me refiero a las instancias de capacitación auto-generadas por las Asociaciones Voluntarias de Profesionales de la Evaluación (VOPEs por su sigla en Inglés, tal como las denomina la iniciativa EvalPartners). En este caso me refiero concretamente al grupo de trabajo sobre Sistematización y Evaluación, generado en la plataforma Ning de la ReLAC, el cual surgió a comienzos del año 2010 a partir de la articulación de las voluntades de integrantes de ReLAC, del Programa Latinoamericano de Apoyo a la Sistematización de Experiencias del CEAAL (PLAS-CEAAL), y de PREVAL. Partiendo del propósito común de desarrollar actividades conjuntas sobre la sistematización con la participación de las redes nacionales, instituciones y personas relacionadas con la temática, el grupo rápidamente creció en número de participantes como en intensidad y calidad de sus discusiones.

Una decisión que resultó muy acertada fue realizar las discusiones teniendo en vista el desarrollo en Julio del 2010 de la 3º Conferencia de ReLAC en San José de Costa Rica. De ese modo, a partir de su trabajo colectivo en el marco del grupo de trabajo, los participantes concretaron un panel en la inauguración de la conferencia, así como diversas ponencias individuales en la misma. Las instancias que hasta ese momento habían sido virtuales y sincrónicas en el marco del grupo de trabajo, dieron lugar a discusiones y aprendizajes presenciales en el marco de la conferencia, convertida en un escenario para la profundización de la metodología de la sistematización de experiencias, ese particular enfoque de evaluación orientado a generar y compartir aprendizajes sobre las prácticas de intervención en desarrollo y con una profunda raigambre latinoamericana.

Retomando el estudio mencionado antes sobre Demanda y Oferta de Evaluación en América Latina, ante la consulta sobre qué productos o metodología serían los más relevantes para fortalecer las capacidades de evaluación, el lugar de los medios virtuales ocupó siempre el último lugar en las preferencias. Esto marcó un contraste con la experiencia del grupo de trabajo en sistematización, posiblemente porque el mismo terminó siendo una experiencia no simplemente de e-learning (únicamente virtual) sino fundamentalmente b-learning (de blend, mezclado), combinando instancias presenciales y virtuales.

Esteban Tapella (amigo, colega del PETAS, y reciente PhD!), motivado por su compromiso personal con la temática de la sistematización, así como también por el interés que la misma generó en el marco del grupo de trabajo como en otras instancias internacionales no-latinoamericanas,  comenzó hace un año a dictar un curso presencial de Sistematización de Experiencias para estudiantes universitarios avanzados y graduados en la Facultad de Ciencias Sociales de la UNSJ (San Juan, Argentina). Generosamente me invitó este año a sumarme al curso, el cual también está teniendo una dimensión no-presencial más que interesante. Por un lado, un blog del curso de Sistematización de Experiencias que, abierto a todos los interesados,  no sólo va dando cuentas de los desarrollos del mismo y permitiendo la interacción entre los participantes, sino que también articula a quienes lo visiten con bibliotecas virtuales clave en el tema, a la vez que ordena material audiovisual muy valioso sobre sistematización.  Por otro lado, el acompañamiento en directo que vía Twitter y con la etiqueta #sistematizacion vamos realizando e invitando a que otros se sumen.   Con dos sesiones realizadas (de ocho totales) el curso presencial ha comenzado a movilizar no sólo a los físicamente presentes , sino que algunos colegas se están motivando en armar una instancia virtual del mismo.

La práctica (¡todavía no sistematizada!) parece mostrarnos que una vinculación estrecha entre oportunidades presenciales y virtuales puede ser un camino con muchas potencialidades para el fortalecimiento de las capacidades en evaluación.

El Desarrollo de Capacidades en Evaluación // Evaluation Capacity Development

(in English below)

Hoy tenemos como invitada a la amiga y colega Emma Rotondo,  coordinadora de PREVAL -Plataforma Regional de Desarrollo de Capacidades en Evaluación y Sistematización de América Latina y el Caribe.  Emma, quien es antropóloga, evaluadora y coach, trabaja en desarrollo de capacidades asociadas a procesos de gestión del conocimiento organizacionales.  Emma pone en común con nosotros pensares y preguntas a partir de la lectura de un relevante texto del Grupo de Desarrollo de Capacidades en Evaluación (fruto de un seminario internacional del cual dio buena cuenta Evaluateca  en una  primera y segunda entrega). El ECDG es uno de los socios de la iniciativa EvalPartners, la cual hace unos días también presentamos aquí.

Gracias Emma! 

……………………………….

Quiero compartir algunas reflexiones en torno al desarrollo de capacidades en evaluación a partir del texto “Un Acuerdo de Trabajo Internacional en Evaluación de Desarrollo de Capacidades” del Grupo de Desarrollo de Capacidades en Evaluación (Evaluation Capacity Development Group, ECDG). El texto surge del Seminario Internacional sobre Desarrollo de la Capacidad de Evaluación realizado del 17 al 21 de octubre pasado en Ginebra (Suiza).

El Seminario arribó a varias conclusiones, las principales precisan lo siguiente:

«existe una gran necesidad de desarrollar capacidades en evaluación sin un consenso acerca del cómo»

«generalmente se confunde desarrollo de la capacidad evaluativa  con entrenamiento»

«fuera de la asistencia financiada por donantes no habían sido capaces de desarrollar de manera adecuada y mantener la capacidad de evaluación»

El texto adelanta principios clave a tomar en cuenta tales como independencia, relevancia, utilidad, e integración.  Los participantes en el taller acordaron que el desarrollo de capacidades de evaluación involucra actividades y procesos que ayudan a crear, fortalecer y sostener la evaluación para individuos, equipos, grupos, redes, comunidades, organizaciones, sectores, países y regiones.

Al respecto, considero que no existe consenso en cómo desarrollar capacidades porque es una transdisciplina y profesión que se ha venido ejerciendo en diferentes contextos, con diferentes actores y procesos, y por tanto sus productos, tipos y usos son altamente situacionales. Puede tratarse de una evaluación interna o externa, temática o según el ciclo del programa/proyecto; incluyendo los sistemas de monitoreo y evaluación organizacionales, de proyectos o comunitarios, o también se puede facilitar procesos de valoración que alimenten sistemas de gestión del conocimiento.

El debate sobre cómo desarrollar capacidades tiene cierta antigüedad en la región de América Latina. Una aproximación sobre los enfoques, pasos y las competencias para desarrollar específicamente sistemas de Seguimiento y Evaluación fue construido por Preval y unos 25 evaluadores en el año 2005. En esa reflexión se precisaba que se requería no sólo de capacidades técnicas en herramientas de investigación económica y social, sino que también era fundamental desarrollar competencias en facilitación y coaching, entre otras. Resume esas reflexiones el texto de Preval (en Español) “Los sistemas de Seguimiento y Evaluación, enfoques y pasos para su diseño y factores de éxito”  y también en Inglés. La dimensión de evaluación asociada a procesos de aprendizaje social abre asimismo nuevas competencias. Es desde esa práctica o ejercicio de evaluación heterogénea, marcada por distintos usos, desde donde debemos partir para establecer principios, criterios y estándares de consenso, así como precisar las competencias necesarias de los evaluadores. La oferta de procesos de desarrollo de capacidades deberá pues ajustarse a estas competencias y habilidades necesarias para evaluar en la diversidad.

De hecho, en el año 2008 Preval abre las puertas a nuevos paradigmas del profesional de la evaluación al incluir en su propuesta formativa módulos relativos a herramientas de facilitación y de coaching con su “Programa de Formación de Facilitadores en metodologías Innovadoras de Evaluación”. Una experiencia de formación muy relevante y pionera ha sido el de Lùcia Calil en Brasil con la “Formación de Monitores”.  El enfoque en el que se enmarcan estas propuestas formativas conciben al profesional que actúa en procesos de Seguimiento y Evaluación como un facilitador de procesos participativos, capaz de catalizar aprendizajes y de contribuir a generar procesos sociales de construcción de conocimientos, a partir de la reflexión, el análisis y el intercambio en grupo o en comunidad con las y los actores, que promuevan aprendizajes y que movilicen la energía de los seres humanos y los sistemas sociales participantes.

Si bien no son las únicas competencias y habilidades a desarrollar, ni tampoco el Seguimiento y Evaluación es la única área de aplicación de la evaluación, quisiera comenzar la reflexión sobre el texto de ECDG haciendo una pregunta: ¿qué competencias son claves para el evaluador en sus diferentes roles y contextos? ¿Cuáles son prioritarias?

^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

Today we have as a guest blogger my friend and colleague Emma Rotondo, coordinator of PREVAL-the Regional Platform of Evaluation Capacity Building in Evaluation and Systematization of Latin America and the Caribbean. Emma, who is an anthropologist, evaluator and coach, is working on capacity development processes associated with organizational knowledge management. After reading a relevant text of the Evaluation Capacity Development Group (based on an international workshop that our blogger friend from Evaluateca made one and two posts), Emma is sharing with us her thoughts and questions. ECDG is one of the supporting partners of the EvalPartners initiative, which I presented in Spanish here

Thanks Emma!

……………………………….

I want to share some reflections on evaluation capacity development from the text «An International Workshop Agreement on Evaluation Capacity Development » (Evaluation Capacity Development Group, ECDG). This text comes from the International Workshop on Evaluation Capacity Development held from October 17th to 21th 2011  in Geneva (Switzerland). The workshop arrived at several conclusions, the main being

«there is a great need for capacity building in evaluation without a consensus on how».

«….stand alone, piece–meal and one¬off assistance funded by donors had not been able to adequately develop and sustain evaluation capacity. …»

«Many have considered ECD to be synonymous with training of individuals.»

Subsequent text on key principles takes into account independence, relevance, usefulness, and integration. Workshop participants determined that evaluation capacity development (ECD) involves activities and processes that help create, strengthen, and sustain evaluation for individuals, teams, groups, networks, communities, organizations, sectors, countries and regions.

In this regard, I believe that there is no consensus on how to develop it because of its multidisciplinary and heterogeneous practice in different contexts, actors, and processes. It may be an internal or external evaluation, thematic or according to the cycle of the program/ project, including monitoring and evaluation systems, organizational, or community projects. Also evaluators can facilitate assessment processes that feed into knowledge management systems. The evaluative dimension associated with social learning processes also provides new perspective in evaluation professional practice. Therefore their products, types and uses are highly situational.

It is from this heterogeneous nature, characterized by different uses, from which we must start to develop principles, criteria and standards of consensus and define the professional competences required. The tender process for capacity building must comply with these competencies and skills necessary to assess diversity.

The debate on how to develop capabilities has some background in the region of Latin America. A proposal with approaches, steps and skills to develop specific monitoring and evaluation systems was created by Preval and about 25 evaluators in 2005. This reflection expressed that evaluators require not only technical skills with economic and social research tools, but it is also essential to develop skills in facilitation and coaching, among others. The text of Preval»The monitoring and evaluation systems, approaches and steps for its design and success factors»   summarizes these considerations.

In fact Preval in 2008 opened to new paradigms of professional evaluation to include in its proposal training modules, facilitation tools and coaching with its «Facilitator Training Program in Innovative Assessment Methodologies«. A very relevant experience and training has been pioneered by Lucia Calil in Brazil with the «Formation of Monitors»  which aims to improve monitoring, how to ask questions, listen and interpret events and situations.

These courses on formative programmes are part of professional training designed to contribute to monitoring and evaluation systems as a facilitator of participatory processes capable of catalyzing learning and contributing to the generation of new social knowledge arising from critical reflection, analysis and sharing in groups mobilizing the energy of human beings and social systems involved.

These ideas are not the only skills and abilities to develop evaluation competences and to start reflection about the ECDG text of ECD. I invite others to ask some questions: what skills are key to the evaluator in their different roles and contexts? What are competences and formative priorities?

Developmental Evaluation: una breve introducción

En diversos ámbitos de las intervenciones de desarrollo ha venido teniendo mucha fuerza el trabajo sobre la noción de «mejores prácticas». La misma refiere a determinadas iniciativas (proyectos, programas) que son identificadas como valiosas,  positivas, y dignas de ser replicadas.  De ese modo, dichas prácticas son rápidamente convertidas  en estándares, con la expectativa de alcanzar cierta escala e ir más allá de la “práctica” inicial.

Esto presenta diversos problemas, entre los cuales encontramos claramente que los estándares (como tales) tienden a desprenderse de su contexto de origen, y pasan a ser entendidos como cuasi-universales, vale decir, aplicables en todo ámbito y tiempo, por distante que sea con aquel que le dio origen.  Además de implicar que efectivamente sabemos cuál es la mejor manera de hacer las cosas, y de incluso desalentarnos a buscar otras maneras de hacerla, un punto crítico apunta a la complejidad: no siempre sabemos porqué algo funciona, aunque lo haga exitosamente.

 Ya comentamos anteriormente cómo la ciencia de la complejidad  puede aportar valiosos insumos y perspectivas enriquecedoras para entender el enmarañado proceso de cambio social y del desarrollo. La perspectiva de la complejidad facilita superar la visión de considerar a la pobreza, la vulnerabilidad, y la enfermedad como rompecabezas, y a las organizaciones de desarrollo como las piezas que faltan para completarlo. Esto, además de dar a las intervenciones externas una mayor importancia de la que tienen, distorsiona la naturaleza de los problemas que enfrentamos, presentando de manera simple el flujo del desarrollo. En lugar de abordar e involucrarnos con la complejidad, la misma es descartada o relegada a un lugar marginal, lo que es facilitado por las herramientas y técnicas que muchas veces usamos. El punto clave es que tratamos a las cosas complejas como si fueran simplemente complicadas.

Ante esto, recientemente han ido surgiendo enfoques y métodos de evaluación orientados a reconocer el carácter complejo de distintos contextos de implementación de programas y políticas. Entre ellos me parece que tres aportes infaltables son los siguientes: Purposeful Program Theory , de Sue Funnell y Patricia Rogers,  Systems Concepts in Action, de Bob Williams y Richard Hummelbruner, y Developmental Evaluation, de Michael Quinn Patton.

El enfoque de Patton (quien aquí comentó sobre tendencias actuales de la evaluación) está explícitamente orientado a articularse y apoyar procesos de desarrollo emergentes, innovadores y transformacionales. De algún modo, procura atender a la necesidad de evaluar un programa mientras el mismo se está desarrollando, en el sentido de que se está generando y configurando en su mismo desarrollo. Entonces, en ese contexto, aparece la necesidad de adecuar el enfoque de evaluación, respondiendo a diversas demandas: dar cuenta hacia los administradores y/o financiadores de resultados e impactos que se hubieran predeterminados, a la vez que requiere generar aprendizajes y lecciones de la experiencia en curso.  ¿Qué sugiere Patton que se puede hacer? Algo de lo siguiente:

  • Documentar los principios que impulsan el programa,  y utilizarlos  para organizar la puesta en acto en otros escenarios donde se va a desenvolver.
  • Identificar los factores que dan cuenta de que determinada área está lista para ejecutar el programa.
  • Compartir las lecciones aprendidas con los actores o interesados principales (los stakeholders)  en áreas de implementación posibles.

El punto es que la Developmental Evaluation no es solamente difícil de traducir (¿evaluación en desarrollo?), sino que es problemática en cuanto atiende a un conjunto complejo de condiciones y resultados que, en gran medida, desafían la ortodoxia en investigación y evaluación.  Patton es muy conocido por diversos aportes, entre los cuales resalta su proceso de evaluación focalizada en la utilización.  En este nuevo giro de tuerca, Patton hace uso de conceptos del paradigma de la complejidad para dar cuenta de situaciones de dinamismo y novedad, incertidumbre y construcción en proceso.  Y si bien en aquel enfoque brindó una guía o serie de pasos a seguir, estos ahora no están tan claramente estipulados. Justamente, no podría haber una «receta» para una metodología orientada a abordar la complejidad, con atención a la emergencia de nuevos patrones,  la tarea de darles sentido  para entenderlos en el contexto de su aparición, así como a rescatar al contexto de generación de los descubrimientos. Estos elementos caracterizan y distinguen a la Developmental Evaluation de otros enfoques de investigación y evaluación.

Valgan estas pocas líneas para una primera aproximación a este enfoque. La presentación in-extenso de Developmental Evaluation puede estudiarse en el libro homónimo. Y si quieren ver y escuchar un par de presentaciones del mismo Patton dando cuenta del enfoque y su articulación con los contextos de complejidad, pueden visitar My M&E y tendrán acceso a la grabación de dos video-conferencias y sus respectivas presentaciones:  la primera de ellas es (justamente) sobre la Developmental Evaluation, mientras que la segunda apunta a  How to evaluate interventions in complex dynamic environments.

Una inquietud final que me surge, la cual seguramente valdría la pena explorar, es cuáles son los puntos de contacto y distancia entre el enfoque de Patton y los aportes que el movimiento de la sistematización ha realizado en América Latina? Quizás algun@ de los amig@s del grupo Sistematización y Evaluación pueda darnos algunas pistas en los comentarios…

 

ACTUALIZACION:

Michael Q. Patton tuvo la gentileza de leer este post, y me envió la siguiente comunicación:

Pablo,
 
Thank you for sharing your posting.  I had a colleague translate it for me over the phone.  Very impressive and useful.
 
Mucho gracias,
 
Michael
Michael Quinn Patton
Utilization-Focused Evaluation
Saint Paul, MN

Entrenamiento entre pares: los caminos de la vida en el desarrollo y la cooperación

Los caminos de la vida
no son lo que yo esperaba,
no son lo que yo creía,
no son lo que imaginaba

Todo aquel que ha trabajado en instancias de desarrollo o cooperación internacional, muy probablemente haya experimentado sentimientos de aislamiento y soledad. Dicha circunstancia parece ser una marca en este tipo de trabajo. Muchas veces el cooperante puede ser la única persona de su nivel en la oficina o equipo, experimentando distancia y separación de sus compañeros y contraparte locales por factores culturales, diferencias de idioma, e incluso las barreras organizacionales. Incluso aquellos que desarrollan buena parte de su trabajo desde sus casas pueden sentirse aislados, y es posible que no se sientan cómodos compartiendo sus problemas y luchas con su jefe. O tal vez el jefe sea el problema!

Los caminos de la vida,
son muy difíciles de andarlos,
difíciles de caminarlos,
y no encuentro la salida

En dichas circunstancias, quienes trabajan en acciones de cooperación y desarrollo internacional tienden a pasar mucho tiempo hablando sobre su trabajo con sus cónyuges, parejas o amigos cercanos, lo cual puede resultar una gran fuente de apoyo. Sin embargo, también puede ejercer una presión indebida sobre la persona que está recibiendo la andanada de comentarios, quejas, dudas, etc., con el riesgo de que con el tiempo puedan cansarse de su rol.  Quienes no trabajan con el cooperante, posiblemente no puedan «captar» su contexto de trabajo, a la vez que cónyuges y parejas  probablemente tendrán dificultades para mantenerse neutrales e imparciales, ya que tienen interés en el éxito profesional de su pareja. En dichas situaciones de aislamiento, es muy bueno trabajar junto a un mentor o capacitador profesional. Sin embargo, esto no siempre es posible, práctico o factible económicamente. Una alternativa que funciona bien es el entrenamiento (coaching) o capacitación entre pares.

Yo pensaba que la vida era distinta,
cuando era chiquitito yo creía
que las cosas eran fáciles
como ayer

Un entrenador entre pares es alguien que está en un nivel similar al que está el cooperante en su organización, y sabe y /o entiende su contexto de trabajo. Si bien no se formó como entrenador o capacitador, está dispuesto a entrenar de acuerdo a un simple (pero efectivo) modelo de tutoría entre pares. El mismo implica escuchar activamente sin emitir juicios, dar un feed-back reflexivo sobre lo que está escuchando, hacer preguntas de sondeo, y ayudar a generar medidas concretas de acción para seguir adelante.

El entrenamiento entre pares es diferente a la tutoría o asesoría, ya que no se basa en la premisa de que el entrenador sabe más o tiene más experiencia que uno. El trabajo de un entrenador de pares no es el de dar consejos o decir lo que  piensan que debe hacerse, sino más bien el  escuchar a fin de proporcionar una caja de resonancia, ayudando a su par a encontrar las respuestas por sí mismo.

Ya sea que uno todavía sea estudiante,  esté comenzando su  carrera en la cooperación internacional, o bien sea un profesional experimentado, es un placer trabajar a la par  y junto a un entrenador que colabore en identificar los puntos ciegos, ayude a clarificar las prioridades, y facilite las acciones de diseño que traerán los cambios deseados.

Porque a mi madre la veo cansada
de trabajar por mi hermano y por mí,
y ahora con ganas quisiera ayudarla
y por ella la peleo hasta el fin

Para leer (en inglés) un ejemplo concreto de lo que aquí comentamos, pueden ir directamente a la fuente de donde este texto ha sido extraído y compartido.  Con la ayuda de nuestro amigo Google Translator seguramente no costará entender la experiencia ahí narrada de Cassie y Leanne, y servirá para darle cuerpo a estas ideas.

Todo este movimiento ha sido una iniciativa conjunta de los amigos de Whydev y Development Crossroads, quienes están diseñando un servicio de entrenamiento entre pares, con la expectativa que sea relevante para jóvenes profesionales, estudiantes, y todos aquellos que se inician en el mundo de la cooperación y el desarrollo internacional. En esta instancia su interés central es el desarrollo de un servicio que se adapte a dichas necesidades, a la vez que también quieren explorar las posibilidades de utilización del mismo.

En esta etapa de diseño han abierto el juego, e invitan a hacer llegar nuestra voz y opinión mediante una sencilla encuesta on-line. Valga la importante aclaración que si bien el cuestionario está en Inglés, es muy sencillo de entender y puede ser respondido fácilmente con la ayuda de un traductor (online o bien un amigo que dé una mano!). Es claro para los iniciadores de esta idea que la invitación y la iniciativa no se limita únicamente a los English-speakers (por lo que incluyeron una pregunta final en tal sentido).

Por tanto, amigos de habla hispana y de portugués, adelante! La encuesta la encuentran al final del post aquí.

Bienvenida sea entonces esta oportunidad para trabajar sobre situaciones y sentimientos que encontramos en estos caminos de la vida … del mundo del desarrollo y la evaluación.

ACTUALIZACIÓN: Cuando ya era Jueves en aquel lado del mundo, y todavía Miércoles aquí, un nuevo post en Whydev.org muestra los avances en la encuesta…

(si recibes este mensaje por email o RSS, quizás debas ir a la página del blog para ver el video)

Mi crónica de la 6º Conferencia de AfrEA

Con la presencia de unos 300 participantes, se desarrolló en Accra (Ghana) entre el 11 y 13 de Enero pasado  la 6º Conferencia de la Asociación Africana de Evaluación, la cual fue precedida por dos días y medio de talleres de capacitación y paneles de discusión.  El espacio brindado a estas instancias da cuenta del relevante énfasis que le dieron los organizadores, quienes se propusieron brindar un tiempo considerable al fortalecimiento directo de las capacidades de evaluación.

Cada día de esta intensa semana, los participantes recibíamos una muy concisa Newsletter, la cual era también reproducida en el blog de la conferencia. Recorrer esas narraciones, reportajes y breves crónicas de la conferencia permite hacerse una idea del entusiasmo y excelente disposición que se sentía en el ambiente.  La evaluación resonaba ahí totalmente ajena a procedimientos burocráticos y a prácticas rutinarias y meramente técnicas. La sed de aprendizaje y de descubrimiento que debe guiar a toda evaluación, dejó su marca en cada presentación y panel de discusión.

Los espacios intermedios del café y el almuerzo siempre fueron una oportunidad para conocer gente, afianzar contactos, y visitar los stands de exposiciones. Entre ellos, estuvo presente la iniciativa CLEAR (Centros Regionales para el Aprendizaje en Evaluación y Resultados), con los delegados de los centros de África, Asia y América Latina. En este último caso, hizo su presentación en sociedad el recientemente elegido Centro de Investigación y Docencia Económica -CIDE-, de México.  También con un stand de exhibición, y con una sesión de presentación estupenda, los amigos de Better Evaluation continuaron dando cuenta de su iniciativa y cosechando nuevas ideas y voluntades para su trabajo. Otros stands daban cuenta de los finalistas en un concurso financiado por la Fundación Bill & Melinda Gates, dirigido a fomentar a las asociaciones nacionales y Grupo de Interés Especiales miembros de AfrEA, quienes debían presentar ideas de proyectos a pequeña escala u otras innovaciones relacionadas con los ámbitos de la conferencia, centrados en contribuir al avance de la evaluación en África.

La vinculación entre el mundo de la evaluación y la realidad de la Web2.0 dio un paso hacia adelante muy importante en el marco de este evento.  Además del blog de la conferencia, otros blogs fueron también presentando distintas dimensiones de la misma. Facebook no fue ajeno a algunas menciones, y  con varios colegas intentamos darle seguimiento cercano vía Twitter.  Un ejemplo más sobre la velocidad y  ubicua presencia de Twitter fue que por ese medio muchos nos enteramos casi al instante que  Nermine Wally había sido elegida la nueva presidente de AfrEA. Finalmente, AfrEA TV permitió seguir con una calidad fantástica las sesiones de apertura y cierre, así como algunas de las ponencias magistrales centrales (pronto estarán disponibles los links para ver las grabaciones realizadas).

Tuve la posibilidad de participar en un panel organizado por la IOCE -Organización Internacional para la Cooperación en Evaluación-, sobre experiencias de trabajo en redes nacionales y regionales de evaluación. Unas treinta personas se acercaron al mismo, y pudimos compartir experiencias, avances y aprendizajes. En este panel, como en otras instancias en las que pude participar, fue claro el espíritu crítico, el interés en no ser complacientes con las preguntas y respuestas , y la firmeza acompañada por la delicadeza.
Por supuesto que hay detalles que uno podría señalar para su mejora (por ejemplo, una larga y demasiado protocolar ceremonia de inauguración),  más sin duda el  balance final ha sido altamente positivo.
Para cerrar esta crónica personal de estos días intensos, les comparto a continuación un video con un baile típico de Ghana con el cual nos dieron la bienvenida en una fantástica fiesta. El baile da cuenta, de algún modo, del espíritu que AfrEA supo imprimir a toda la conferencia…
(si recibes este mensaje por email o RSS, quizás debas ir a la página del blog para ver el video)

Viernes light: evaluando el programa de ayuda «Regalos de Navidad»

Desde hace algunos años ha ganado terreno un renovado interés por la evaluación de impacto de proyectos y programas, tanto por aquellos generados desde el ámbito público como desde instancias no gubernamentales. Al mismo tiempo, dicho interés ha estado acompañado de cierta polémica  (todavía en curso) sobre la pertinencia y los alcances de la metodología de prueba controlada aleatoria -RCT- (algo de ello reflexionamos hacia el final de otra entrada de este blog).

En esta última entrada del año 2011 les comparto una reflexión irónica sobre los problemas que aparecieron al tener que evaluar un (ficticio) programa de ayuda denominado «Regalos de Navidad». Los créditos por la humorada corresponden al NYU Development Research Institute.

Problemas en la evaluación del programa Regalos de Navidad

  • Falta de una metodología rigurosa: Lamentablemente, la evaluación hubo de llevarse a cabo sin la necesaria prueba de control aleatoria de  los regalosde Navidad, la que no se completó según lo previsto. Los gerentes de proyecto hicieron un mal trabajo explicando las ventajas de la participación en la prueba aleatoria al grupo control.
  • Falta de focalización: El programa de  ayuda «Regalos de Navidad»  no estaba suficientemente bien dirigido a los pobres. Los destinatarios de regalos de la Navidad incluyeron de manera indiscriminada a regiones acomodadas, grupos, géneros, e individuos.
  • Falta de modalidades eficientes: los regalos de Navidad parecían consistir en gran medida en ayuda en especie. Esto contradice la abundante evidencia existente sobre las  mejores prácticas de la Ayuda, las que hacen hincapié en las transferencias de dinero efectivo como modalidad superior a la ayuda en especie. Hubo algunos casos de # SWEDOW («cosas que no quiero») en las transferencias en especie,  el peor tipo posible de ayuda, que incluyeron por lo general  pasteles de frutas.
  • Falta de sincronización eficiente: Al contrario de la recomendación de que la Ayuda debe consistir en un flujo uniforme y predecible, el programa de Navidad se concentra mayormente  en un solo día, con algunos pocos retrasos impredecibles que van desde unos pocos días («retrasos en las entregas») hasta meses («regalos hechos a mano «).
  • Falta de flujos netos: Los evaluadores encontraron en los beneficiarios de los regalos de Navidad una conducta que frustra el propósito del programa de ayuda, pues  los receptores  actúan como donantes de sus propios donantes, lo que reduce su consumo de la ayuda neta. Este comportamiento contraproducente fue explicado por los  beneficiarios con conceptos no estandarizados tales como «Hay más dicha en dar que en recibir».

Felices fiestas, y nos leemos nuevamente en el 2012!

Desde Busán y más allá: escenarios para la evaluación // From Busan and beyond: evaluation scenarios

(English version below)

Ésta es la última entrada dedicada explícitamente a la Conferencia de Busán, luego de haber pensado sobre las campañas e iniciativas previas a la conferencia,  los interrogantes iniciales para el mundo de la evaluación, la experiencia in-situ de dos estimadas evaluadoras, y la detallada reflexión y desafíos que nos compartiera Daniel Svoboda.  Ha sido posible seguir el desarrollo de la conferencia al instante mediante Twitter (aportes que continúan al día de hoy) y varios blogs (algunos de los más interesantes para mí fueron éste, éste y éste más).

Una de las ideas más desafiantes que he leído en distintos sitios tiene que ver con lo valioso de entender a Busán  no como el punto final de un proceso, sino más bien como el inicio de uno.  Esta es una visión clave para ir más allá del papel y de declaraciones. Un ejercicio interesante de lo que las palabras dicen fue hecha en el blog Aidnograhpy, incorporando la declaración final de Busán en Wordle, y alcanzando el siguiente resultado:

Vemos que el vocablo Ayuda (Aid) ha dejado su lugar a Desarrollo (Development), y el lugar de la cooperación Sur-Sur también ha ganado preponderancia. El post repite el ejercicio luego con cada una de las secciones de la declaración de Busán, favoreciendo a la vez una visión más matizada. De todos modos, para marcar ciertos énfasis y acentos, la mirada general es interesante también.  Más interesante aún resulta la reflexión en el mismo post sobre las palabras plásticas, a tono con el escéptico mensaje que me dejó un colega en Twitter:

Lo que en buen castizo sería: Gracias por las actualizaciones sobre Busán! La efectividad de la ayuda es un chiste…  La  declaración de París? Olvídala

Visiones alternativas son ofrecidas en los últimos aportes que para este blog hicieron llegar las dos evaluadoras antes invitadas.  Gloria Vela, presente en la Conferencia,  sumaba lo siguiente:

En términos generales hay satisfacción de las OSC porque se ha venido posicionando el términos COOPERACIÓN en lugar de ayuda aún entre los gobiernos, se mantiene el reconocimiento de las OSC como pares y se acogen los principios de Estambul y el marco de referencia de las OSC y se recoge la importancia de los derechos de las mujeres, pero también hay algunas preocupaciones, entre ellas, para mi personalmente, es preocupante que al reconocer el rol del sector privado, y las empresas en particular, en la cooperación y el desarrollo, se está hablando de la necesidad de generar para ellas un “ambiente habilitante” y la consideración de ese ambiente habilitante o propicio para las OSC queda bastante perdido!

También regresando de Busán, y pensando en el mundo de la evaluación, Oumoul Ba Tall hizo llegar su opinión:

Deseo asegurarles muy rápidamente que la evaluación estuvo muy presente en Busán, y estará en todas partes después de Busán. Para nuestra audiencia de evaluadores, me gustaría decir  sólo porque la evaluación no esté en la redacción significa que no está allí. La evaluación no sólo estuvo presente en la fase anterior a la Conferencia, sino que  preveo que ella será predominante después de Busán en tres niveles:

En primer término y para la fase anterior, es interesante observar las lecciones aprendidas de la evaluación de la Declaración de París. Los evaluadores deberían cuestionarse cuál fue realmente el propósito de la evaluación si las deficiencias de los compromisos anteriores no son en realidad asumidos  por el siguiente paso, que es la Declaración Final de Busán.  Tal como  la sociedad civil con razón reclamaba acerca de  los «asuntos pendientes» con la Declaración de París y la Agenda de Acción de Accra.

Después de Busán, preveo a la Evaluación siendo predominante en tres niveles:

1. El Documento Final de Busan (DBO) (o con el nombre oficial que sea elegido para reemplazar a la Declaración de París (DP) y al Programa de Acción de Accra (AAA) ) presenta un cierto número de principios básicos y orientaciones estratégicas, pero no hay ningún compromiso vinculante, según tengo entendido. Compromisos vinculantes y  planes operativos de acción tendrán que ser decididos a nivel nacional, algo así como un «pacto» que se diseñó sobre la base de acuerdos entre los socios de desarrollo que participan en el ámbito nacional. Por lo tanto, los planes de seguimiento y evaluación tendrán que ser establecidos a nivel nacional, y un marco global tendría que ser establecido con el fin de evaluar la DBO también. Esta dualidad conlleva algunos desafío metodológico a la hora de evaluar la DBO en comparación con la DP, que los evaluadores podrían reflexionar en ello a partir de ahora.

2. A nivel de país, si la decisión de utilizar los sistemas nacionales se aplica como insiste en hacerlo la  DBO, esto debe incluir sistemas de evaluación que son casi inexistentes en la mayoría de los países receptores. Estos sistemas tienen que ser construidos (incluyendo no sólo las instituciones, sino también la capacidad de los evaluadores nacionales) y veo ahí  un papel importante para la comunidad de Evaluación.

3. La referencia a la «responsabilidad mutua» también implica la evaluación de muchas maneras. La que a mí me gustaría destacar es la nueva idea de la rendición de cuentas a los ciudadanos de los países receptores, no sólo a nivel de «Gobierno a Gobierno» , lo que también demanda un amplio programa de sensibilización por la  Evaluación y la cultura de la Evaluación.  Los ciudadanos deben ser capaces de utilizar la evaluación para pedir rendición de cuenta a sus gobiernos, lo que significa contar con  las herramientas y métodos apropiados, así como  el entorno adecuado.

Escenarios para imaginar, construir y trabajar…

^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

ENGLISH VERSION!
This is the last post devoted explicitly to the  Busan Conference, after having thought about campaigns and initiatives prior to the conference, some initial questions to the world of evaluation, the in-situ experience of two close evaluators, and the detailed reflection and challenges  that Daniel Svoboda share with us. It was possible tofollow the progress of the conference instantly via Twitter (something still possible these days) and several blogs (some of the most interesting for me were  this, this and this).

One of the challenging ideas that I read in several places had to do with understanding the value of Busan not as the end point of a process, but rather as the beginning of one. This is a key insight to go beyond paper and declarations. An interesting exercise in what the words say was made ​​in the blog Aidnograhpy, incorporating the final declaration of Busan in Wordle, and reaching  the following result:

We see that Aid has been changed to Development , and the place of South-South cooperation has also gained prominence. The post then repeats the exercise with each of the sections of the Busan Declaration, favoring a more nuanced view. Anyway, to make certain emphases and accents, the overall look is interesting too. Even more interesting is the reflection in the same post about the plastic words, which is somehow linked with the skeptical message a colleague left me on Twitter:

Alternatives views were shared by the two evaluators previously invited to this blog.  Gloria Vela, present at the Conference, added that:

In general terms there is a sense of satisfaction by  the Civil Society Organizations (CSOs),  because it has been increasingly used the term cooperation instead of aid, even among governments; the recognition of CSOs as peers is mantained, and  the Istanbul principles, the framework of CSOs, and  the importance of women’s rights, all have been very welcomed. But there are some concerns, including for myself: it is worrying that by recognizing the role of the private sector, and companies in particular, in cooperation and development,we are talking about the need to create for them an «environment enabling «and the consideration of this enabling or conducive environment for the  CSOs is quite lost!

Also returning from Busan, and thinking for the world of evaluation, Oumoul Ba Tall sent her opinion:

I wish to assure you very quickly that Evaluation was very present at Busan, and will be everywhere post-Busan. I will be very short as I am still exhausted after almost 30 hours of travel and just one day of sleep….and as promissed, I will send more shortly. But for now, and for our Evaluation audience, I just would like to say, that it’s not only because Evaluation is not in the wording that it is not there. Not only was Evaluation present in the previous phase, but I foresee Evaluation to be predominant after Busan at three levels:
At first, for the previous phase, it is interesting to look at the lessons learned from the Evaluation of the PD. Evaluators should question what really was the purpose of the evaluation if the shortcomings of the the previous commitments are not really adressed by the next step, which is the BOD. As the CSOs were rightly claiming, the «unfinished business» with the PD and AAA are not resolved.

Post Busan, I foresee Evaluation to be predominant at three levels:

1. The Busan Outcome Document (BOD) or whatever official name will be chosen to replace the Paris Declaration (PD) and the Accra Agenda for Action (AAA) lays out a certain number of basic principles and strategic orientations, but there is no binding commitment yet as I understand. Binding commitments and operational action plans  will have to be decided at the country level, something like a «compact» to be designed based on agreements between development partners involved at the country level. Therefore, Monitoring and Evaluation plans will have to be set at the national level, and a global framework would have to be set in order to assess the BOD as well. This duality brings in some methodological challenge when it comes to evaluate the BOD as compared to the PD, that Evaluators could reflect on from now.

2. At the country level, if the decision to use country systems is enforced as the BOD calls for, this should include evaluation systems which are almost inexistent in most recipient countries. Such systems will have to be built (including not only the institutions, but also the capacity of national evaluators) and I see a major role for the Evaluation community.

3. The reference to «mutual accountability» also involves evaluation in many ways. The one that I would like to highlight is the new idea of accountability to the citizens of recipient countries, not only «the Government-to-Government» level, which also calls for a wide agenda of Evaluation Awareness and Evaluation Culture. citizens need to be able to use Evaluation to held their governments accountable, which means appropriate tools and methods, and the right environment. 

Scenarios to imagine, build and work…

Dos evaluadoras en Busán // Two evaluators in Busan

(English version below)

Finalmente, el 4 º Foro de Alto Nivel sobre la Eficacia de la Ayuda  se inició en Busán, Corea. Hay algunos posts muy interesantes en diferentes blogs que discuten su desarrollo, y es fácil encontrar los documentos más importantes, así como interesantes análisis de periodistas.  Pero en esta ocasión me gustaría dar lugar a dos breves notas que dos evaluadoras en Busán me ha enviado para compartir en este blog.

El primero aporte es el de Oumoul Ba Tall, ex presidente de AfrEA y también ex presidente de la IOCE. El segundo es de Gloria Vela Mantilla, ex presidente de la ReLAC y ex miembro de la Junta de la IOCE. Ambas son personas muy activas en el mundo de la evaluación, y estoy feliz de tenerlas hoy aquí.

Si desean hacer una pregunta o una reflexión acerca de sus opiniones, por favor utilicen la sección de comentarios …

Oumoul Ba Tall

Hola Pablo,

No me  he conectado anteriormente, es necesaria demasiada atención  aquí en Busan, y ya estamos cansados.

La ceremonia de inauguración fue ayer, con discursos muy bueno como siempre, pero me gustó especialmente el de su Majestad la Reina de Jordania, una mujer mágica y llena de inspiración, y  elocuente. Aspectos destacados:

– La ayuda no es caridad, se trata de INVERSIÓN para el beneficio mutuo
– En la nueva era en que nos encontramos,  los gobiernos deberían cambiar de Decidir el desarrollo a Facilitarlo; de Liderarlo a Acompañarlo;

– La la nueva era de la  ayuda es acerca de la equidad
– La ayuda inteligente o efectiva apunta a crear trabajos, invertir en los niños, dar prioridad a las mujeres
– La ayuda no es sólo para la reducción de la pobreza, es también para la creación de la prosperidad

y al final:
– ¿No es el propósito de la Ayuda  poner fin a la Ayuda?
Podemos y Debemos…

Voy a enviar algunos aspectos destacados de la difícil tarea que se enfrentan las Organizaciones de la Sociedad Civil para obtener que el Documento Final de Busan (8 ª edición  esta mañana) incluya cuestiones tales como 

(i) la referencia a los derechos humanos (esto es resistido por China), 

(ii) Entorno propicio para las Organizaciones de la Sociedad Civil (para desentrañar el MIEDO de los países asociados), y 

(iii) una posición menos prominente para el sector privado,  para el cual se le ha asignado un párrafo entero para abogar por un entorno más favorable para el sector privado (esto es empujado por EE.UU.).

Oumou

from Busan

———-

Gloria Vela-Mantilla

Mil gracias, querido Pablo. Pero es bastante complicado para mi pues el tiempo es limitado!!!

 Lo intentaré, aunque creo que lo que podré hacer es hacer un informe al regreso. Aquí van unas primeras y cortas líneas

El Foro de las Organizaciones de la Sociedad Civil fue muy interesante y ha resaltado la necesidad URGENTE de profundizar los procesos de “apropiación democrática” en nuestros países, para lo cual la aplicación de sistemas de PSyE de RESULTADOS (cambios en la calidad de vida, en la exigibilidad de derechos y en el desarrollo sostenible) con metodologías participativas, empieza a ser reconocida como una necesidad, en tanto facilitaría el rol social y político de las OSC y su participación en Planes, programas y estrategias de Desarrollo.

Y por lo visto ayer en el primer día del FAN 4 (Foro de Alto Nivel), que estuve en el taller sobre “Resultados” también los gobiernos “donantes y receptores” resaltan la necesidad del seguimiento y evaluación basado en Resultados! Esto creo es una gran oportunidad para redes como la ReLAC y para la preocupación de mejorar la cualificación de los/as evaluadores/as.

 Un abrazo grande

Gloria

&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&

English version!!


Finally, the 4º High Level Forum on Aid Effectiveness began in Busan, Corea.  There are some great posts in different blogs discussing its development, and its easy to find the most important documents and very nice journalists reviews. But in this occasion I would like to share two brief notes that two evaluators in Busan sent me in order to share in this blog.

The first one is from Oumoul Ba Tall, former president of Afrea and also former president of the IOCE. The second one is Gloria Vela Mantilla, former president of the ReLAC and former member of the IOCE Board of Trustees. Both are very active persons in the world of evaluation, and I´m happy to have them today here.

If you like to make a question or a reflection about their opinions, please use the comments section below…

Oumoul Ba Tall

Hi Pablo,

I have not connected earlier, too much focus needed here in Busan we are already tired.

The opening ceremony was yesterday, really good speeches as usual, but I particularly liked the adress of her Majesty Queen of Jordan, a fabulous lady full of inspiration, and so eloquant. Highlights: 

– Aid is not Charity, it’s about insvestment for mutual gain

– In the new era we are, governments should shift from Deciding development to Facilitating; from Leading to Convening

– the new aid era is about Equity

– SMART AID targets jobs, invest in children, prioritize women

– Aid not only about Poverty Reduction; is also for Creating Prosperity

and the end:

– Isn’t the purpose of Aid to end Aid

We can and We must

I will send some highlights on the difficult task CSO is facing to get the Busan Outcome Document (8th edition this morning) include issues such as (i) reference to Human Rights (this is a CHINESE PULL), (ii) Enabling environment for CSOs (to tease out Partner countries’ FEAR), and (iii) a less prominent posture for the Private sector for which a whole paragraph is allocated to plead for a more Enabling Environment for the Private Sector (this is a US PUSH!).

Oumou

from Busan

— —- —

Gloria Vela-Mantilla

Many thanks, dear Pablo. But it’s pretty hard for me because time is limited!

I’ll try, but I think what I can do is to make a report at my return. Here are some initial and short thoughts

The Forum of Civil Society Organizations was very interesting and highlighted the urgent need to deepen the process of «democratic ownership» in our countries, for which the application of RESULTS  Systems of Planning, Monitoring and Evaluation (changes in the quality of life, the enforceability of rights and sustainable development) with participatory methodologies, has started to be recognized as a necessity, because it would facilitate the social and political role of CSOs and its participation in plans, programs and strategies. 

Yesterday, on the first day of  the HLF4,  I was at the workshop on «Results», and apparently governments «donors and recipients» highlight the need for results- based monitoring and evaluation ! This I think is a great opportunity for evaluation networks as ReLAC and for the efforts to improve the qualification of the evaluators

A big hug

Gloria

Busán, evaluación y después…

El 4º Foro de Alto Nivel sobre la Eficacia de la Ayuda está a la vuelta de la esquina, comenzando en apenas siete días en Busán, Corea.  Éste será el último de este tipo de encuentros, luego de los desarrollados en Roma 2002, París 2005 y Accra 2008.  El foco de Busán estará puesto en  los resultados de las acciones de ayuda y desarrollo, dando continuidad a la  fuerte tendencia en este campo referida a la identificación de resultados y en la evidencia que da cuenta de los mismos.

Un antecedente clave de ello resultó el documento When will we ever learn? Improving lives through impact evaluation,  publicado por el Center for Global Development, un think tank de Washington D.C.  En dicho trabajo justamente se presentaban estas inquietudes: ¿cuándo vamos a aprender de la cantidad de dinero que estamos gastando en proyectos de desarrollo, sin saber si funcionan, cuándo funcionan, con qué resultado y cuál es la evidencia que tenemos de ello?  De ahí al creciente interés y presión por evaluaciones rigurosas, sólo hubo un paso.  Lo que es de lamentar fue (¿es?) la asimilación que se hizo de la noción evaluaciones rigurosas con las del tipo RCT o pruebas controladas aleatorias,  sin reconocer (como bien  lo indicaba Jim Rugh en un post anterior) que éstas son pertinentes apenas para escenarios simples, antes que aquellos complicados y complejos.

Otros problemas han venido siendo señalados por la iniciativa The Big Push-Forward: la visión de planificación que pretende tener todo bajo control a fin de intervenir sin sorpresas y sin consecuencias no planificadas; la mayor facilidad y sencillez de conocer los resultados de una intervención a corto plazo, favoreciendo el destinar mayores recursos en aquello que puede tener resultados visibles, tangibles y claros en dicho término; una desatención evidente a desentrañar la caja negra de los procesos de desarrollo y ayuda; etc. Todos estos factores confluyen a un estrechamiento de las formas en que la efectividad del desarrollo es abordada, acentuando muchas veces monolíticamente  los asuntos de rendición de cuentas antes que los de aprendizaje.

Señalar estos asuntos es importante para no perder perspectiva y no quedar encandilados ante la lluvia de mediciones y nuevos índices que no dejan de aparecer en este campo.  Vale decir, valiosos instrumentos… pero instrumentos al fin. Sino puede pasarnos como a aquello del refrán: para quién sólo tiene un martillo, todas las cosas que ve le parecen clavos!

Sumándose al Índice de Desarrollo Humano de PNUD, al Índice de Percepción de Corrupción, y el también nuevo QuODA (índice de Calidad de la Ayuda Oficial al Desarrollo), la iniciativa 3ie (International Initiative for Impact Evaluation) está preparando para el año próximo uno referido al Compromiso con la Evaluación de la Efectividad del Desarrollo.  El mismo apunta a promover un mejor uso de la evidencia generada por la evaluación, dando un reconocimiento por esto a quienes hacen un uso sistemático de ella, y así incentivando a otros a hacer lo mismo.  Por ahora están invitando a recibir opiniones en una encuesta muy breve sobre la relevancia de medir el compromiso con la evaluación y cómo hacerlo.

Regresando a Busán, soy más bien escéptico de su capacidad de generar movimientos transformadores novedosos. Sí es posible que pueda fortalecer algunos discursos y legitimar algunas prácticas importantes para dar mayor voz a la sociedad civil y favorecer la transparencia, la rendición de cuentas mutua (no sólo de quien recibe sino también de quien dona), y un mayor papel para los países receptoras de la misma.  Los resultados de la discusión de Busan serán seguramente disputados y criticados, pero si lograran mejorar lo dicho y hecho por la Declaración de París (la que aún con problemas es la mejor que tenemos) , sería un progreso y un avance.  Tras Busán, habrá que ver con qué ánimo uno vuelve al Sur…

(si recibes este post vía email o RSS, es posible que tengas que ir al sitio web para ver el video)

Evaluación & Web 2.0: parados sobre los hombros de un gigante (o de varios)

ACLARACIÓN: En este post hago referencia a dos redes de evaluación en las que me desempeño como miembro de sus comités ejecutivos. Obviamente, todo lo aquí escrito es a título personal.

En el margen derecho (y un poco hacia abajo) de este post hay un recuadro con unas sonrientes fotos y el texto “Soy miembro de Noticias ReLAC”, el cual  funciona como enlace hacia el sitio de Noticias de la Red de Seguimiento, Evaluación y Sistematización en América Latina y el Caribe. El mismo cuenta con distintas secciones, donde se destaca la destinada a los Grupos de Trabajo  por el dinamismo y actividad de varios de ellos. El sitio Ning funciona en paralelo a una lista de correo electrónico, la cual ha sido históricamente el medio para vincular a los miembros de la ReLAC en sus acciones de compartir información, realizar consultas, difundir posibilidades de consultoría, etc.. Un debate todavía no saldado  al interior de la ReLAC apunta a definir si es pertinente y razonable mantener dos “ventanas» para la interacción de sus participantes. Mientras que una posición apunta a la gran versatilidad de un sitio como Noticias ReLAC para identificar los perfiles de los participantes, generar grupos de trabajo, y favorecer la creación de blogs personales,  la otra posición da cuenta que la tecnología que todos los miembros manejan es el email, el cual cumple sobradamente sus propósitos comunicativos y de construcción de red.

Sin entrar en ese debate,  sí puedo aseverar que mi acercamiento a las redes de evaluación fue email-dependiente por mucho tiempo, y sin duda que sigo encontrando muchas y variadas ventajas en su uso en dicho ámbito. Más allá del carácter regional de la ReLAC, otras listas de correo electrónico orientadas a la Evaluación me han servido para estar informado, conectado, y me han facilitado la interacción con colegas de otros lares a quienes muy raramente pude conocer cara a cara.

Ahora bien, la llegada de la Web 2.0 con su carácter de web social, ha exponenciado todo aquello que el email brindaba. En los servicios de la web 2.0 es posible encontrar lo que Dolors Reig llama Actitudes 2.0:

  • Inteligencia colectiva,
  • Interacción,
  • Participación,
  • Apropiación,
  • Confianza (virtual),
  • Transparencia,
  • Juego (inteligencia)
  • Empatía (storytelling),
  • Compartir («Sharismo»),
  • etc., etc.

Como ejemplo cercano valga un botón: la semana pasada se desarrolló la Conferencia  Anual de la Asociación Americana de Evaluación (comentada en Evaluateca, como no podía ser de otro modo!). Gracias a Twitter y a la etiqueta #eval11 (ver el cuadro destinado a esa etiqueta en Eval Central), fue posible para varios de quienes no pudimos estar presente en dicha conferencia, el interactuar con colegas y sumar a otros a esa interacción, enterándonos de los talleres en tiempo real, las opiniones, las reuniones, las ideas clave, etc., etc.  ¿Podría el email hacer todo esto? Ni qué decir de los servicios que ofrece el sitio My M&E, plataforma creada por UNICEF, IOCE y DevInfo.

Sin ánimo de comenzar una campaña anti-email,  sí vale la pena señalar cuánto nos perdemos si nuestro vuelo profesional (como evaluadores, académicos, actores de proyectos de desarrollo, etc.) no saca provecho de los cielos Web 2.0. Por ejemplo, hace unos pocos meses atrás circuló en una de las listas de correo de evaluación más importantes (XCeval) un email que sinceramente creo merece la pena ser compartido más ampliamente. Dado el carácter “cerrado” de la lista (en cuanto sólo acceden a los mensajes quienes se han suscripto a ella), su contenido llegó a sus 1088 suscriptos (al día de hoy), y fue quizás difundido vía re-envíos a otras personas, o bien compartiéndolo con otra lista de correo electrónico. Hoy al encontrarlo y re-leerlo, me ha parecido una pena que así fuera, en cuanto varios meses después no ha perdido vigencia, y sigue siendo tan inspirador  y provocador como en su momento, a la vez que de difícil (o al menos complicado) acceso para la comunidad de evaluadores (más allá de XCeval).  Por ello lo compartiré a continuación, traducido al castellano y copiando más abajo la versión original en Inglés.

El email en cuestión fue escrito por Jim Rugh, consultor internacional con amplísima experiencia en el campo de la evaluación, co-autor del libro Real World Evaluation, y actual representante de la Asociación Americana de Evaluación en la IOCE –Organización Internacional para la Cooperación en Evaluación- donde reviste como su vice-presidente.  En su comunicación, Jim hace referencia a diversas cuestiones surgidas recientemente en vinculación con la evaluación de las intervenciones de desarrollo y la cooperación internacional.  Su reflexión es motivadora y movilizadora, a la vez que nos invita a ir más allá de ella, a no engancharnos o quedarnos en ella, sino en usarla para ver más allá, como subidos en los hombros de un gigante… Es lo que permite la Web 2.0 !

No sé si decir que es «interesante» o «preocupante» notar cómo las personas, incluyendo Nicholas Kristof, parecen estar en LA BUSQUEDA DE SOLUCIONES SIMPLES A LA POBREZA MUNDIAL. Ya se trate de Greg Mortensen y la gran cantidad de gente que quedó fascinada con su historia de las “Three Cups of Tea” (donde sólo la construcción de escuelas sería la respuesta para conseguir niñas educadas en Pakistán y Afganistán), o Ester Duflo o Abhijit Banerjee del J-PAL del MIT (quienes son evangelistas promoviendo la RCT –Prueba Controlada Aleatoria), y tantos otros, que parecen estar fascinados por la idea de que debe haber unas pocas «balas mágicas» (intervenciones sencillas y de bajo costo) que, por sí mismas, brinden una panacea para la solución de la pobreza.

Estas personas y sus seguidores (que por desgracia son muchos) no les gusta escuchar a aquellos de nosotros que somos «evaluadores profesionales” en el campo del desarrollo internacional, cuando  tratamos de explicar que la mayoría de los problemas y contextos de desarrollo son complicados y complejos. Por lo general, tienen que reunirse -en la combinación adecuada y en el momento justo- todo un conjunto de intervenciones, condiciones previas relevantes y factores contextuales, para que nuestros beneficiarios puedan lograr el máximo rendimiento y alto impacto (definido en términos de mejoras sostenibles en la calidad de vida, del tipo descripta en los Objetivos de Desarrollo del Milenio). Es falso e hipócrita de parte de escritores como Kristof aseverar que «Durante décadas, hemos tenido respuestas que fueron en su mayoría anecdóticas o exageraciones.» Hipócrita, porque las «soluciones» ofrecidas por los economistas que lo tienen tan fascinado (del tipo de quienes tienen un enfoque miope de la RCT) , están brindando respuestas que se limitan a las «cuestiones pequeñas» de experimentos de causa-efecto simples, que no responden (pues no pueden hacerlo) a las «grandes preguntas» (como las llama Ester Duflo en su presentación en TED).

Aquellos de nosotros que creemos en un enfoque más holístico del desarrollo, tenemos por delante el desafío de argumentar y convencer a los hacedores de política de alto rango sobre la importancia de entender y apoyar formas comprehensivas y realmente “rigurosas” de evaluación de impacto. (Para un intento de ello, ver la Newsletter  de la IOCE #2).

Jim

Si te ha parecido (como a mí) que es un mensaje valioso y que merece ser discutido y comentado, te invito a que utilices los botones que aparecen debajo de esta entrada con el encabezado COMPARTIR… y usando Facebook, Twitter, Google + y otros,  te conviertas así también en parte activa del movimiento de la Web 2.0 y el mundo de la evaluación!

ORIGINAL VERSION OF JIM´S EMAIL

I don’t know whether to say it is “interesting” or “disturbing” to notice how people, including Nicholas Kristof, seem to be on the QUEST FOR SIMPLE SOLUTIONS TO WORLD POVERTY.  Whether it be Greg Mortensen and the many people who were fascinated by his “Three Cups of Tea” story (whereby just building schools would be the answer to getting girls educated in Pakistan and Afghanistan), or Ester Duflo or Abhijit Banerjee of MIT’s J-PAL (who are such evangelists promoting RCTs), and so many others, they seem to be fascinated by the idea that there must be a very few “magic bullets” (simple and inexpensive interventions) that will, by themselves, provide a panacea to solving poverty.

Such people and their followers (who are many, unfortunately) don’t like to hear those of us who are ‘professional evaluators’ of international development try to explain that most development contexts and problems are complicated and complex.  There are usually a whole set of interventions, preconditions and contextual factors that need to come together in just the right combination and timing in order for our intended beneficiaries to really benefit from higher-level and impact (defined in terms of sustainable improvements in the! quality of life of the sort described by the MDGs).  It is disingenuous and hypocritical for writers such as Kristof to write off such explanations as “For decades, we had answers that were mostly anecdotal or hot air.”  Hypocritical because the “solutions” offered by economists (of the type to have a myopic focus on RCTs) he’s so fascinated with are purveying answers that are limited to simplistic “little question” cause-effect experiments that do not (and cannot) answer the “big questions” (as Ester Duflo calls them in her TED presentation).

Challenging for those of us who believe in more holistic approaches to development to make our case in ways that convince senior-level policy makers to understand and sup! port more comprehensive, really “rigorous” impact evaluation.  (For one attempt, see the latest IOCE newsletter.)

Jim

Viernes light: ¡Dad a los pobres todo lo que tengáis!

Las intervenciones de desarrollo (en sus múltiples presentaciones) se insertan en procesos sociales en curso, pretendiendo  transformarlos. Le toca a la evaluación dar cuenta de la transformación realizada. Ciertas perspectivas evaluativas parecen conformarse con realizar un chequeo de aquello planificado con lo efectivamente realizado. Sin embargo, como ya lo marcaba hace varias décadas Albert Hirschman, no se debe descuidar analizar los efectos no deseados de la intervención social planificada (en sintonía con la evaluación, hay aportes muy valiosos de Michael Scriven al respecto).

En estrecha relación con ello, algunos blogs vienen trabajando recurrentemente en señalar que las buenas intenciones no alcanzan, a la vez que es necesaria una reflexión sobre el voluntariado y el trabajo amateur.  Para sumarnos a esa reflexión con una sonrisa, les comparto hoy una historia publicada por el brillante blog Saturday Morning Breakfast Cereal , la cual me he permitido traducir artesanalmente.

Que la disfruten!

 

Por mi culpa, por mi culpa, por mi gran culpa

En estos días se ha venido desarrollando «The 2nd Aid Blog Forum«, impulsado por J. de Tales from the Hood. En esta ocasión, el tema ha sido «Admitiendo Errores», impulsado por una corriente creciente de reflexión que apuesta por un mayor espacio para el reconocimiento de los errores que se cometen en las acciones de desarrollo, cooperación y ayuda humanitaria. Una expresión relevante de esta tendencia puede verse en el sitio Admitting Failure, con el sugestivo encabezado «Aprendiendo de lo que no funciona bien, creando espacio para lo que sí» (valga la traducción libre 😉 ).

Las reflexiones volcadas en los distintos blogs publicados hasta el momento son realmente interesantes, y llevan a darle varias vueltas de tuerca a este asunto. Para sumar mis dos centavos al foro, comento dos experiencias personales, ambas desde la perspectiva de la evaluación:

1) Hace varios años atrás me tocó estar cerca de la implementación y evaluación interna de una experiencia de desarrollo rural. La misma había resultado,por decirlo delicadamente, muy desequilibrada en sus efectos. Apenas una fracción muy menor de los participantes había implementado la propuesta técnica sugerida, mientras que en la enorme mayoría de los casos se detectaba abandono y desvinculación de la misma. Tras un tiempo de reflexión sobre la experiencia, pude  publicar mi visión de lo sucedido en este caso, procurando extraer algunas lecciones a futuro. El punto es que al momento de publicar mi reflexión, yo seguía siendo parte del mismo programa que analizaba en el artículo. Apenas el artículo vio la luz, una alta autoridad del programa elevó sus quejas, trajo a colación la conocida frase «los trapitos sucios se lavan en casa», y presionó para mi despido. La intervención de otros funcionarios, así como la defensa que de mi caso hiciera mi jefe directo, disiparon esa posibilidad.

2) En el marco de la evaluación de un programa de desarrollo rural, el reporte final que presentamos con un colega tuvo que ser corregido varias veces -a pedido del Supervisor de la evaluación- a fin de «suavizarlo». En sus comunicaciones nos decía lo siguiente:
Recuerden que estos informes, luego de aprobados por la coordinación nacional del programa, pueden ser vistos por distinta gente (del Banco Mundial, autoridades del Ministerio, otros consultores), y debemos enviarlos a las regiones evaluadas, en donde también lo pueden ver distintas personas. No existe una cultura del seguimiento y de la evaluación como un punto de reflexión para mejorar. En general, especialmente las autoridades, los toman como un «juicio» para castigar, por eso es que estoy pidiendo estos cambios.
Finalmente, acordamos una versión final del informe donde las ideas fundamentales que queríamos señalar estaban presentes. Sin embargo, sentimos también que las mismas habían perdido gran parte de su fuerza original al haberse eliminado las referencias comparativas tanto con con el Manual Operativo del programa, así como con la realidad de ejecución del programa en otras regiones. Si bien varias de nuestras recomendaciones iniciales se mantuvieron, aquellas que resultaban para el criterio del Supervisor como “potencialmente hirientes” fueron suprimidas.

Sin duda que estos ejemplos brevísimamente presentados pueden dar pie a múltimples reflexiones, muchas de ellas ajenas al propósito de esta entrada. Me interesa rescatar de ellos la fuerte dificultad en el reconocimiento de errores, fallas y problemas en la implementación de acciones de desarrollo, vinculada estrechamente con la ausencia de una cultura evaluativa, donde el énfasis mayor o único pasaría por la rendición de cuentas, y el factor de aprendizaje quedaría minimizado. Aquí está, me parece a mí, un nudo central a resolver en el movimiento del reconocimiento de los errores. Por un lado, es importante, necesario y bienvenido un movimiento que se oriente a dar cuenta de cómo las acciones de desarrollo… fallan. Pero al mismo tiempo, poco avanzamos si nos quedamos apenas en ese primer paso. Es necesario aprender de los errores, pues el simple reconocimiento de los mismos no pasaría de ser un acto de expiación personal/institucional, casi sin efecto alguno.

En tal sentido, el movimiento de Sistematización de experiencias, con fuerte raigambre en América Latina, ha venido planteando con claridad que hay un desafío no sólo metodológico o técnico en aprender de nuestras prácticas, sino fundamentalmente político.  La biblioteca virtual de Sistematización (alojada en la web del CEP Alforja, y perteneciente al Programa Latinoamericano de apoyo a la sistematización del CEAAL) es un buen lugar para indagar y conocer sobre el enfoque, al igual que el muy dinámico grupo de Sistematización y Evaluación de la ReLAC.  El interés por la Sistematización en foros extra-regionales ha tenido este año al menos dos ejemplos a marcarlar:  la ponencia de Esteban Tapella en la conferencia Systemic Approaches in Evaluation (GIZ, Enero de 2011), así como la presencia del maestro Oscar Jara en la Cesta de Aprendizaje en la Universidad Politécnica de Valencia (de cuyos frutos confiamos tener novedades pronto 😉 ).

En todos los casos, la Sistematización asume que más allá de identificar buenas prácticas, el reconocer errores y dar cuenta de fallas, debe generar aprendizajes.  Aprender, a fin de cuentas, no es un acto de contrición…