Mi crónica de la 6º Conferencia de AfrEA

Con la presencia de unos 300 participantes, se desarrolló en Accra (Ghana) entre el 11 y 13 de Enero pasado  la 6º Conferencia de la Asociación Africana de Evaluación, la cual fue precedida por dos días y medio de talleres de capacitación y paneles de discusión.  El espacio brindado a estas instancias da cuenta del relevante énfasis que le dieron los organizadores, quienes se propusieron brindar un tiempo considerable al fortalecimiento directo de las capacidades de evaluación.

Cada día de esta intensa semana, los participantes recibíamos una muy concisa Newsletter, la cual era también reproducida en el blog de la conferencia. Recorrer esas narraciones, reportajes y breves crónicas de la conferencia permite hacerse una idea del entusiasmo y excelente disposición que se sentía en el ambiente.  La evaluación resonaba ahí totalmente ajena a procedimientos burocráticos y a prácticas rutinarias y meramente técnicas. La sed de aprendizaje y de descubrimiento que debe guiar a toda evaluación, dejó su marca en cada presentación y panel de discusión.

Los espacios intermedios del café y el almuerzo siempre fueron una oportunidad para conocer gente, afianzar contactos, y visitar los stands de exposiciones. Entre ellos, estuvo presente la iniciativa CLEAR (Centros Regionales para el Aprendizaje en Evaluación y Resultados), con los delegados de los centros de África, Asia y América Latina. En este último caso, hizo su presentación en sociedad el recientemente elegido Centro de Investigación y Docencia Económica -CIDE-, de México.  También con un stand de exhibición, y con una sesión de presentación estupenda, los amigos de Better Evaluation continuaron dando cuenta de su iniciativa y cosechando nuevas ideas y voluntades para su trabajo. Otros stands daban cuenta de los finalistas en un concurso financiado por la Fundación Bill & Melinda Gates, dirigido a fomentar a las asociaciones nacionales y Grupo de Interés Especiales miembros de AfrEA, quienes debían presentar ideas de proyectos a pequeña escala u otras innovaciones relacionadas con los ámbitos de la conferencia, centrados en contribuir al avance de la evaluación en África.

La vinculación entre el mundo de la evaluación y la realidad de la Web2.0 dio un paso hacia adelante muy importante en el marco de este evento.  Además del blog de la conferencia, otros blogs fueron también presentando distintas dimensiones de la misma. Facebook no fue ajeno a algunas menciones, y  con varios colegas intentamos darle seguimiento cercano vía Twitter.  Un ejemplo más sobre la velocidad y  ubicua presencia de Twitter fue que por ese medio muchos nos enteramos casi al instante que  Nermine Wally había sido elegida la nueva presidente de AfrEA. Finalmente, AfrEA TV permitió seguir con una calidad fantástica las sesiones de apertura y cierre, así como algunas de las ponencias magistrales centrales (pronto estarán disponibles los links para ver las grabaciones realizadas).

Tuve la posibilidad de participar en un panel organizado por la IOCE -Organización Internacional para la Cooperación en Evaluación-, sobre experiencias de trabajo en redes nacionales y regionales de evaluación. Unas treinta personas se acercaron al mismo, y pudimos compartir experiencias, avances y aprendizajes. En este panel, como en otras instancias en las que pude participar, fue claro el espíritu crítico, el interés en no ser complacientes con las preguntas y respuestas , y la firmeza acompañada por la delicadeza.
Por supuesto que hay detalles que uno podría señalar para su mejora (por ejemplo, una larga y demasiado protocolar ceremonia de inauguración),  más sin duda el  balance final ha sido altamente positivo.
Para cerrar esta crónica personal de estos días intensos, les comparto a continuación un video con un baile típico de Ghana con el cual nos dieron la bienvenida en una fantástica fiesta. El baile da cuenta, de algún modo, del espíritu que AfrEA supo imprimir a toda la conferencia…
(si recibes este mensaje por email o RSS, quizás debas ir a la página del blog para ver el video)
Anuncios

6º Conferencia de la Asociación Africana de Evaluación: Derechos y Responsabilidades en Evaluación

AfrEA fue fundada en 1999 en respuesta a una creciente demanda de intercambio de información, promoción y creación de capacidades avanzadas de evaluación en África. La organización agrupa a más de 20 asociaciones y redes nacionales de Monitoreo yEvaluación. AfrEA trabaja con las redes nacionales y los asociados interesados en el continente y en todo el mundo para desarrollar una comunidad fuerte de evaluación en África. Hasta ahora habia celebrado cinco conferencias en todo el continente, y facilitado el desarrollo de las Directrices de Evaluación de África para mejorar la calidad y la utilidad de la evaluación.

Esta semana AfrEA desarrolla en Accra (Ghana) su 6ta Conferencia continental, en la cual tengo la posibilidad de tomar parte (gracias al generoso apoyo de UNICEF).  Los dos primeros días y medio de esta semana se desarrollaron talleres de capacitación y primeros paneles de discusión.  El miércoles 11 de Enero se realizó la ceremonia inaugural, y la apertura de los stands de exposiciones. En estos dos días finales de la conferencia, nos esperan ponencias magistrales, presentaciones individuales, y nuevos paneles.

No es sencillo elaborar una entrada extensa y detallada de lo que va sucediendo, la cual deberá esperar unos días a mi regreso a casa. Los organizadores han montado un blog donde se puede ir siguiendo actividades y novedades. Lo que sí intento hacer todo lo posible es usar Twitter con la etiqueta #AfrEA, al igual que lo están haciendo otros colegas. Por tanto, ahí nos vemos!

image

image

image

image

image

Viernes light: evaluando el programa de ayuda “Regalos de Navidad”

Desde hace algunos años ha ganado terreno un renovado interés por la evaluación de impacto de proyectos y programas, tanto por aquellos generados desde el ámbito público como desde instancias no gubernamentales. Al mismo tiempo, dicho interés ha estado acompañado de cierta polémica  (todavía en curso) sobre la pertinencia y los alcances de la metodología de prueba controlada aleatoria -RCT- (algo de ello reflexionamos hacia el final de otra entrada de este blog).

En esta última entrada del año 2011 les comparto una reflexión irónica sobre los problemas que aparecieron al tener que evaluar un (ficticio) programa de ayuda denominado “Regalos de Navidad”. Los créditos por la humorada corresponden al NYU Development Research Institute.

Problemas en la evaluación del programa Regalos de Navidad

  • Falta de una metodología rigurosa: Lamentablemente, la evaluación hubo de llevarse a cabo sin la necesaria prueba de control aleatoria de  los regalosde Navidad, la que no se completó según lo previsto. Los gerentes de proyecto hicieron un mal trabajo explicando las ventajas de la participación en la prueba aleatoria al grupo control.
  • Falta de focalización: El programa de  ayuda “Regalos de Navidad”  no estaba suficientemente bien dirigido a los pobres. Los destinatarios de regalos de la Navidad incluyeron de manera indiscriminada a regiones acomodadas, grupos, géneros, e individuos.
  • Falta de modalidades eficientes: los regalos de Navidad parecían consistir en gran medida en ayuda en especie. Esto contradice la abundante evidencia existente sobre las  mejores prácticas de la Ayuda, las que hacen hincapié en las transferencias de dinero efectivo como modalidad superior a la ayuda en especie. Hubo algunos casos de # SWEDOW (“cosas que no quiero”) en las transferencias en especie,  el peor tipo posible de ayuda, que incluyeron por lo general  pasteles de frutas.
  • Falta de sincronización eficiente: Al contrario de la recomendación de que la Ayuda debe consistir en un flujo uniforme y predecible, el programa de Navidad se concentra mayormente  en un solo día, con algunos pocos retrasos impredecibles que van desde unos pocos días (“retrasos en las entregas”) hasta meses (“regalos hechos a mano “).
  • Falta de flujos netos: Los evaluadores encontraron en los beneficiarios de los regalos de Navidad una conducta que frustra el propósito del programa de ayuda, pues  los receptores  actúan como donantes de sus propios donantes, lo que reduce su consumo de la ayuda neta. Este comportamiento contraproducente fue explicado por los  beneficiarios con conceptos no estandarizados tales como “Hay más dicha en dar que en recibir”.

Felices fiestas, y nos leemos nuevamente en el 2012!

Mis deseos para el Tinku Kamayú, y todas las mujeres que ellas representan

Se acerca el fin de año, y entre tantas acciones y propósitos no suele faltar el hacer un balance de lo realizado, así como el desear a nuestros seres queridos lo mejor para el año que comienza.  Sin duda que entre los primeros para dichos deseos estarán  nuestros familiares y afectos más cercanos.  Sin embargo, la capacidad de augurar buenos deseos y propósitos no es tanto como manzanas en una cesta, que al repartirlas se acaban, sino como la llama de una vela, que al brindarse no se agota y es capaz de dar más luz.

Por eso me pareció muy grata la invitación que hace World Vision España en su iniciativa Házlo realidad!, la cual permite que enviando mensajes de texto de salutación podamos colaborar en recaudar fondos para sus programas de educación, salud y nutrición en África, Asia y América Latina.  Otra faceta de dicha iniciativa nos invita a preguntarnos concretamente sobre nuestros deseos y augurios para aquellos que conocemos y que se encuentran en una situación difícil de algún tipo. Esas situaciones suelen ser caracterizadas como pobreza, marginación, exclusión…

La propuesta (o reto) tiene varias puntas positivas:

  • nos obliga en esta oportunidad a ponerle nombre y cara a aquellos que en los proyectos y programas de desarrollo son tantas veces número e indicadores;
  • nos propone hacer público nuestro augurio y nuestro deseo de un mejor año para ellos; y
  • nos permite presentar a nuestros conocidos a quienes nos leen en las entradas de un blog o bien en sus comentarios.

En este espíritu, quiero presentar aquí brevemente a las amigas del Tinku Kamayú, que en Quechua quiere decir Reunidas para Trabajar.  Su historia se desarrolla en Santa María, en la precordillera de los Andes, al norte de la provincia de Catamarca (noroeste Argentino), a 1.900 metros sobre el nivel del mar.  La actividad agropecuaria ha sido históricamente el motor de la economía de Santa María, concentrándose  en aromáticas, vid y nogal, así como la cría de ganado caprino, ovino, bovinos, camélidos (llamas), y cabalgares. En consonancia con la realidad nacional, Santa María sufrió en las últimas décadas un fuerte proceso de descampesinización que llevó  a pequeños productores al abandono y/o venta de sus propiedades, y a la consiguiente instalación de una parte de las familias en el núcleo más urbanizado del departamento. Otra parte de la población ha migrado hacia centros poblacionales como Tucumán, Buenos Aires, o la zona de Cuyo.

Hace diez años atrás, Argentina vivía el pico de una crisis política y económica que marcó en diversos sentidos un antes y un después en la historia nacional.  En Santa María el período se caracterizó por un enorme desempleo, lo que repercutió en la actividad comercial y de servicios del área, produciéndose el cierre de pequeños comercios, comedores, etc. La oficina de Cáritas en Santa María comenzó a recibir la presencia cotidiana de un gran número de personas que hacían cola a la espera de alguna ayuda en alimentos y vestimenta.  A mediados del año  2002, el párroco local solicitó la ayuda de Margarita Ramírez, una voluntaria local del Movimiento Focolar, para colaborar en la búsqueda de alternativas frente a aquella multiplicidad de pedidos.

Margarita había estado largamente vinculada a la Escuela Aurora, espacio donde se ubica el Taller Armonía, taller de costura y tejido en Santa María, ambas instancias originadas en una larga labor de apoyo y acompañamiento de los Focolares en la zona. Margarita tuvo la idea de comenzar un emprendimiento de confección de hilado artesanal a fin de proveer al Taller Armonía, el cual hasta ese momento lo adquiría en tiendas comerciales de Santa María y Tucumán. Una vez que contó con el acuerdo y disposición de las artesanas del Taller Armonía para la compra del hilo que pudieran elaborar, comenzó a buscar a otras mujeres para iniciar la actividad. En Septiembre de 2002 reunió a las primeras mujeres en la vecina localidad de Lampacito, con quienes mantuvo varias reuniones iniciales para comentar la idea y organizar los primeros pasos de la acción.

Con el aporte inicial de lo que cada hiladora pudo sumar, e instalándose en un pequeño salón prestado, el taller entró en funcionamiento a finales del año 2002 con sólo un par de ruecas prestadas, debiendo sentarse las hiladoras sobre ladrillos apilados para realizar el trabajo. Al poco tiempo, se vieron obligadas a mudarse a unas habitaciones de adobe que consiguieron prestadas en un terreno abandonado sobre la ruta que viene de Santa María hacia Lampacito. Uno de los apoyos iniciales clave recibido por el grupo fue el de un programa de desarrollo rural vigente esos años, el PSA-PROINDER.  Tanto de parte de los técnicos como así también de algunas de las integrantes del grupo, existían dudas sobre la viabilidad de un emprendimiento que comenzaba con tan escasos recursos. Al respecto, Margarita recordaba esos momentos de la siguiente forma:

Los técnicos estaban dudosos de hacer el proyecto para el PSA,
y no sabían si hacerlo o no hacerlo. Decían que sólo se apoyaban
proyectos de agricultura, otros proyectos no. Entonces yo dije
“–Empecemos ya”!, y una de las chicas dice –“Pero si no tenemos
nada!” Y otra dijo “–Yo tengo cinco kilos de lana de oveja”. Y otra
dijo “–Y yo tengo cinco pesos para comprar más.” Y la tercera dice “Y
yo tengo un huso para hilar… vos Margarita buscá dónde podemos
trabajar”…

Con  la donación de un monto de dinero de un particular italiano vinculado al Movimiento Focolar, las mujeres pudieron adquirir el terreno donde estaban trabajando. A mediados de 2005 el grupo recibió el financiamiento de un proyecto presentado al PSA-PROINDER destinado a construir el salón para el taller de hilado y sus instalaciones (sala de venta, depósito para materia prima, baño, etc.). Para el pago de la mano de obra se contó con aportes de la Escuela Aurora, de las socias, y de la ONG española Achalay. El municipio local y algunas otras oficinas públicas  (como Vialidad Provincial) facilitaron maquinarias, herramientas y mano de obra en distintas instancias de la construcción del local. En Marzo de 2007 el Tinku Kamayú realizó la fiesta de inauguración del salón de hilandería, contando con la presencia de vecinos, autoridades municipales y representantes de las instituciones de apoyo.

Pude conocer de cerca la experiencia del Tinku Kamayú un tiempo antes de la inauguración de su local, cuando las luchas cotidianas eran muchas, los  diálogos siempre necesarios, y la mirada hacia el futuro un sostén. Su historia y su presente me impactaron, y con un colega escribimos un capítulo de un libro para profundizar en la trayectoria que como personas y como organización habían recorrido. Analizamos  la capacidad creativa del grupo de mujeres del Tinku Kamayú, eje estructurador de su particular forma de desarrollo alternativo. Resultaba claro que la dimensión económica de la experiencia había sido clave en el contexto de pobreza del surgimiento del grupo, guiando en gran medida decisiones vitales de las participantes. Sin embargo, un lugar relevante tuvo también la exitosa y creativa articulación de la dimensión económica-productiva con la dimensión espiritual-afectiva de las mujeres participantes en el Tinku Kamayú. Ellas encontraban  en su participación en el grupo múltiples satisfactores a necesidades distintas y cambiantes en el tiempo.

Luego, he sido testigo cómo otros colegas también se han interesado y apoyado esta experiencia, desde documentales hasta noticias; y he seguido sus novedades y fotografías en el barrio Facebook.

Vaya para ellas entonces, las amigas del Tinku Kamayú,  mi deseo que su fortaleza siga siendo tan contagiosa para tantos de nosotros, que su espíritu nos siga transmitiendo esperanza, y que sus esfuerzos sean -como hasta ahora- semillas y frutos de desarrollo. 

(si te llega esta entrada por email, deberás entrar al post para ver el video)

Quedan abiertos los comentarios para hacer llegar también nuestro deseo a algún conocido, cuya historia y trayectoria pueda servirnos también de inspiración para el año nuevo que se nos aproxima… 

Viernes light: África mía

La educación formal poco y nada me enseñó de África. Años y años de estudiar ciudades  e historia de Europa, así como algunas generalidades de América Latina, dejaron en la nebulosa la realidad del continente negro.  Luego, apenas llegado a la Universidad de Sussex para mis estudios de posgrado, me sentí obligado a comprar un gran mapamundi a fin de ubicar con certeza los países de mis nuevos amigos y compañeros africanos.

De algo sirvió, pero parece que ya (¿ya?) ni en los mapas se puede confiar…  El trabajo de Kai Krause ayuda a dimensionar el verdadero tamaño del continente, incluyendo en su interior a  varios pesos pesados.

Vinculado a la distorsión del tamaño, encontramos la distorsión de las noticias. Para ello bastaría preguntar qué es lo primero que   viene a la mente como imagen, como palabra, como sensación, al pensar en África. Hace diez años atrás, la influyente publicación The Economist publicó esta portada: El continente sin esperanza.  Y lo que la publicación veía y diagnosticaba, era y continuó siendo para muchos la única verdad sobre África.-

Pero hay nuevas visiones.  Para el mismo The Economist ahora África es el continente esperanzado, con una imagen diferente.  El The New Yorker acaba de publicar las 10 noticias más importantes de África del 2011, artículo que  vale la pena leer completo para dimensionar el alcance de los cambios en camino.

Entre ellos, rescato las siguientes:

  • África está experimentando un boom económico
  • Dos mujeres de Liberia ganaron el premio Nóbel de la Paz
  • Los teléfonos celulares siguen cambiando la vida de millones de africanos
  • Botswana se posiciona como lider mundial en el combate a la corrupción
  • (Algunos) progresos se vislumbran en Somalía -sin olvidar lo terrible de la situación
Para cerrar este Viernes Light con una voz africana,  los invito a ver esta breve exposición de la novelista Chimamanda Adichie, quien reflexiona sobre los riesgos de una sola historia para comprender y entender tantas cosas (debajo del video están las opciones para subtitularlo en Spanish y otras lenguas).
Valga el énfasis: es muy recomendable!

Desde Busán y más allá: escenarios para la evaluación // From Busan and beyond: evaluation scenarios

(English version below)

Ésta es la última entrada dedicada explícitamente a la Conferencia de Busán, luego de haber pensado sobre las campañas e iniciativas previas a la conferencia,  los interrogantes iniciales para el mundo de la evaluación, la experiencia in-situ de dos estimadas evaluadoras, y la detallada reflexión y desafíos que nos compartiera Daniel Svoboda.  Ha sido posible seguir el desarrollo de la conferencia al instante mediante Twitter (aportes que continúan al día de hoy) y varios blogs (algunos de los más interesantes para mí fueron éste, éste y éste más).

Una de las ideas más desafiantes que he leído en distintos sitios tiene que ver con lo valioso de entender a Busán  no como el punto final de un proceso, sino más bien como el inicio de uno.  Esta es una visión clave para ir más allá del papel y de declaraciones. Un ejercicio interesante de lo que las palabras dicen fue hecha en el blog Aidnograhpy, incorporando la declaración final de Busán en Wordle, y alcanzando el siguiente resultado:

Vemos que el vocablo Ayuda (Aid) ha dejado su lugar a Desarrollo (Development), y el lugar de la cooperación Sur-Sur también ha ganado preponderancia. El post repite el ejercicio luego con cada una de las secciones de la declaración de Busán, favoreciendo a la vez una visión más matizada. De todos modos, para marcar ciertos énfasis y acentos, la mirada general es interesante también.  Más interesante aún resulta la reflexión en el mismo post sobre las palabras plásticas, a tono con el escéptico mensaje que me dejó un colega en Twitter:

Lo que en buen castizo sería: Gracias por las actualizaciones sobre Busán! La efectividad de la ayuda es un chiste…  La  declaración de París? Olvídala

Visiones alternativas son ofrecidas en los últimos aportes que para este blog hicieron llegar las dos evaluadoras antes invitadas.  Gloria Vela, presente en la Conferencia,  sumaba lo siguiente:

En términos generales hay satisfacción de las OSC porque se ha venido posicionando el términos COOPERACIÓN en lugar de ayuda aún entre los gobiernos, se mantiene el reconocimiento de las OSC como pares y se acogen los principios de Estambul y el marco de referencia de las OSC y se recoge la importancia de los derechos de las mujeres, pero también hay algunas preocupaciones, entre ellas, para mi personalmente, es preocupante que al reconocer el rol del sector privado, y las empresas en particular, en la cooperación y el desarrollo, se está hablando de la necesidad de generar para ellas un “ambiente habilitante” y la consideración de ese ambiente habilitante o propicio para las OSC queda bastante perdido!

También regresando de Busán, y pensando en el mundo de la evaluación, Oumoul Ba Tall hizo llegar su opinión:

Deseo asegurarles muy rápidamente que la evaluación estuvo muy presente en Busán, y estará en todas partes después de Busán. Para nuestra audiencia de evaluadores, me gustaría decir  sólo porque la evaluación no esté en la redacción significa que no está allí. La evaluación no sólo estuvo presente en la fase anterior a la Conferencia, sino que  preveo que ella será predominante después de Busán en tres niveles:

En primer término y para la fase anterior, es interesante observar las lecciones aprendidas de la evaluación de la Declaración de París. Los evaluadores deberían cuestionarse cuál fue realmente el propósito de la evaluación si las deficiencias de los compromisos anteriores no son en realidad asumidos  por el siguiente paso, que es la Declaración Final de Busán.  Tal como  la sociedad civil con razón reclamaba acerca de  los “asuntos pendientes” con la Declaración de París y la Agenda de Acción de Accra.

Después de Busán, preveo a la Evaluación siendo predominante en tres niveles:

1. El Documento Final de Busan (DBO) (o con el nombre oficial que sea elegido para reemplazar a la Declaración de París (DP) y al Programa de Acción de Accra (AAA) ) presenta un cierto número de principios básicos y orientaciones estratégicas, pero no hay ningún compromiso vinculante, según tengo entendido. Compromisos vinculantes y  planes operativos de acción tendrán que ser decididos a nivel nacional, algo así como un “pacto” que se diseñó sobre la base de acuerdos entre los socios de desarrollo que participan en el ámbito nacional. Por lo tanto, los planes de seguimiento y evaluación tendrán que ser establecidos a nivel nacional, y un marco global tendría que ser establecido con el fin de evaluar la DBO también. Esta dualidad conlleva algunos desafío metodológico a la hora de evaluar la DBO en comparación con la DP, que los evaluadores podrían reflexionar en ello a partir de ahora.

2. A nivel de país, si la decisión de utilizar los sistemas nacionales se aplica como insiste en hacerlo la  DBO, esto debe incluir sistemas de evaluación que son casi inexistentes en la mayoría de los países receptores. Estos sistemas tienen que ser construidos (incluyendo no sólo las instituciones, sino también la capacidad de los evaluadores nacionales) y veo ahí  un papel importante para la comunidad de Evaluación.

3. La referencia a la “responsabilidad mutua” también implica la evaluación de muchas maneras. La que a mí me gustaría destacar es la nueva idea de la rendición de cuentas a los ciudadanos de los países receptores, no sólo a nivel de “Gobierno a Gobierno” , lo que también demanda un amplio programa de sensibilización por la  Evaluación y la cultura de la Evaluación.  Los ciudadanos deben ser capaces de utilizar la evaluación para pedir rendición de cuenta a sus gobiernos, lo que significa contar con  las herramientas y métodos apropiados, así como  el entorno adecuado.

Escenarios para imaginar, construir y trabajar…

^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

ENGLISH VERSION!
This is the last post devoted explicitly to the  Busan Conference, after having thought about campaigns and initiatives prior to the conference, some initial questions to the world of evaluation, the in-situ experience of two close evaluators, and the detailed reflection and challenges  that Daniel Svoboda share with us. It was possible tofollow the progress of the conference instantly via Twitter (something still possible these days) and several blogs (some of the most interesting for me were  this, this and this).

One of the challenging ideas that I read in several places had to do with understanding the value of Busan not as the end point of a process, but rather as the beginning of one. This is a key insight to go beyond paper and declarations. An interesting exercise in what the words say was made ​​in the blog Aidnograhpy, incorporating the final declaration of Busan in Wordle, and reaching  the following result:

We see that Aid has been changed to Development , and the place of South-South cooperation has also gained prominence. The post then repeats the exercise with each of the sections of the Busan Declaration, favoring a more nuanced view. Anyway, to make certain emphases and accents, the overall look is interesting too. Even more interesting is the reflection in the same post about the plastic words, which is somehow linked with the skeptical message a colleague left me on Twitter:

Alternatives views were shared by the two evaluators previously invited to this blog.  Gloria Vela, present at the Conference, added that:

In general terms there is a sense of satisfaction by  the Civil Society Organizations (CSOs),  because it has been increasingly used the term cooperation instead of aid, even among governments; the recognition of CSOs as peers is mantained, and  the Istanbul principles, the framework of CSOs, and  the importance of women’s rights, all have been very welcomed. But there are some concerns, including for myself: it is worrying that by recognizing the role of the private sector, and companies in particular, in cooperation and development,we are talking about the need to create for them an “environment enabling “and the consideration of this enabling or conducive environment for the  CSOs is quite lost!

Also returning from Busan, and thinking for the world of evaluation, Oumoul Ba Tall sent her opinion:

I wish to assure you very quickly that Evaluation was very present at Busan, and will be everywhere post-Busan. I will be very short as I am still exhausted after almost 30 hours of travel and just one day of sleep….and as promissed, I will send more shortly. But for now, and for our Evaluation audience, I just would like to say, that it’s not only because Evaluation is not in the wording that it is not there. Not only was Evaluation present in the previous phase, but I foresee Evaluation to be predominant after Busan at three levels:
At first, for the previous phase, it is interesting to look at the lessons learned from the Evaluation of the PD. Evaluators should question what really was the purpose of the evaluation if the shortcomings of the the previous commitments are not really adressed by the next step, which is the BOD. As the CSOs were rightly claiming, the “unfinished business” with the PD and AAA are not resolved.

Post Busan, I foresee Evaluation to be predominant at three levels:

1. The Busan Outcome Document (BOD) or whatever official name will be chosen to replace the Paris Declaration (PD) and the Accra Agenda for Action (AAA) lays out a certain number of basic principles and strategic orientations, but there is no binding commitment yet as I understand. Binding commitments and operational action plans  will have to be decided at the country level, something like a “compact” to be designed based on agreements between development partners involved at the country level. Therefore, Monitoring and Evaluation plans will have to be set at the national level, and a global framework would have to be set in order to assess the BOD as well. This duality brings in some methodological challenge when it comes to evaluate the BOD as compared to the PD, that Evaluators could reflect on from now.

2. At the country level, if the decision to use country systems is enforced as the BOD calls for, this should include evaluation systems which are almost inexistent in most recipient countries. Such systems will have to be built (including not only the institutions, but also the capacity of national evaluators) and I see a major role for the Evaluation community.

3. The reference to “mutual accountability” also involves evaluation in many ways. The one that I would like to highlight is the new idea of accountability to the citizens of recipient countries, not only “the Government-to-Government” level, which also calls for a wide agenda of Evaluation Awareness and Evaluation Culture. citizens need to be able to use Evaluation to held their governments accountable, which means appropriate tools and methods, and the right environment. 

Scenarios to imagine, build and work…

Entonces, ¿qué nos trae Busán? // So, what the Busan brings?

(English version below)

La semana pasada tuvimos el aporte de dos evaluadoras, comentando sus impresiones sobre el desarrollo de la Conferencia de Busán, de la cual ya contamos con su declaración final (en Francés e Inglés).

En el intercambio epistolar de esos días sumamos también a Daniel Svoboda, presidente de la Asociación Civil  Development Worldwide (República Checa), y vice-presidente de IDEAS (International Development Evaluation Association), a quien conocí tiempo atrás a partir de su intensa participación en el grupo de discusión sobre la declaración de París.  Daniel ha tenido la amabilidad de dedicar buena parte de su viaje de regreso desde Busán a elaborar algunas reflexiones y preguntas, con un foco claro en el mundo de la evaluación, las cuales nos comparte ahora aquí. Atención que sobre el final de su escrito presenta acciones importantes y desafiantes para encarar…

Gracias Daniel!

Entonces, ¿qué nos trae Busán?

Esa es la pregunta clave de evaluación, fácil e inteligente. Por desgracia, mi respuesta será un poco más larga y traerá probablemente más preguntas que una respuesta fácil e inteligente.

A pesar de que la declaración aprobada se llama Documento Final de Busán, el “papel” (cualquier papel) en sí mismo no puede ser un resultado. Sin embargo, puede ser un buen indicador de éxito – el indicador de un consenso global. Sólo el futuro mostrará si este consenso (o compromiso) puede realmente marcar una diferencia – mejorar el entendimiento mutuo, el comportamiento y las prácticas.

Desde mi punto de vista, el mensaje más importante de Busán es la promesa de modificar el pensamiento desde el enfoque de la efectividad de la Ayuda (la entrega –delivery- de ayuda) a la apuesta por la efectividad del Desarrollo, lo que significa centrarse en verdaderos beneficios sostenibles para los grupos objetivo – para las personas (en la redacción de Busán “resultados sostenibles y transparentes para todos los ciudadanos”, § 6).

El conjunto de los párrafos de la Declaración de Busán sólo describen algunos requisitos y supuestos para la aplicación real de los compromisos, así como para alcanzar una visión común de un mundo mejor anhelado por las pesonas (por cierto, la visión no se comunica con claridad en la declaración).

En mi opinión, hay al menos tres supuestos críticos para alcanzar  éxito alguno:

1) Verdadera alianza entre todos los actores del desarrollo: muchos de estos actores se mencionan explícitamente en la Declaración de Busán (los donantes tradicionales y emergentes, los Estados frágiles, todos los gobiernos, las OSC – las organizaciones de la sociedad civil, incluidos los sindicatos, los parlamentos, y el sector privado). Esta alianza y los actores clave son mencionados en los apartados § 1, § 11, § 13, § 17, § 21, § 22, § 29, § 32, y 36 §.

2) Apropiación democrática y enfoques basados en los derechos presentes en la legislación y la práctica (la verdadera aplicación de la ley y la práctica no se menciona en el documento de Busán), junto con colocar en el centro de todas las acciones y las políticas (no sólo el desarrollo) a las necesidades del país y de las personas y sus derechos fundamentales. La apropiación democrática y los enfoques basados en derechos son sólo parcialmente mencionados en los apartados § 3, § 11, § 12, § 20, § 22, § 28, y § 30, pero las promesas reales son casi invisibles en el documento.

3) Compromisos genuinos en incrementar la efectividad del desarrollo cumplidas por todos los actores, como la defendida por las OSC en sus Principios de Estambul y en el Consenso de Siem Reap en el marco Internacional para la Efectividad del Desarrollo de las OSC (www.cso-effectiveness.org).

Otros supuestos, herramientas y condiciones para un entorno favorable incluyen, entre otros:

• el uso y el fortalecimiento de los sistemas nacionales (§ 18, § 19, § 25, § 26, § 29),

• mejora de la transparencia (§ 11, § 18, § 23, § 26, § 33 y § 34),

• el fortalecimiento de la responsabilidad mutua (§ 11, § 20, § 21, § 22, § 23, § 25, § 29, § 35, y 36 §),

• mejorar la previsibilidad (§ 24, § 26, y § 3),

• y compromisos para acelerar los esfuerzos para desatar la ayuda (sólo § 18).

No todos los aspectos necesarios están suficientemente expuestos en la Declaración de Busán. Por ejemplo, las normas mínimas de un entorno propicio para las OSC están totalmente ausente (§ 22), mientras que hay algunos compromisos concretos para mejorar el ambiente para el sector privado (§ 32).Esta es una brecha importante sobre todo a la luz de la rendición de cuentas pedida y demostrada por las OSC (Principios de Estambul reconocido en el § 22b, y apreciada entre otros por Hillary Clinton en la ceremonia de apertura de la conferencia), mientras que no hay compromisos de desarrollo necesario de parte del sector privado …

Además, la Declaración de Busán no presenta indicadores concretos y con plazos acotados, ni mecanismos de monitoreo y evaluación (M & E), así como tampoco sistemas de rendición de cuentas para el seguimiento y la valoración del cambio que vendrá después de Busán.

De todos modos, la Declaración de Busán es definitivamente un paso en la dirección correcta. Pero sólo en caso de que todos nosotros en forma conjunta nos basemos en el consenso de Busán y trabajemos duro para alcanzar sus resultados e impactos.

¿Qué puede hacer la comunidad de evaluadores para facilitar el cambio?

• En primer lugar, me gustaría saber lo que otros evaluadores consideran como los mensajes clave de Busán (estos pueden ser diferentes de los identificados por mí más arriba). Para llegar a resultados, es realmente muy importante conocer la teoría del cambio de Busán, para identificar los resultados (outcomes) y las relaciones de causa-efecto.

• En segundo lugar, me gustaría pedirles ayuda en la identificación de algunos indicadores más apropiados de seguimiento y evaluación (enfocados en resultados y en procesos), de preguntas de evaluación, y de métodos de evaluación más relacionados con los compromisos de Busán.

• En tercer lugar, y en una perspectiva de mediano plazo, todos podríamos reconsiderar (realizando una prueba de forma voluntaria) si y en qué medida los programas actuales, los compromisos y las evaluaciones corresponden o no corresponden a la óptica de Busán de la efectividad del desarrollo. Y por qué.

• Y, por último, en una perspectiva a largo plazo, apliquemos en nuestras propias evaluaciones los principios de la “Alianza Mundial para el Desarrollo” (denominación que es más apropiada para este proceso que el título oficial de ” Alianza de Busán para la Cooperación Efectiva al Desarrollo”). Esto significa sólo contestar una pregunta sencilla: “¿Qué diferencia está brindando nuestro trabajo con el fin de promover cambios positivos y sostenibles en la vida de las personas?”

¡Podemos y debemos hacerlo!  Este es otro mensaje importante de Busán, expresado por la reina Rania de Jordania durante la ceremonia de apertura.

Tareas concretas:

Con el fin de influir en el proceso post-Busán y sus resultados, debemos tomar la iniciativa en diseñarlo en un plazo de tres meses a más tardar. Un sistema viable de Seguimiento y Evaluación debe ser lanzado hasta fines de junio de 2012, de lo contrario la prometedora Alianza de Busán se convertirá en otra proclama vacía, sin un impacto real.

Recapitulo mis cuatro preguntas:

1. En tu opinión, ¿cuál es la teoría del cambio del proceso de Busán?

2. ¿Cuáles pueden ser los resultados y los indicadores de proceso más adecuados (además de las preguntas de evaluación y los métodos)?

3. ¿Cuáles son las diferencias clave en las prácticas de desarrollo actual?

4. ¿Qué debe hacer diferente el trabajo de evaluación para promover cambios positivos sostenibles en la vida de las personas?

Me encantará recibir sus respuestas, comentarios o contribuciones en svoboda@dww.cz, o a través del blog de Pablo (http://wp.me/p1MUJz-7k) o a través de la lista de distribución IDEAS.

Daniel Svoboda

&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&

ENGLISH VERSION

Last week we had the opinions of two evaluators, discussing their views on the development of the Busan Conference, which already has is final declaration.

In the email exchange of those days we also joined Daniel Svoboda, president of Worldwide Development, a Civil Association in Czech Republic, and vice-president of IDEAS (International Development Evaluation Association). I met Daniel some time ago, when he had an intense involvement in a discussion group on the Paris Declaration. Daniel has been kind enough to devote much of his return trip from Busan to develop some thoughts and questions with a clear focus on the world of evaluation in order to share with us here. Be aware that at the end of his paper he presents important and challenging actions to address.

Thanks Daniel!

So what the Busan brings?

It is the key evaluation question, easy and smart. Unfortunately, my response will be a bit longer and it will bring probably more questions than an easy and smart answer.

Although the endorsed declaration is called Busan Outcome Document, the “paper” (any paper) itself cannot be an outcome. Nevertheless, it can be a good indicator of success – indicator of a global consensus. Only the future will now show whether this consensus (or compromise) can really make a difference – improve mutual understanding, behavior and practices.

From my point of view, the most important message from Busan is a promise to shift thinking from the focus on aid effectiveness (aid delivery) to the focus on development effectiveness, it means focus on real sustainable benefits for the target groups – for the people (in Busan wording “sustainable and transparent results for all citizens”, §6).

All individual paragraphs in the Busan declaration then only describe some preconditions and assumptions for true application of the commitments and for reaching a common vision of the better world the people want (by the way, the vision is not clearly communicated in the declaration).

In my opinion, there are at least three critical assumptions for having any success:

1) True partnership among all development actors, many of these actors are mentioned explicitly in the Busan declaration (traditional and emerging donors, fragile states, all governments, CSOs – civil society organizations including trade unions, parliaments, and the private sector). The partnership and the key actors are mentioned in §1, §11, §13, §17, §21, §22, §29, §32, and §36.

2) Democratic ownership and right-based approaches in law and practice (true application in law and practice is not mentioned in the Busan document), with country needs and people and their fundamental rights at a center of all (not only development) policies and actions. Democratic ownership and right-based approaches are only partially mentioned in §3, §11, §12, §20, §22, §28, and §30, but the real promises are almost invisible in the document.

3) Genuine commitments on increasing development effectiveness fulfilled by all actors, as championed by the CSOs in their Istanbul Principles and in the Siem Reap Consensus on the International Framework for CSO Development
Other assumptions, tools and conditions for enabling environment include, among others:Effectiveness (www.cso-effectiveness.org).

• using and strengthening country systems (§18, §19, §25, §26, §29),

• enhancing transparency (§11, §18, §23, §26, §33, and §34),

• strengthening mutual accountability (§11, §20, §21, §22, §23, §25, §29, §35, and §36),

• improving predictability (§24, §26, and §3),

• and promises to accelerate efforts to untie aid (only §18).

Not all necessary aspects are sufficiently described in the Busan declaration. For example, the minimum standards on enabling environment for CSOs are totally missing (§22), while there are some concrete commitments to improve environment for the private sector (§32). This is a significant gap especially in the light of accountability asked from and demonstrated by CSOs (Istanbul Principles recognized in §22b, and among others appreciated by Hillary Clinton in the Busan opening ceremony) while there are no development commitments required from the private sector…In addition, the Busan declaration misses concrete and time-bound indicators, monitoring & evaluation (M&E) mechanisms and accountability systems for tracking and assessing the change to come after Busan.Anyhow, Busan declaration is definitely a step in the right direction. But only in case all of us will jointly build on the Busan consensus and work hard towards its outcomes and impacts.

What the evaluation community can do to facilitate the change?

• First of all, I would like to know what other evaluators consider for the key messages from Busan (these might be different from these identified by myself above). For getting to results, it is really important to recognize the Busan’s theory of change, to identify the outcomes and cause-effect relations.

• Secondly, I would like to ask you to assist in identification of a few most appropriate (outcome and process focused) M&E indicators, evaluation questions and evaluation methods best related to the Busan commitments.

• Thirdly, in mid-term perspective, we all might reconsider (carry out a voluntarily test) whether and to what extent the current programs, commitments and evaluations correspond or do not correspond to the Busan optics of development effectiveness. And why.

• And finally, in the long-term perspective, let us apply the principles of the “Global Partnership for Development” (which is more appropriate appellation of the process than the official title “Busan Partnership for Effective Development Cooperation”) on our own evaluations. It means a just answering of an easy question: “What difference is our work bringing in order to promote sustainable positive changes in lives of people?”

We can and we must! This is another important message from Busan, expressed by the Jordan´s Queen Rania during the Opening Ceremony.

Concrete tasks:

In order to influence the post-Busan process and its results, we must take the lead in designing the process within next three months at the latest. A viable M&E system must be introduced until the end of June 2012 otherwise the promising Busan Partnership will become another empty proclamation with no real impact.

I recap my four questions:

1. In your opinion, what is the theory of change of the Busan process?

2. What can be the most appropriate outcome and process indicators (plus  evaluation questions and methods)?

3. What are the key gaps in the current development practices?

4. What difference is evaluation work to bring to promote sustainable positive changes in lives of people?

I will be pleased to receive any your response, comment or contribution on svoboda@dww.cz , or through Pablo´s blog (http://wp.me/p1MUJz-7k) or through the IDEAS listserve.

Daniel Svoboda