Developmental Evaluation: una breve introducción

En diversos ámbitos de las intervenciones de desarrollo ha venido teniendo mucha fuerza el trabajo sobre la noción de «mejores prácticas». La misma refiere a determinadas iniciativas (proyectos, programas) que son identificadas como valiosas,  positivas, y dignas de ser replicadas.  De ese modo, dichas prácticas son rápidamente convertidas  en estándares, con la expectativa de alcanzar cierta escala e ir más allá de la “práctica” inicial.

Esto presenta diversos problemas, entre los cuales encontramos claramente que los estándares (como tales) tienden a desprenderse de su contexto de origen, y pasan a ser entendidos como cuasi-universales, vale decir, aplicables en todo ámbito y tiempo, por distante que sea con aquel que le dio origen.  Además de implicar que efectivamente sabemos cuál es la mejor manera de hacer las cosas, y de incluso desalentarnos a buscar otras maneras de hacerla, un punto crítico apunta a la complejidad: no siempre sabemos porqué algo funciona, aunque lo haga exitosamente.

 Ya comentamos anteriormente cómo la ciencia de la complejidad  puede aportar valiosos insumos y perspectivas enriquecedoras para entender el enmarañado proceso de cambio social y del desarrollo. La perspectiva de la complejidad facilita superar la visión de considerar a la pobreza, la vulnerabilidad, y la enfermedad como rompecabezas, y a las organizaciones de desarrollo como las piezas que faltan para completarlo. Esto, además de dar a las intervenciones externas una mayor importancia de la que tienen, distorsiona la naturaleza de los problemas que enfrentamos, presentando de manera simple el flujo del desarrollo. En lugar de abordar e involucrarnos con la complejidad, la misma es descartada o relegada a un lugar marginal, lo que es facilitado por las herramientas y técnicas que muchas veces usamos. El punto clave es que tratamos a las cosas complejas como si fueran simplemente complicadas.

Ante esto, recientemente han ido surgiendo enfoques y métodos de evaluación orientados a reconocer el carácter complejo de distintos contextos de implementación de programas y políticas. Entre ellos me parece que tres aportes infaltables son los siguientes: Purposeful Program Theory , de Sue Funnell y Patricia Rogers,  Systems Concepts in Action, de Bob Williams y Richard Hummelbruner, y Developmental Evaluation, de Michael Quinn Patton.

El enfoque de Patton (quien aquí comentó sobre tendencias actuales de la evaluación) está explícitamente orientado a articularse y apoyar procesos de desarrollo emergentes, innovadores y transformacionales. De algún modo, procura atender a la necesidad de evaluar un programa mientras el mismo se está desarrollando, en el sentido de que se está generando y configurando en su mismo desarrollo. Entonces, en ese contexto, aparece la necesidad de adecuar el enfoque de evaluación, respondiendo a diversas demandas: dar cuenta hacia los administradores y/o financiadores de resultados e impactos que se hubieran predeterminados, a la vez que requiere generar aprendizajes y lecciones de la experiencia en curso.  ¿Qué sugiere Patton que se puede hacer? Algo de lo siguiente:

  • Documentar los principios que impulsan el programa,  y utilizarlos  para organizar la puesta en acto en otros escenarios donde se va a desenvolver.
  • Identificar los factores que dan cuenta de que determinada área está lista para ejecutar el programa.
  • Compartir las lecciones aprendidas con los actores o interesados principales (los stakeholders)  en áreas de implementación posibles.

El punto es que la Developmental Evaluation no es solamente difícil de traducir (¿evaluación en desarrollo?), sino que es problemática en cuanto atiende a un conjunto complejo de condiciones y resultados que, en gran medida, desafían la ortodoxia en investigación y evaluación.  Patton es muy conocido por diversos aportes, entre los cuales resalta su proceso de evaluación focalizada en la utilización.  En este nuevo giro de tuerca, Patton hace uso de conceptos del paradigma de la complejidad para dar cuenta de situaciones de dinamismo y novedad, incertidumbre y construcción en proceso.  Y si bien en aquel enfoque brindó una guía o serie de pasos a seguir, estos ahora no están tan claramente estipulados. Justamente, no podría haber una «receta» para una metodología orientada a abordar la complejidad, con atención a la emergencia de nuevos patrones,  la tarea de darles sentido  para entenderlos en el contexto de su aparición, así como a rescatar al contexto de generación de los descubrimientos. Estos elementos caracterizan y distinguen a la Developmental Evaluation de otros enfoques de investigación y evaluación.

Valgan estas pocas líneas para una primera aproximación a este enfoque. La presentación in-extenso de Developmental Evaluation puede estudiarse en el libro homónimo. Y si quieren ver y escuchar un par de presentaciones del mismo Patton dando cuenta del enfoque y su articulación con los contextos de complejidad, pueden visitar My M&E y tendrán acceso a la grabación de dos video-conferencias y sus respectivas presentaciones:  la primera de ellas es (justamente) sobre la Developmental Evaluation, mientras que la segunda apunta a  How to evaluate interventions in complex dynamic environments.

Una inquietud final que me surge, la cual seguramente valdría la pena explorar, es cuáles son los puntos de contacto y distancia entre el enfoque de Patton y los aportes que el movimiento de la sistematización ha realizado en América Latina? Quizás algun@ de los amig@s del grupo Sistematización y Evaluación pueda darnos algunas pistas en los comentarios…

 

ACTUALIZACION:

Michael Q. Patton tuvo la gentileza de leer este post, y me envió la siguiente comunicación:

Pablo,
 
Thank you for sharing your posting.  I had a colleague translate it for me over the phone.  Very impressive and useful.
 
Mucho gracias,
 
Michael
Michael Quinn Patton
Utilization-Focused Evaluation
Saint Paul, MN

Viernes light: creatividad y perseverancia

Ira Glass es… cómo definirlo? locutor de radio, panelista, escritor, pero fundamentalmente… un creativo.  Tiene en su haber una variedad enorme de obras y producciones, entre las que se destaca This American Life, programa que desde hace más de 15 años ha ganado diversos premios y llegado a  millones de personas con… historias.

Las posibilidades y potencialidades de las historias para el trabajo en desarrollo y evaluación merece sin dudas varias entradas (a futuro) en este blog. Hoy como es Viernes y es light, quiero compartirles un extracto de una entrevista que concedió hace tiempo, y que apunta justamente a las dificultades de iniciarse en el proceso creativo.

Si bien Ira habla de la creación de historias, fácilmente podemos adaptarlo a la faceta creativa con que anhelamos pintar nuestro trabajo.  A mí me pareció muy inspirador…

Debajo encontrarán el video donde la voz del autor de este bello texto es  muy creativamente presentada…

============================================

El Secreto del Éxito en el Trabajo Creativo (Ira Glass)

Nadie suele decirle esto a los que comienzan. Desearía que alguien me lo hubiera dicho a mí.

Todos aquellos que hacemos algún tipo de trabajo creativo, nos metemos en esto porque tenemos buen gusto.

Pero existe un vacío...

Durante el primer par de años que estás haciendo tu trabajo, las cosas que haces resultan no ser tan buenas, sí?. Intentan   ser buenas, tiene potencial, pero no lo son…

Pero tu gusto, …aquello que en un principio te llevó a entrar en este juego, sigue siendo buenísimo!

 Y justamente,
porque tienes buen gusto,
tu trabajo te decepciona en estos momentos… Sabés lo que digo, no?

Mucha gente nunca supera esta fase; y abandona.

Y lo que quisiera decirte hoy con todo mi corazón, es que la mayoría de la gente que conozco que hoy hace un trabajo interesante y creativo, estuvo durante años en esta fase donde sabemos que nuestro trabajo no tiene ese algo especial que queremos que tenga.

Todos pasamos por eso. Tanto si acabas de entrar en esta fase como si llevas tiempo en ella, debes saber que es normal, y que lo más importante que puedes hacer es trabajar mucho. Realizar un VOLUMEN CONSIDERABLE de trabajo

Ponte fechas límite, de manera que semanalmente, mensualmente, terminarás una historia.  Solamente habiendo hecho un VOLUMEN CONSIDERABLE de trabajo conseguirás cerrar esta fase, y llegará a ser tan bueno como tus ambiciones.

En mi caso, he tardado en darme cuenta de esto mucho más que toda la gente que conozco.

Se necesita tiempo. Es normal que tarde un tiempo.

Simplemente,
—————–lucha
————————por
—————————–abrirte
————————————–camino…


(si recibes este mensaje por email o RSS, quizás debas ir a la página del blog para ver el video)

Viernes Light: Carta de un esclavo a su antiguo amo

Leía hace poco un duro y clarísimo post sobre la esclavitud en nuestros días, publicado en el siempre recomendable blog 3500 Millones, al cual tod@s los interesados en temas de desarrollo deberían estar suscriptos (es muy fácil hacerlo aquí vía Facebook).

La lectura me hizo recordar una situación de hace unos 140 años atrás, fantásticamente ilustrada en una carta maravillosa que pude reconstruir desde distintos sitios.  La misma  fue escrita en 1865 por un ex-esclavo llamado Jourdon Anderson en respuesta a su antiguo dueño, el Coronel P.H.Anderson, quien lo invitaba a regresar a su servicio -esta vez en condiciones de libertad-.

La carta no tiene desperdicio, y da pie para reflexionar mucho sobre el pasado y -urgentemente- sobre el presente.

–
Para mi antiguo amo, Coronel P.H.Anderson:

Recibí su carta, y me alegro al ver que no se ha olvidado de Jourdon, y que quería que yo regresara a vivir con usted otra vez, con la promesa de hacer lo mejor para mí como nadie más puede hacerlo.

Muchas veces me he sentido inquieto acerca de usted. Pensé que los Yankees le habían colgado hace tiempo por albergar a los rebeldes que encontraron en su casa. Supongo que nunca habrán oído hablar de cuando usted fue a lo del coronel Martin a matar al soldado de la Unión que fue abandonado por su compañía en su establo. A pesar de que usted me disparó dos veces antes de que yo me fuera, yo no quería oír que usted había sido herido, y me alegro de que esté con vida.

Me haría bien volver a la antigua y querida casa de nuevo y ver a la señoritas Marta y María, así como a las señoritas Allen, Esther, Green y Lee. Cariños a todos ellas, y le ruego decirles que espero que nos encontraremos en un mundo mejor, si no es en éste. Hubiera ido a verlos a todos cuando estaba trabajando en el Hospital de Nashville, pero uno de los vecinos me dijo que Henry tenía intención de pegarme un tiro si alguna vez tuviera la oportunidad.

Me interesa especialmente saber cuál es su oferta. Me va razonablemente bien aquí: gano 25 dólares al mes, con provisiones y comida; tengo un hogar cómodo para Mandy (la gente le llama Señora Anderson) y los niños, Milly, Jane y Grundy, van a la escuela y aprenden mucho; el profesor dice que Grundy tiene cabeza para ser predicador. Van a la escuela dominical, y Mandy y yo vamos a la iglesia con regularidad. Nos tratan amablemente por aquí. A veces oímos a otros decir: «Esa gente de color era esclava en Tennessee». Los niños se sienten heridos cuando lo oyen, pero yo les digo que no era ninguna desgracia en Tennessee pertenecer al coronel Anderson. Muchos negritos hubieran estado orgullosos, como yo lo estaba, de llamarle amo a usted.

–

Ahora, si usted me escribiera y me dijera la paga que me daría, podría hacerme mejor a la idea de si me conviene volver. En cuanto a mi libertad, la que usted dice que yo puedo tener, pues no tengo nada que ganar en ese sentido, ya que obtuve mis papeles de libertad en el año 1864 de parte del Provost General del Departamento de Nashville. Mandy dice que ella tendría miedo de volver sin alguna prueba de que usted está dispuesto a tratarnos con justicia y bondad, y hemos concluido que la prueba de su sinceridad es pedirle que nos envíe nuestro salario por el tiempo que le hemos servido antes. Esto nos hará olvidar y perdonar viejas heridas , y nos hará creer en su justicia y amistad en el futuro.

 Le serví fielmente durante treinta y dos años, y Mandy durante veinte. A 25$ al mes para mí, y 2$ por semana para Mandy, nuestras ganancias ascenderían a 11.680 dólares. Sume a esto los intereses por el tiempo que ha tenido retenidas nuestras pagas y reste los gastos de vestirnos y las tres visitas al médico para mí, además de la extracción de un diente a Mandy, y el resultado mostrará lo que en justicia merecemos. Por favor, envíe el dinero a través de Adams Express, a la atención de V. Winter, esq, Dayton, Ohio. Si no nos paga por el trabajo que desempeñamos fielmente en el pasado, poca fe podemos tener en sus promesas para el futuro. Confiamos en que el buen Dios haya abierto sus ojos para ver los males que usted y sus padres nos han causado a mí y a los míos, haciéndonos trabajar duramente durante generaciones sin recompensa. Aquí cobro mi paga todos los sábados por la noche, pero en Tennessee no había más día de paga para los negros del que había para vacas y caballos. Seguramente, algún día, aquellos que privaron a los jornaleros de sus pagas tengan que devolvérselas.

Cuando responda esta carta, por favor explíquenos si habría alguna seguridad para mis hijas Milly y Jane, que han crecido y son dos jóvenes bien parecidas. Usted sabe bien lo que ocurrió con las pobres Matilda y Catherine. Preferiría quedarme aquí y pasar hambre – incluso morir, si fuera preciso – que llevar la vergüenza a mis hijas por la violencia y vileza de sus jóvenes amos. Por favor, aclárenos también si se han abierto escuelas para niños de color en su vecindario; mi mayor deseo es dar a mis hijos una educación, y lograr que sean jóvenes virtuosos.

 Le ruego saludar a George Carter de mi parte, y darle las gracias por tomar la pistola cuando usted me disparaba a mí.

De su vieja criado,

Jourdon Anderson.

 

Entrenamiento entre pares: los caminos de la vida en el desarrollo y la cooperación

Los caminos de la vida
no son lo que yo esperaba,
no son lo que yo creía,
no son lo que imaginaba

Todo aquel que ha trabajado en instancias de desarrollo o cooperación internacional, muy probablemente haya experimentado sentimientos de aislamiento y soledad. Dicha circunstancia parece ser una marca en este tipo de trabajo. Muchas veces el cooperante puede ser la única persona de su nivel en la oficina o equipo, experimentando distancia y separación de sus compañeros y contraparte locales por factores culturales, diferencias de idioma, e incluso las barreras organizacionales. Incluso aquellos que desarrollan buena parte de su trabajo desde sus casas pueden sentirse aislados, y es posible que no se sientan cómodos compartiendo sus problemas y luchas con su jefe. O tal vez el jefe sea el problema!

Los caminos de la vida,
son muy difíciles de andarlos,
difíciles de caminarlos,
y no encuentro la salida

En dichas circunstancias, quienes trabajan en acciones de cooperación y desarrollo internacional tienden a pasar mucho tiempo hablando sobre su trabajo con sus cónyuges, parejas o amigos cercanos, lo cual puede resultar una gran fuente de apoyo. Sin embargo, también puede ejercer una presión indebida sobre la persona que está recibiendo la andanada de comentarios, quejas, dudas, etc., con el riesgo de que con el tiempo puedan cansarse de su rol.  Quienes no trabajan con el cooperante, posiblemente no puedan «captar» su contexto de trabajo, a la vez que cónyuges y parejas  probablemente tendrán dificultades para mantenerse neutrales e imparciales, ya que tienen interés en el éxito profesional de su pareja. En dichas situaciones de aislamiento, es muy bueno trabajar junto a un mentor o capacitador profesional. Sin embargo, esto no siempre es posible, práctico o factible económicamente. Una alternativa que funciona bien es el entrenamiento (coaching) o capacitación entre pares.

Yo pensaba que la vida era distinta,
cuando era chiquitito yo creía
que las cosas eran fáciles
como ayer

Un entrenador entre pares es alguien que está en un nivel similar al que está el cooperante en su organización, y sabe y /o entiende su contexto de trabajo. Si bien no se formó como entrenador o capacitador, está dispuesto a entrenar de acuerdo a un simple (pero efectivo) modelo de tutoría entre pares. El mismo implica escuchar activamente sin emitir juicios, dar un feed-back reflexivo sobre lo que está escuchando, hacer preguntas de sondeo, y ayudar a generar medidas concretas de acción para seguir adelante.

El entrenamiento entre pares es diferente a la tutoría o asesoría, ya que no se basa en la premisa de que el entrenador sabe más o tiene más experiencia que uno. El trabajo de un entrenador de pares no es el de dar consejos o decir lo que  piensan que debe hacerse, sino más bien el  escuchar a fin de proporcionar una caja de resonancia, ayudando a su par a encontrar las respuestas por sí mismo.

Ya sea que uno todavía sea estudiante,  esté comenzando su  carrera en la cooperación internacional, o bien sea un profesional experimentado, es un placer trabajar a la par  y junto a un entrenador que colabore en identificar los puntos ciegos, ayude a clarificar las prioridades, y facilite las acciones de diseño que traerán los cambios deseados.

Porque a mi madre la veo cansada
de trabajar por mi hermano y por mí,
y ahora con ganas quisiera ayudarla
y por ella la peleo hasta el fin

Para leer (en inglés) un ejemplo concreto de lo que aquí comentamos, pueden ir directamente a la fuente de donde este texto ha sido extraído y compartido.  Con la ayuda de nuestro amigo Google Translator seguramente no costará entender la experiencia ahí narrada de Cassie y Leanne, y servirá para darle cuerpo a estas ideas.

Todo este movimiento ha sido una iniciativa conjunta de los amigos de Whydev y Development Crossroads, quienes están diseñando un servicio de entrenamiento entre pares, con la expectativa que sea relevante para jóvenes profesionales, estudiantes, y todos aquellos que se inician en el mundo de la cooperación y el desarrollo internacional. En esta instancia su interés central es el desarrollo de un servicio que se adapte a dichas necesidades, a la vez que también quieren explorar las posibilidades de utilización del mismo.

En esta etapa de diseño han abierto el juego, e invitan a hacer llegar nuestra voz y opinión mediante una sencilla encuesta on-line. Valga la importante aclaración que si bien el cuestionario está en Inglés, es muy sencillo de entender y puede ser respondido fácilmente con la ayuda de un traductor (online o bien un amigo que dé una mano!). Es claro para los iniciadores de esta idea que la invitación y la iniciativa no se limita únicamente a los English-speakers (por lo que incluyeron una pregunta final en tal sentido).

Por tanto, amigos de habla hispana y de portugués, adelante! La encuesta la encuentran al final del post aquí.

Bienvenida sea entonces esta oportunidad para trabajar sobre situaciones y sentimientos que encontramos en estos caminos de la vida … del mundo del desarrollo y la evaluación.

ACTUALIZACIÓN: Cuando ya era Jueves en aquel lado del mundo, y todavía Miércoles aquí, un nuevo post en Whydev.org muestra los avances en la encuesta…

(si recibes este mensaje por email o RSS, quizás debas ir a la página del blog para ver el video)

Viernes light: Desconectar para conectar

Hoy no es Viernes… pero quizás en algún lugar del mundo sea ya Martes en vez de Lunes.

Y en este lugar de mi mundo, cuando no queda claro qué día de la semana vivimos, ya es tiempo de vacaciones familiares…  Por lo cual, qué mejor que desconectar un poco, para conectarnos mejor luego?

Hasta pronto!

(si recibes este mensaje por email o RSS, quizás debas ir a la página del blog para ver el video)

 

Mi crónica de la 6º Conferencia de AfrEA

Con la presencia de unos 300 participantes, se desarrolló en Accra (Ghana) entre el 11 y 13 de Enero pasado  la 6º Conferencia de la Asociación Africana de Evaluación, la cual fue precedida por dos días y medio de talleres de capacitación y paneles de discusión.  El espacio brindado a estas instancias da cuenta del relevante énfasis que le dieron los organizadores, quienes se propusieron brindar un tiempo considerable al fortalecimiento directo de las capacidades de evaluación.

Cada día de esta intensa semana, los participantes recibíamos una muy concisa Newsletter, la cual era también reproducida en el blog de la conferencia. Recorrer esas narraciones, reportajes y breves crónicas de la conferencia permite hacerse una idea del entusiasmo y excelente disposición que se sentía en el ambiente.  La evaluación resonaba ahí totalmente ajena a procedimientos burocráticos y a prácticas rutinarias y meramente técnicas. La sed de aprendizaje y de descubrimiento que debe guiar a toda evaluación, dejó su marca en cada presentación y panel de discusión.
–

Los espacios intermedios del café y el almuerzo siempre fueron una oportunidad para conocer gente, afianzar contactos, y visitar los stands de exposiciones. Entre ellos, estuvo presente la iniciativa CLEAR (Centros Regionales para el Aprendizaje en Evaluación y Resultados), con los delegados de los centros de África, Asia y América Latina. En este último caso, hizo su presentación en sociedad el recientemente elegido Centro de Investigación y Docencia Económica -CIDE-, de México.  También con un stand de exhibición, y con una sesión de presentación estupenda, los amigos de Better Evaluation continuaron dando cuenta de su iniciativa y cosechando nuevas ideas y voluntades para su trabajo. Otros stands daban cuenta de los finalistas en un concurso financiado por la Fundación Bill & Melinda Gates, dirigido a fomentar a las asociaciones nacionales y Grupo de Interés Especiales miembros de AfrEA, quienes debían presentar ideas de proyectos a pequeña escala u otras innovaciones relacionadas con los ámbitos de la conferencia, centrados en contribuir al avance de la evaluación en África.

La vinculación entre el mundo de la evaluación y la realidad de la Web2.0 dio un paso hacia adelante muy importante en el marco de este evento.  Además del blog de la conferencia, otros blogs fueron también presentando distintas dimensiones de la misma. Facebook no fue ajeno a algunas menciones, y  con varios colegas intentamos darle seguimiento cercano vía Twitter.  Un ejemplo más sobre la velocidad y  ubicua presencia de Twitter fue que por ese medio muchos nos enteramos casi al instante que  Nermine Wally había sido elegida la nueva presidente de AfrEA. Finalmente, AfrEA TV permitió seguir con una calidad fantástica las sesiones de apertura y cierre, así como algunas de las ponencias magistrales centrales (pronto estarán disponibles los links para ver las grabaciones realizadas).

Tuve la posibilidad de participar en un panel organizado por la IOCE -Organización Internacional para la Cooperación en Evaluación-, sobre experiencias de trabajo en redes nacionales y regionales de evaluación. Unas treinta personas se acercaron al mismo, y pudimos compartir experiencias, avances y aprendizajes. En este panel, como en otras instancias en las que pude participar, fue claro el espíritu crítico, el interés en no ser complacientes con las preguntas y respuestas , y la firmeza acompañada por la delicadeza.
–
Por supuesto que hay detalles que uno podría señalar para su mejora (por ejemplo, una larga y demasiado protocolar ceremonia de inauguración),  más sin duda el  balance final ha sido altamente positivo.
–
Para cerrar esta crónica personal de estos días intensos, les comparto a continuación un video con un baile típico de Ghana con el cual nos dieron la bienvenida en una fantástica fiesta. El baile da cuenta, de algún modo, del espíritu que AfrEA supo imprimir a toda la conferencia…
–
–
(si recibes este mensaje por email o RSS, quizás debas ir a la página del blog para ver el video)

6º Conferencia de la Asociación Africana de Evaluación: Derechos y Responsabilidades en Evaluación

AfrEA fue fundada en 1999 en respuesta a una creciente demanda de intercambio de información, promoción y creación de capacidades avanzadas de evaluación en África. La organización agrupa a más de 20 asociaciones y redes nacionales de Monitoreo yEvaluación. AfrEA trabaja con las redes nacionales y los asociados interesados en el continente y en todo el mundo para desarrollar una comunidad fuerte de evaluación en África. Hasta ahora habia celebrado cinco conferencias en todo el continente, y facilitado el desarrollo de las Directrices de Evaluación de África para mejorar la calidad y la utilidad de la evaluación.

Esta semana AfrEA desarrolla en Accra (Ghana) su 6ta Conferencia continental, en la cual tengo la posibilidad de tomar parte (gracias al generoso apoyo de UNICEF).  Los dos primeros días y medio de esta semana se desarrollaron talleres de capacitación y primeros paneles de discusión.  El miércoles 11 de Enero se realizó la ceremonia inaugural, y la apertura de los stands de exposiciones. En estos dos días finales de la conferencia, nos esperan ponencias magistrales, presentaciones individuales, y nuevos paneles.

No es sencillo elaborar una entrada extensa y detallada de lo que va sucediendo, la cual deberá esperar unos días a mi regreso a casa. Los organizadores han montado un blog donde se puede ir siguiendo actividades y novedades. Lo que sí intento hacer todo lo posible es usar Twitter con la etiqueta #AfrEA, al igual que lo están haciendo otros colegas. Por tanto, ahí nos vemos!

image

image

image

image

image

Viernes light: evaluando el programa de ayuda «Regalos de Navidad»

Desde hace algunos años ha ganado terreno un renovado interés por la evaluación de impacto de proyectos y programas, tanto por aquellos generados desde el ámbito público como desde instancias no gubernamentales. Al mismo tiempo, dicho interés ha estado acompañado de cierta polémica  (todavía en curso) sobre la pertinencia y los alcances de la metodología de prueba controlada aleatoria -RCT- (algo de ello reflexionamos hacia el final de otra entrada de este blog).

En esta última entrada del año 2011 les comparto una reflexión irónica sobre los problemas que aparecieron al tener que evaluar un (ficticio) programa de ayuda denominado «Regalos de Navidad». Los créditos por la humorada corresponden al NYU Development Research Institute.

–

Problemas en la evaluación del programa Regalos de Navidad

  • Falta de una metodología rigurosa: Lamentablemente, la evaluación hubo de llevarse a cabo sin la necesaria prueba de control aleatoria de  los regalosde Navidad, la que no se completó según lo previsto. Los gerentes de proyecto hicieron un mal trabajo explicando las ventajas de la participación en la prueba aleatoria al grupo control.
  • Falta de focalización: El programa de  ayuda «Regalos de Navidad»  no estaba suficientemente bien dirigido a los pobres. Los destinatarios de regalos de la Navidad incluyeron de manera indiscriminada a regiones acomodadas, grupos, géneros, e individuos.
  • Falta de modalidades eficientes: los regalos de Navidad parecían consistir en gran medida en ayuda en especie. Esto contradice la abundante evidencia existente sobre las  mejores prácticas de la Ayuda, las que hacen hincapié en las transferencias de dinero efectivo como modalidad superior a la ayuda en especie. Hubo algunos casos de # SWEDOW («cosas que no quiero») en las transferencias en especie,  el peor tipo posible de ayuda, que incluyeron por lo general  pasteles de frutas.
  • Falta de sincronización eficiente: Al contrario de la recomendación de que la Ayuda debe consistir en un flujo uniforme y predecible, el programa de Navidad se concentra mayormente  en un solo día, con algunos pocos retrasos impredecibles que van desde unos pocos días («retrasos en las entregas») hasta meses («regalos hechos a mano «).
  • Falta de flujos netos: Los evaluadores encontraron en los beneficiarios de los regalos de Navidad una conducta que frustra el propósito del programa de ayuda, pues  los receptores  actúan como donantes de sus propios donantes, lo que reduce su consumo de la ayuda neta. Este comportamiento contraproducente fue explicado por los  beneficiarios con conceptos no estandarizados tales como «Hay más dicha en dar que en recibir».

Felices fiestas, y nos leemos nuevamente en el 2012!

Mis deseos para el Tinku Kamayú, y todas las mujeres que ellas representan

Se acerca el fin de año, y entre tantas acciones y propósitos no suele faltar el hacer un balance de lo realizado, así como el desear a nuestros seres queridos lo mejor para el año que comienza.  Sin duda que entre los primeros para dichos deseos estarán  nuestros familiares y afectos más cercanos.  Sin embargo, la capacidad de augurar buenos deseos y propósitos no es tanto como manzanas en una cesta, que al repartirlas se acaban, sino como la llama de una vela, que al brindarse no se agota y es capaz de dar más luz.

Por eso me pareció muy grata la invitación que hace World Vision España en su iniciativa Házlo realidad!, la cual permite que enviando mensajes de texto de salutación podamos colaborar en recaudar fondos para sus programas de educación, salud y nutrición en África, Asia y América Latina.  Otra faceta de dicha iniciativa nos invita a preguntarnos concretamente sobre nuestros deseos y augurios para aquellos que conocemos y que se encuentran en una situación difícil de algún tipo. Esas situaciones suelen ser caracterizadas como pobreza, marginación, exclusión…

La propuesta (o reto) tiene varias puntas positivas:

  • nos obliga en esta oportunidad a ponerle nombre y cara a aquellos que en los proyectos y programas de desarrollo son tantas veces número e indicadores;
  • nos propone hacer público nuestro augurio y nuestro deseo de un mejor año para ellos; y
  • nos permite presentar a nuestros conocidos a quienes nos leen en las entradas de un blog o bien en sus comentarios.

En este espíritu, quiero presentar aquí brevemente a las amigas del Tinku Kamayú, que en Quechua quiere decir Reunidas para Trabajar.  Su historia se desarrolla en Santa María, en la precordillera de los Andes, al norte de la provincia de Catamarca (noroeste Argentino), a 1.900 metros sobre el nivel del mar.  La actividad agropecuaria ha sido históricamente el motor de la economía de Santa María, concentrándose  en aromáticas, vid y nogal, así como la cría de ganado caprino, ovino, bovinos, camélidos (llamas), y cabalgares. En consonancia con la realidad nacional, Santa María sufrió en las últimas décadas un fuerte proceso de descampesinización que llevó  a pequeños productores al abandono y/o venta de sus propiedades, y a la consiguiente instalación de una parte de las familias en el núcleo más urbanizado del departamento. Otra parte de la población ha migrado hacia centros poblacionales como Tucumán, Buenos Aires, o la zona de Cuyo.

Hace diez años atrás, Argentina vivía el pico de una crisis política y económica que marcó en diversos sentidos un antes y un después en la historia nacional.  En Santa María el período se caracterizó por un enorme desempleo, lo que repercutió en la actividad comercial y de servicios del área, produciéndose el cierre de pequeños comercios, comedores, etc. La oficina de Cáritas en Santa María comenzó a recibir la presencia cotidiana de un gran número de personas que hacían cola a la espera de alguna ayuda en alimentos y vestimenta.  A mediados del año  2002, el párroco local solicitó la ayuda de Margarita Ramírez, una voluntaria local del Movimiento Focolar, para colaborar en la búsqueda de alternativas frente a aquella multiplicidad de pedidos.

Margarita había estado largamente vinculada a la Escuela Aurora, espacio donde se ubica el Taller Armonía, taller de costura y tejido en Santa María, ambas instancias originadas en una larga labor de apoyo y acompañamiento de los Focolares en la zona. Margarita tuvo la idea de comenzar un emprendimiento de confección de hilado artesanal a fin de proveer al Taller Armonía, el cual hasta ese momento lo adquiría en tiendas comerciales de Santa María y Tucumán. Una vez que contó con el acuerdo y disposición de las artesanas del Taller Armonía para la compra del hilo que pudieran elaborar, comenzó a buscar a otras mujeres para iniciar la actividad. En Septiembre de 2002 reunió a las primeras mujeres en la vecina localidad de Lampacito, con quienes mantuvo varias reuniones iniciales para comentar la idea y organizar los primeros pasos de la acción.

Con el aporte inicial de lo que cada hiladora pudo sumar, e instalándose en un pequeño salón prestado, el taller entró en funcionamiento a finales del año 2002 con sólo un par de ruecas prestadas, debiendo sentarse las hiladoras sobre ladrillos apilados para realizar el trabajo. Al poco tiempo, se vieron obligadas a mudarse a unas habitaciones de adobe que consiguieron prestadas en un terreno abandonado sobre la ruta que viene de Santa María hacia Lampacito. Uno de los apoyos iniciales clave recibido por el grupo fue el de un programa de desarrollo rural vigente esos años, el PSA-PROINDER.  Tanto de parte de los técnicos como así también de algunas de las integrantes del grupo, existían dudas sobre la viabilidad de un emprendimiento que comenzaba con tan escasos recursos. Al respecto, Margarita recordaba esos momentos de la siguiente forma:

Los técnicos estaban dudosos de hacer el proyecto para el PSA,
y no sabían si hacerlo o no hacerlo. Decían que sólo se apoyaban
proyectos de agricultura, otros proyectos no. Entonces yo dije
“–Empecemos ya”!, y una de las chicas dice –“Pero si no tenemos
nada!” Y otra dijo “–Yo tengo cinco kilos de lana de oveja”. Y otra
dijo “–Y yo tengo cinco pesos para comprar más.” Y la tercera dice “Y
yo tengo un huso para hilar… vos Margarita buscá dónde podemos
trabajar”…

Con  la donación de un monto de dinero de un particular italiano vinculado al Movimiento Focolar, las mujeres pudieron adquirir el terreno donde estaban trabajando. A mediados de 2005 el grupo recibió el financiamiento de un proyecto presentado al PSA-PROINDER destinado a construir el salón para el taller de hilado y sus instalaciones (sala de venta, depósito para materia prima, baño, etc.). Para el pago de la mano de obra se contó con aportes de la Escuela Aurora, de las socias, y de la ONG española Achalay. El municipio local y algunas otras oficinas públicas  (como Vialidad Provincial) facilitaron maquinarias, herramientas y mano de obra en distintas instancias de la construcción del local. En Marzo de 2007 el Tinku Kamayú realizó la fiesta de inauguración del salón de hilandería, contando con la presencia de vecinos, autoridades municipales y representantes de las instituciones de apoyo.

Pude conocer de cerca la experiencia del Tinku Kamayú un tiempo antes de la inauguración de su local, cuando las luchas cotidianas eran muchas, los  diálogos siempre necesarios, y la mirada hacia el futuro un sostén. Su historia y su presente me impactaron, y con un colega escribimos un capítulo de un libro para profundizar en la trayectoria que como personas y como organización habían recorrido. Analizamos  la capacidad creativa del grupo de mujeres del Tinku Kamayú, eje estructurador de su particular forma de desarrollo alternativo. Resultaba claro que la dimensión económica de la experiencia había sido clave en el contexto de pobreza del surgimiento del grupo, guiando en gran medida decisiones vitales de las participantes. Sin embargo, un lugar relevante tuvo también la exitosa y creativa articulación de la dimensión económica-productiva con la dimensión espiritual-afectiva de las mujeres participantes en el Tinku Kamayú. Ellas encontraban  en su participación en el grupo múltiples satisfactores a necesidades distintas y cambiantes en el tiempo.

—

Luego, he sido testigo cómo otros colegas también se han interesado y apoyado esta experiencia, desde documentales hasta noticias; y he seguido sus novedades y fotografías en el barrio Facebook.

Vaya para ellas entonces, las amigas del Tinku Kamayú,  mi deseo que su fortaleza siga siendo tan contagiosa para tantos de nosotros, que su espíritu nos siga transmitiendo esperanza, y que sus esfuerzos sean -como hasta ahora- semillas y frutos de desarrollo. 

(si te llega esta entrada por email, deberás entrar al post para ver el video)

Quedan abiertos los comentarios para hacer llegar también nuestro deseo a algún conocido, cuya historia y trayectoria pueda servirnos también de inspiración para el año nuevo que se nos aproxima… 

Viernes light: África mía

La educación formal poco y nada me enseñó de África. Años y años de estudiar ciudades  e historia de Europa, así como algunas generalidades de América Latina, dejaron en la nebulosa la realidad del continente negro.  Luego, apenas llegado a la Universidad de Sussex para mis estudios de posgrado, me sentí obligado a comprar un gran mapamundi a fin de ubicar con certeza los países de mis nuevos amigos y compañeros africanos.

De algo sirvió, pero parece que ya (¿ya?) ni en los mapas se puede confiar…  El trabajo de Kai Krause ayuda a dimensionar el verdadero tamaño del continente, incluyendo en su interior a  varios pesos pesados.

–

Vinculado a la distorsión del tamaño, encontramos la distorsión de las noticias. Para ello bastaría preguntar qué es lo primero que   viene a la mente como imagen, como palabra, como sensación, al pensar en África. Hace diez años atrás, la influyente publicación The Economist publicó esta portada: El continente sin esperanza.  Y lo que la publicación veía y diagnosticaba, era y continuó siendo para muchos la única verdad sobre África.-

Pero hay nuevas visiones.  Para el mismo The Economist ahora África es el continente esperanzado, con una imagen diferente.  El The New Yorker acaba de publicar las 10 noticias más importantes de África del 2011, artículo que  vale la pena leer completo para dimensionar el alcance de los cambios en camino.

Entre ellos, rescato las siguientes:

  • África está experimentando un boom económico
  • Dos mujeres de Liberia ganaron el premio Nóbel de la Paz
  • Los teléfonos celulares siguen cambiando la vida de millones de africanos
  • Botswana se posiciona como lider mundial en el combate a la corrupción
  • (Algunos) progresos se vislumbran en Somalía -sin olvidar lo terrible de la situación–
Para cerrar este Viernes Light con una voz africana,  los invito a ver esta breve exposición de la novelista Chimamanda Adichie, quien reflexiona sobre los riesgos de una sola historia para comprender y entender tantas cosas (debajo del video están las opciones para subtitularlo en Spanish y otras lenguas).
Valga el énfasis: es muy recomendable!

–

Desde Busán y más allá: escenarios para la evaluación // From Busan and beyond: evaluation scenarios

(English version below)

Ésta es la última entrada dedicada explícitamente a la Conferencia de Busán, luego de haber pensado sobre las campañas e iniciativas previas a la conferencia,  los interrogantes iniciales para el mundo de la evaluación, la experiencia in-situ de dos estimadas evaluadoras, y la detallada reflexión y desafíos que nos compartiera Daniel Svoboda.  Ha sido posible seguir el desarrollo de la conferencia al instante mediante Twitter (aportes que continúan al día de hoy) y varios blogs (algunos de los más interesantes para mí fueron éste, éste y éste más).

Una de las ideas más desafiantes que he leído en distintos sitios tiene que ver con lo valioso de entender a Busán  no como el punto final de un proceso, sino más bien como el inicio de uno.  Esta es una visión clave para ir más allá del papel y de declaraciones. Un ejercicio interesante de lo que las palabras dicen fue hecha en el blog Aidnograhpy, incorporando la declaración final de Busán en Wordle, y alcanzando el siguiente resultado:

–

–

Vemos que el vocablo Ayuda (Aid) ha dejado su lugar a Desarrollo (Development), y el lugar de la cooperación Sur-Sur también ha ganado preponderancia. El post repite el ejercicio luego con cada una de las secciones de la declaración de Busán, favoreciendo a la vez una visión más matizada. De todos modos, para marcar ciertos énfasis y acentos, la mirada general es interesante también.  Más interesante aún resulta la reflexión en el mismo post sobre las palabras plásticas, a tono con el escéptico mensaje que me dejó un colega en Twitter:

Lo que en buen castizo sería: Gracias por las actualizaciones sobre Busán! La efectividad de la ayuda es un chiste…  La  declaración de París? Olvídala

Visiones alternativas son ofrecidas en los últimos aportes que para este blog hicieron llegar las dos evaluadoras antes invitadas.  Gloria Vela, presente en la Conferencia,  sumaba lo siguiente:

En términos generales hay satisfacción de las OSC porque se ha venido posicionando el términos COOPERACIÓN en lugar de ayuda aún entre los gobiernos, se mantiene el reconocimiento de las OSC como pares y se acogen los principios de Estambul y el marco de referencia de las OSC y se recoge la importancia de los derechos de las mujeres, pero también hay algunas preocupaciones, entre ellas, para mi personalmente, es preocupante que al reconocer el rol del sector privado, y las empresas en particular, en la cooperación y el desarrollo, se está hablando de la necesidad de generar para ellas un “ambiente habilitante” y la consideración de ese ambiente habilitante o propicio para las OSC queda bastante perdido!

También regresando de Busán, y pensando en el mundo de la evaluación, Oumoul Ba Tall hizo llegar su opinión:

Deseo asegurarles muy rápidamente que la evaluación estuvo muy presente en Busán, y estará en todas partes después de Busán. Para nuestra audiencia de evaluadores, me gustaría decir  sólo porque la evaluación no esté en la redacción significa que no está allí. La evaluación no sólo estuvo presente en la fase anterior a la Conferencia, sino que  preveo que ella será predominante después de Busán en tres niveles:

En primer término y para la fase anterior, es interesante observar las lecciones aprendidas de la evaluación de la Declaración de París. Los evaluadores deberían cuestionarse cuál fue realmente el propósito de la evaluación si las deficiencias de los compromisos anteriores no son en realidad asumidos  por el siguiente paso, que es la Declaración Final de Busán.  Tal como  la sociedad civil con razón reclamaba acerca de  los «asuntos pendientes» con la Declaración de París y la Agenda de Acción de Accra.

Después de Busán, preveo a la Evaluación siendo predominante en tres niveles:

1. El Documento Final de Busan (DBO) (o con el nombre oficial que sea elegido para reemplazar a la Declaración de París (DP) y al Programa de Acción de Accra (AAA) ) presenta un cierto número de principios básicos y orientaciones estratégicas, pero no hay ningún compromiso vinculante, según tengo entendido. Compromisos vinculantes y  planes operativos de acción tendrán que ser decididos a nivel nacional, algo así como un «pacto» que se diseñó sobre la base de acuerdos entre los socios de desarrollo que participan en el ámbito nacional. Por lo tanto, los planes de seguimiento y evaluación tendrán que ser establecidos a nivel nacional, y un marco global tendría que ser establecido con el fin de evaluar la DBO también. Esta dualidad conlleva algunos desafío metodológico a la hora de evaluar la DBO en comparación con la DP, que los evaluadores podrían reflexionar en ello a partir de ahora.

2. A nivel de país, si la decisión de utilizar los sistemas nacionales se aplica como insiste en hacerlo la  DBO, esto debe incluir sistemas de evaluación que son casi inexistentes en la mayoría de los países receptores. Estos sistemas tienen que ser construidos (incluyendo no sólo las instituciones, sino también la capacidad de los evaluadores nacionales) y veo ahí  un papel importante para la comunidad de Evaluación.

3. La referencia a la «responsabilidad mutua» también implica la evaluación de muchas maneras. La que a mí me gustaría destacar es la nueva idea de la rendición de cuentas a los ciudadanos de los países receptores, no sólo a nivel de «Gobierno a Gobierno» , lo que también demanda un amplio programa de sensibilización por la  Evaluación y la cultura de la Evaluación.  Los ciudadanos deben ser capaces de utilizar la evaluación para pedir rendición de cuenta a sus gobiernos, lo que significa contar con  las herramientas y métodos apropiados, así como  el entorno adecuado.

Escenarios para imaginar, construir y trabajar…

^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

ENGLISH VERSION!
This is the last post devoted explicitly to the  Busan Conference, after having thought about campaigns and initiatives prior to the conference, some initial questions to the world of evaluation, the in-situ experience of two close evaluators, and the detailed reflection and challenges  that Daniel Svoboda share with us. It was possible tofollow the progress of the conference instantly via Twitter (something still possible these days) and several blogs (some of the most interesting for me were  this, this and this).

One of the challenging ideas that I read in several places had to do with understanding the value of Busan not as the end point of a process, but rather as the beginning of one. This is a key insight to go beyond paper and declarations. An interesting exercise in what the words say was made ​​in the blog Aidnograhpy, incorporating the final declaration of Busan in Wordle, and reaching  the following result:
–

We see that Aid has been changed to Development , and the place of South-South cooperation has also gained prominence. The post then repeats the exercise with each of the sections of the Busan Declaration, favoring a more nuanced view. Anyway, to make certain emphases and accents, the overall look is interesting too. Even more interesting is the reflection in the same post about the plastic words, which is somehow linked with the skeptical message a colleague left me on Twitter:

Alternatives views were shared by the two evaluators previously invited to this blog.  Gloria Vela, present at the Conference, added that:

In general terms there is a sense of satisfaction by  the Civil Society Organizations (CSOs),  because it has been increasingly used the term cooperation instead of aid, even among governments; the recognition of CSOs as peers is mantained, and  the Istanbul principles, the framework of CSOs, and  the importance of women’s rights, all have been very welcomed. But there are some concerns, including for myself: it is worrying that by recognizing the role of the private sector, and companies in particular, in cooperation and development,we are talking about the need to create for them an «environment enabling «and the consideration of this enabling or conducive environment for the  CSOs is quite lost!

–

Also returning from Busan, and thinking for the world of evaluation, Oumoul Ba Tall sent her opinion:

I wish to assure you very quickly that Evaluation was very present at Busan, and will be everywhere post-Busan. I will be very short as I am still exhausted after almost 30 hours of travel and just one day of sleep….and as promissed, I will send more shortly. But for now, and for our Evaluation audience, I just would like to say, that it’s not only because Evaluation is not in the wording that it is not there. Not only was Evaluation present in the previous phase, but I foresee Evaluation to be predominant after Busan at three levels:
At first, for the previous phase, it is interesting to look at the lessons learned from the Evaluation of the PD. Evaluators should question what really was the purpose of the evaluation if the shortcomings of the the previous commitments are not really adressed by the next step, which is the BOD. As the CSOs were rightly claiming, the «unfinished business» with the PD and AAA are not resolved.

Post Busan, I foresee Evaluation to be predominant at three levels:

1. The Busan Outcome Document (BOD) or whatever official name will be chosen to replace the Paris Declaration (PD) and the Accra Agenda for Action (AAA) lays out a certain number of basic principles and strategic orientations, but there is no binding commitment yet as I understand. Binding commitments and operational action plans  will have to be decided at the country level, something like a «compact» to be designed based on agreements between development partners involved at the country level. Therefore, Monitoring and Evaluation plans will have to be set at the national level, and a global framework would have to be set in order to assess the BOD as well. This duality brings in some methodological challenge when it comes to evaluate the BOD as compared to the PD, that Evaluators could reflect on from now.

2. At the country level, if the decision to use country systems is enforced as the BOD calls for, this should include evaluation systems which are almost inexistent in most recipient countries. Such systems will have to be built (including not only the institutions, but also the capacity of national evaluators) and I see a major role for the Evaluation community.

3. The reference to «mutual accountability» also involves evaluation in many ways. The one that I would like to highlight is the new idea of accountability to the citizens of recipient countries, not only «the Government-to-Government» level, which also calls for a wide agenda of Evaluation Awareness and Evaluation Culture. citizens need to be able to use Evaluation to held their governments accountable, which means appropriate tools and methods, and the right environment. 

Scenarios to imagine, build and work…

Entonces, ¿qué nos trae Busán? // So, what the Busan brings?

(English version below)

La semana pasada tuvimos el aporte de dos evaluadoras, comentando sus impresiones sobre el desarrollo de la Conferencia de Busán, de la cual ya contamos con su declaración final (en Francés e Inglés).

En el intercambio epistolar de esos días sumamos también a Daniel Svoboda, presidente de la Asociación Civil  Development Worldwide (República Checa), y vice-presidente de IDEAS (International Development Evaluation Association), a quien conocí tiempo atrás a partir de su intensa participación en el grupo de discusión sobre la declaración de París.  Daniel ha tenido la amabilidad de dedicar buena parte de su viaje de regreso desde Busán a elaborar algunas reflexiones y preguntas, con un foco claro en el mundo de la evaluación, las cuales nos comparte ahora aquí. Atención que sobre el final de su escrito presenta acciones importantes y desafiantes para encarar…

Gracias Daniel!

Entonces, ¿qué nos trae Busán?

Esa es la pregunta clave de evaluación, fácil e inteligente. Por desgracia, mi respuesta será un poco más larga y traerá probablemente más preguntas que una respuesta fácil e inteligente.

A pesar de que la declaración aprobada se llama Documento Final de Busán, el «papel» (cualquier papel) en sí mismo no puede ser un resultado. Sin embargo, puede ser un buen indicador de éxito – el indicador de un consenso global. Sólo el futuro mostrará si este consenso (o compromiso) puede realmente marcar una diferencia – mejorar el entendimiento mutuo, el comportamiento y las prácticas.

Desde mi punto de vista, el mensaje más importante de Busán es la promesa de modificar el pensamiento desde el enfoque de la efectividad de la Ayuda (la entrega –delivery- de ayuda) a la apuesta por la efectividad del Desarrollo, lo que significa centrarse en verdaderos beneficios sostenibles para los grupos objetivo – para las personas (en la redacción de Busán «resultados sostenibles y transparentes para todos los ciudadanos», § 6).

El conjunto de los párrafos de la Declaración de Busán sólo describen algunos requisitos y supuestos para la aplicación real de los compromisos, así como para alcanzar una visión común de un mundo mejor anhelado por las pesonas (por cierto, la visión no se comunica con claridad en la declaración).

En mi opinión, hay al menos tres supuestos críticos para alcanzar  éxito alguno:

1) Verdadera alianza entre todos los actores del desarrollo: muchos de estos actores se mencionan explícitamente en la Declaración de Busán (los donantes tradicionales y emergentes, los Estados frágiles, todos los gobiernos, las OSC – las organizaciones de la sociedad civil, incluidos los sindicatos, los parlamentos, y el sector privado). Esta alianza y los actores clave son mencionados en los apartados § 1, § 11, § 13, § 17, § 21, § 22, § 29, § 32, y 36 §.

2) Apropiación democrática y enfoques basados en los derechos presentes en la legislación y la práctica (la verdadera aplicación de la ley y la práctica no se menciona en el documento de Busán), junto con colocar en el centro de todas las acciones y las políticas (no sólo el desarrollo) a las necesidades del país y de las personas y sus derechos fundamentales. La apropiación democrática y los enfoques basados en derechos son sólo parcialmente mencionados en los apartados § 3, § 11, § 12, § 20, § 22, § 28, y § 30, pero las promesas reales son casi invisibles en el documento.

3) Compromisos genuinos en incrementar la efectividad del desarrollo cumplidas por todos los actores, como la defendida por las OSC en sus Principios de Estambul y en el Consenso de Siem Reap en el marco Internacional para la Efectividad del Desarrollo de las OSC (www.cso-effectiveness.org).

Otros supuestos, herramientas y condiciones para un entorno favorable incluyen, entre otros:

• el uso y el fortalecimiento de los sistemas nacionales (§ 18, § 19, § 25, § 26, § 29),

• mejora de la transparencia (§ 11, § 18, § 23, § 26, § 33 y § 34),

• el fortalecimiento de la responsabilidad mutua (§ 11, § 20, § 21, § 22, § 23, § 25, § 29, § 35, y 36 §),

• mejorar la previsibilidad (§ 24, § 26, y § 3),

• y compromisos para acelerar los esfuerzos para desatar la ayuda (sólo § 18).

No todos los aspectos necesarios están suficientemente expuestos en la Declaración de Busán. Por ejemplo, las normas mínimas de un entorno propicio para las OSC están totalmente ausente (§ 22), mientras que hay algunos compromisos concretos para mejorar el ambiente para el sector privado (§ 32).Esta es una brecha importante sobre todo a la luz de la rendición de cuentas pedida y demostrada por las OSC (Principios de Estambul reconocido en el § 22b, y apreciada entre otros por Hillary Clinton en la ceremonia de apertura de la conferencia), mientras que no hay compromisos de desarrollo necesario de parte del sector privado …

Además, la Declaración de Busán no presenta indicadores concretos y con plazos acotados, ni mecanismos de monitoreo y evaluación (M & E), así como tampoco sistemas de rendición de cuentas para el seguimiento y la valoración del cambio que vendrá después de Busán.

De todos modos, la Declaración de Busán es definitivamente un paso en la dirección correcta. Pero sólo en caso de que todos nosotros en forma conjunta nos basemos en el consenso de Busán y trabajemos duro para alcanzar sus resultados e impactos.

–

¿Qué puede hacer la comunidad de evaluadores para facilitar el cambio?

• En primer lugar, me gustaría saber lo que otros evaluadores consideran como los mensajes clave de Busán (estos pueden ser diferentes de los identificados por mí más arriba). Para llegar a resultados, es realmente muy importante conocer la teoría del cambio de Busán, para identificar los resultados (outcomes) y las relaciones de causa-efecto.

• En segundo lugar, me gustaría pedirles ayuda en la identificación de algunos indicadores más apropiados de seguimiento y evaluación (enfocados en resultados y en procesos), de preguntas de evaluación, y de métodos de evaluación más relacionados con los compromisos de Busán.

• En tercer lugar, y en una perspectiva de mediano plazo, todos podríamos reconsiderar (realizando una prueba de forma voluntaria) si y en qué medida los programas actuales, los compromisos y las evaluaciones corresponden o no corresponden a la óptica de Busán de la efectividad del desarrollo. Y por qué.

• Y, por último, en una perspectiva a largo plazo, apliquemos en nuestras propias evaluaciones los principios de la «Alianza Mundial para el Desarrollo» (denominación que es más apropiada para este proceso que el título oficial de » Alianza de Busán para la Cooperación Efectiva al Desarrollo»). Esto significa sólo contestar una pregunta sencilla: «¿Qué diferencia está brindando nuestro trabajo con el fin de promover cambios positivos y sostenibles en la vida de las personas?»

–

¡Podemos y debemos hacerlo!  Este es otro mensaje importante de Busán, expresado por la reina Rania de Jordania durante la ceremonia de apertura.

Tareas concretas:

Con el fin de influir en el proceso post-Busán y sus resultados, debemos tomar la iniciativa en diseñarlo en un plazo de tres meses a más tardar. Un sistema viable de Seguimiento y Evaluación debe ser lanzado hasta fines de junio de 2012, de lo contrario la prometedora Alianza de Busán se convertirá en otra proclama vacía, sin un impacto real.

Recapitulo mis cuatro preguntas:

1. En tu opinión, ¿cuál es la teoría del cambio del proceso de Busán?

2. ¿Cuáles pueden ser los resultados y los indicadores de proceso más adecuados (además de las preguntas de evaluación y los métodos)?

3. ¿Cuáles son las diferencias clave en las prácticas de desarrollo actual?

4. ¿Qué debe hacer diferente el trabajo de evaluación para promover cambios positivos sostenibles en la vida de las personas?

Me encantará recibir sus respuestas, comentarios o contribuciones en svoboda@dww.cz, o a través del blog de Pablo (http://wp.me/p1MUJz-7k) o a través de la lista de distribución IDEAS.

Daniel Svoboda

&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&

ENGLISH VERSION

Last week we had the opinions of two evaluators, discussing their views on the development of the Busan Conference, which already has is final declaration.

In the email exchange of those days we also joined Daniel Svoboda, president of Worldwide Development, a Civil Association in Czech Republic, and vice-president of IDEAS (International Development Evaluation Association). I met Daniel some time ago, when he had an intense involvement in a discussion group on the Paris Declaration. Daniel has been kind enough to devote much of his return trip from Busan to develop some thoughts and questions with a clear focus on the world of evaluation in order to share with us here. Be aware that at the end of his paper he presents important and challenging actions to address.

Thanks Daniel!

–

So what the Busan brings?

It is the key evaluation question, easy and smart. Unfortunately, my response will be a bit longer and it will bring probably more questions than an easy and smart answer.

Although the endorsed declaration is called Busan Outcome Document, the “paper” (any paper) itself cannot be an outcome. Nevertheless, it can be a good indicator of success – indicator of a global consensus. Only the future will now show whether this consensus (or compromise) can really make a difference – improve mutual understanding, behavior and practices.

From my point of view, the most important message from Busan is a promise to shift thinking from the focus on aid effectiveness (aid delivery) to the focus on development effectiveness, it means focus on real sustainable benefits for the target groups – for the people (in Busan wording “sustainable and transparent results for all citizens”, §6).

All individual paragraphs in the Busan declaration then only describe some preconditions and assumptions for true application of the commitments and for reaching a common vision of the better world the people want (by the way, the vision is not clearly communicated in the declaration).

In my opinion, there are at least three critical assumptions for having any success:

1) True partnership among all development actors, many of these actors are mentioned explicitly in the Busan declaration (traditional and emerging donors, fragile states, all governments, CSOs – civil society organizations including trade unions, parliaments, and the private sector). The partnership and the key actors are mentioned in §1, §11, §13, §17, §21, §22, §29, §32, and §36.

2) Democratic ownership and right-based approaches in law and practice (true application in law and practice is not mentioned in the Busan document), with country needs and people and their fundamental rights at a center of all (not only development) policies and actions. Democratic ownership and right-based approaches are only partially mentioned in §3, §11, §12, §20, §22, §28, and §30, but the real promises are almost invisible in the document.

3) Genuine commitments on increasing development effectiveness fulfilled by all actors, as championed by the CSOs in their Istanbul Principles and in the Siem Reap Consensus on the International Framework for CSO Development
Other assumptions, tools and conditions for enabling environment include, among others:Effectiveness (www.cso-effectiveness.org).

• using and strengthening country systems (§18, §19, §25, §26, §29),

• enhancing transparency (§11, §18, §23, §26, §33, and §34),

• strengthening mutual accountability (§11, §20, §21, §22, §23, §25, §29, §35, and §36),

• improving predictability (§24, §26, and §3),

• and promises to accelerate efforts to untie aid (only §18).

Not all necessary aspects are sufficiently described in the Busan declaration. For example, the minimum standards on enabling environment for CSOs are totally missing (§22), while there are some concrete commitments to improve environment for the private sector (§32). This is a significant gap especially in the light of accountability asked from and demonstrated by CSOs (Istanbul Principles recognized in §22b, and among others appreciated by Hillary Clinton in the Busan opening ceremony) while there are no development commitments required from the private sector…In addition, the Busan declaration misses concrete and time-bound indicators, monitoring & evaluation (M&E) mechanisms and accountability systems for tracking and assessing the change to come after Busan.Anyhow, Busan declaration is definitely a step in the right direction. But only in case all of us will jointly build on the Busan consensus and work hard towards its outcomes and impacts.

What the evaluation community can do to facilitate the change?

• First of all, I would like to know what other evaluators consider for the key messages from Busan (these might be different from these identified by myself above). For getting to results, it is really important to recognize the Busan’s theory of change, to identify the outcomes and cause-effect relations.

• Secondly, I would like to ask you to assist in identification of a few most appropriate (outcome and process focused) M&E indicators, evaluation questions and evaluation methods best related to the Busan commitments.

• Thirdly, in mid-term perspective, we all might reconsider (carry out a voluntarily test) whether and to what extent the current programs, commitments and evaluations correspond or do not correspond to the Busan optics of development effectiveness. And why.

• And finally, in the long-term perspective, let us apply the principles of the “Global Partnership for Development” (which is more appropriate appellation of the process than the official title “Busan Partnership for Effective Development Cooperation”) on our own evaluations. It means a just answering of an easy question: “What difference is our work bringing in order to promote sustainable positive changes in lives of people?”

We can and we must! This is another important message from Busan, expressed by the Jordan´s Queen Rania during the Opening Ceremony.

Concrete tasks:

In order to influence the post-Busan process and its results, we must take the lead in designing the process within next three months at the latest. A viable M&E system must be introduced until the end of June 2012 otherwise the promising Busan Partnership will become another empty proclamation with no real impact.

I recap my four questions:

1. In your opinion, what is the theory of change of the Busan process?

2. What can be the most appropriate outcome and process indicators (plus  evaluation questions and methods)?

3. What are the key gaps in the current development practices?

4. What difference is evaluation work to bring to promote sustainable positive changes in lives of people?

I will be pleased to receive any your response, comment or contribution on svoboda@dww.cz , or through Pablo´s blog (http://wp.me/p1MUJz-7k) or through the IDEAS listserve.

Daniel Svoboda

Dos evaluadoras en Busán // Two evaluators in Busan

(English version below)

Finalmente, el 4 º Foro de Alto Nivel sobre la Eficacia de la Ayuda  se inició en Busán, Corea. Hay algunos posts muy interesantes en diferentes blogs que discuten su desarrollo, y es fácil encontrar los documentos más importantes, así como interesantes análisis de periodistas.  Pero en esta ocasión me gustaría dar lugar a dos breves notas que dos evaluadoras en Busán me ha enviado para compartir en este blog.

El primero aporte es el de Oumoul Ba Tall, ex presidente de AfrEA y también ex presidente de la IOCE. El segundo es de Gloria Vela Mantilla, ex presidente de la ReLAC y ex miembro de la Junta de la IOCE. Ambas son personas muy activas en el mundo de la evaluación, y estoy feliz de tenerlas hoy aquí.

Si desean hacer una pregunta o una reflexión acerca de sus opiniones, por favor utilicen la sección de comentarios …

Oumoul Ba Tall

Hola Pablo,

No me  he conectado anteriormente, es necesaria demasiada atención  aquí en Busan, y ya estamos cansados.

La ceremonia de inauguración fue ayer, con discursos muy bueno como siempre, pero me gustó especialmente el de su Majestad la Reina de Jordania, una mujer mágica y llena de inspiración, y  elocuente. Aspectos destacados:

– La ayuda no es caridad, se trata de INVERSIÓN para el beneficio mutuo
– En la nueva era en que nos encontramos,  los gobiernos deberían cambiar de Decidir el desarrollo a Facilitarlo; de Liderarlo a Acompañarlo;

– La la nueva era de la  ayuda es acerca de la equidad
– La ayuda inteligente o efectiva apunta a crear trabajos, invertir en los niños, dar prioridad a las mujeres
– La ayuda no es sólo para la reducción de la pobreza, es también para la creación de la prosperidad

y al final:
– ¿No es el propósito de la Ayuda  poner fin a la Ayuda?
Podemos y Debemos…

Voy a enviar algunos aspectos destacados de la difícil tarea que se enfrentan las Organizaciones de la Sociedad Civil para obtener que el Documento Final de Busan (8 ª edición  esta mañana) incluya cuestiones tales como 

(i) la referencia a los derechos humanos (esto es resistido por China), 

(ii) Entorno propicio para las Organizaciones de la Sociedad Civil (para desentrañar el MIEDO de los países asociados), y 

(iii) una posición menos prominente para el sector privado,  para el cual se le ha asignado un párrafo entero para abogar por un entorno más favorable para el sector privado (esto es empujado por EE.UU.).

Oumou

from Busan

———-

Gloria Vela-Mantilla

Mil gracias, querido Pablo. Pero es bastante complicado para mi pues el tiempo es limitado!!!

 Lo intentaré, aunque creo que lo que podré hacer es hacer un informe al regreso. Aquí van unas primeras y cortas líneas

El Foro de las Organizaciones de la Sociedad Civil fue muy interesante y ha resaltado la necesidad URGENTE de profundizar los procesos de “apropiación democrática” en nuestros países, para lo cual la aplicación de sistemas de PSyE de RESULTADOS (cambios en la calidad de vida, en la exigibilidad de derechos y en el desarrollo sostenible) con metodologías participativas, empieza a ser reconocida como una necesidad, en tanto facilitaría el rol social y político de las OSC y su participación en Planes, programas y estrategias de Desarrollo.

Y por lo visto ayer en el primer día del FAN 4 (Foro de Alto Nivel), que estuve en el taller sobre “Resultados” también los gobiernos “donantes y receptores” resaltan la necesidad del seguimiento y evaluación basado en Resultados! Esto creo es una gran oportunidad para redes como la ReLAC y para la preocupación de mejorar la cualificación de los/as evaluadores/as.

 Un abrazo grande

Gloria

&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&

English version!!


Finally, the 4º High Level Forum on Aid Effectiveness began in Busan, Corea.  There are some great posts in different blogs discussing its development, and its easy to find the most important documents and very nice journalists reviews. But in this occasion I would like to share two brief notes that two evaluators in Busan sent me in order to share in this blog.

The first one is from Oumoul Ba Tall, former president of Afrea and also former president of the IOCE. The second one is Gloria Vela Mantilla, former president of the ReLAC and former member of the IOCE Board of Trustees. Both are very active persons in the world of evaluation, and I´m happy to have them today here.

If you like to make a question or a reflection about their opinions, please use the comments section below…

Oumoul Ba Tall

Hi Pablo,

I have not connected earlier, too much focus needed here in Busan we are already tired.

The opening ceremony was yesterday, really good speeches as usual, but I particularly liked the adress of her Majesty Queen of Jordan, a fabulous lady full of inspiration, and so eloquant. Highlights: 

– Aid is not Charity, it’s about insvestment for mutual gain

– In the new era we are, governments should shift from Deciding development to Facilitating; from Leading to Convening

– the new aid era is about Equity

– SMART AID targets jobs, invest in children, prioritize women

– Aid not only about Poverty Reduction; is also for Creating Prosperity

and the end:

– Isn’t the purpose of Aid to end Aid

We can and We must

I will send some highlights on the difficult task CSO is facing to get the Busan Outcome Document (8th edition this morning) include issues such as (i) reference to Human Rights (this is a CHINESE PULL), (ii) Enabling environment for CSOs (to tease out Partner countries’ FEAR), and (iii) a less prominent posture for the Private sector for which a whole paragraph is allocated to plead for a more Enabling Environment for the Private Sector (this is a US PUSH!).

Oumou

from Busan

— —- —

Gloria Vela-Mantilla

Many thanks, dear Pablo. But it’s pretty hard for me because time is limited!

I’ll try, but I think what I can do is to make a report at my return. Here are some initial and short thoughts

The Forum of Civil Society Organizations was very interesting and highlighted the urgent need to deepen the process of «democratic ownership» in our countries, for which the application of RESULTS  Systems of Planning, Monitoring and Evaluation (changes in the quality of life, the enforceability of rights and sustainable development) with participatory methodologies, has started to be recognized as a necessity, because it would facilitate the social and political role of CSOs and its participation in plans, programs and strategies. 

Yesterday, on the first day of  the HLF4,  I was at the workshop on «Results», and apparently governments «donors and recipients» highlight the need for results- based monitoring and evaluation ! This I think is a great opportunity for evaluation networks as ReLAC and for the efforts to improve the qualification of the evaluators

A big hug

Gloria

Viernes light: Andar, Comer, Aprender

El que nunca sale de su tierra, vive siempre lleno de prejuicios…

Esta cita me impactó hace ya varios años, y me ayudó a encuadrar tanto vivencialmente como luego teóricamente eso que los antropólogos llaman el relativismo cultural.

Estos breves videos marcan algo existencial y por tanto motivador y movilizador:

     El deseo de andar por otros caminos que los siempre conocidos,

          El gusto por comer más allá de lo que uno siempre ha comido,

               La pasión por aprender… la pasión por aprender…

–

–

–

(si recibes este post por email, es posible que tengas que entrar a la página web para ver los videos)

Gracias a Dave Algoso conocí estos videos…

Busán, evaluación y después…

El 4º Foro de Alto Nivel sobre la Eficacia de la Ayuda está a la vuelta de la esquina, comenzando en apenas siete días en Busán, Corea.  Éste será el último de este tipo de encuentros, luego de los desarrollados en Roma 2002, París 2005 y Accra 2008.  El foco de Busán estará puesto en  los resultados de las acciones de ayuda y desarrollo, dando continuidad a la  fuerte tendencia en este campo referida a la identificación de resultados y en la evidencia que da cuenta de los mismos.

Un antecedente clave de ello resultó el documento When will we ever learn? Improving lives through impact evaluation,  publicado por el Center for Global Development, un think tank de Washington D.C.  En dicho trabajo justamente se presentaban estas inquietudes: ¿cuándo vamos a aprender de la cantidad de dinero que estamos gastando en proyectos de desarrollo, sin saber si funcionan, cuándo funcionan, con qué resultado y cuál es la evidencia que tenemos de ello?  De ahí al creciente interés y presión por evaluaciones rigurosas, sólo hubo un paso.  Lo que es de lamentar fue (¿es?) la asimilación que se hizo de la noción evaluaciones rigurosas con las del tipo RCT o pruebas controladas aleatorias,  sin reconocer (como bien  lo indicaba Jim Rugh en un post anterior) que éstas son pertinentes apenas para escenarios simples, antes que aquellos complicados y complejos.

Otros problemas han venido siendo señalados por la iniciativa The Big Push-Forward: la visión de planificación que pretende tener todo bajo control a fin de intervenir sin sorpresas y sin consecuencias no planificadas; la mayor facilidad y sencillez de conocer los resultados de una intervención a corto plazo, favoreciendo el destinar mayores recursos en aquello que puede tener resultados visibles, tangibles y claros en dicho término; una desatención evidente a desentrañar la caja negra de los procesos de desarrollo y ayuda; etc. Todos estos factores confluyen a un estrechamiento de las formas en que la efectividad del desarrollo es abordada, acentuando muchas veces monolíticamente  los asuntos de rendición de cuentas antes que los de aprendizaje.

Señalar estos asuntos es importante para no perder perspectiva y no quedar encandilados ante la lluvia de mediciones y nuevos índices que no dejan de aparecer en este campo.  Vale decir, valiosos instrumentos… pero instrumentos al fin. Sino puede pasarnos como a aquello del refrán: para quién sólo tiene un martillo, todas las cosas que ve le parecen clavos!

Sumándose al Índice de Desarrollo Humano de PNUD, al Índice de Percepción de Corrupción, y el también nuevo QuODA (índice de Calidad de la Ayuda Oficial al Desarrollo), la iniciativa 3ie (International Initiative for Impact Evaluation) está preparando para el año próximo uno referido al Compromiso con la Evaluación de la Efectividad del Desarrollo.  El mismo apunta a promover un mejor uso de la evidencia generada por la evaluación, dando un reconocimiento por esto a quienes hacen un uso sistemático de ella, y así incentivando a otros a hacer lo mismo.  Por ahora están invitando a recibir opiniones en una encuesta muy breve sobre la relevancia de medir el compromiso con la evaluación y cómo hacerlo.

Regresando a Busán, soy más bien escéptico de su capacidad de generar movimientos transformadores novedosos. Sí es posible que pueda fortalecer algunos discursos y legitimar algunas prácticas importantes para dar mayor voz a la sociedad civil y favorecer la transparencia, la rendición de cuentas mutua (no sólo de quien recibe sino también de quien dona), y un mayor papel para los países receptoras de la misma.  Los resultados de la discusión de Busan serán seguramente disputados y criticados, pero si lograran mejorar lo dicho y hecho por la Declaración de París (la que aún con problemas es la mejor que tenemos) , sería un progreso y un avance.  Tras Busán, habrá que ver con qué ánimo uno vuelve al Sur…

(si recibes este post vía email o RSS, es posible que tengas que ir al sitio web para ver el video)