(re)Pensando los criterios de evaluación del Comité de Ayuda al Desarrollo

El Comité de Ayuda al Desarrollo (CAD) de la OCDE formuló hace más de 15 años sus Criterios de Evaluación, los que fueron ampliamente adoptados por la comunidad global de evaluación. Estos se reflejan actualmente en políticas, manuales y en términos de referencia de una amplia gama de evaluaciones individuales por parte de ministerios de desarrollo, agencias, bancos, socios, ONG, etc. Generados originalmente para evaluar programas y proyectos de asistencia al desarrollo, han repercutido en las aproximaciones de la Gestión por Resultados y en una enorme diversidad de escenarios.

Los (ya famosos) criterios son los siguientes:

Pertinencia: El grado en que la actividad de asistencia se adapta a las prioridades y políticas del grupo objetivo, del receptor y del donante.

Eficacia: Medida del grado en que una actividad de asistencia alcanza sus objetivos.

Eficiencia: Mide los resultados (outputs), cualitativos y cuantitativos, en relación con los insumos (inputs). Es un término económico que apunta a detectar si la iniciativa utiliza los recursos menos costosos posibles para lograr los resultados deseados.

Impacto: Refiere a los cambios positivos y negativos producidos por una intervención de desarrollo, directa o indirectamente, intencional o involuntariamente.

Sostenibilidad: Contempla la probabilidad que los beneficios de una actividad continúen después de que se haya retirado el financiamiento de los donantes. La sostenibilidad contempla aspectos tanto ambiental como financiero.

Sin embargo, diversas realidades mundiales son hoy muy diferentes al momento en que estos criterios de evaluación fueron postulados. La globalización y la revolución de la información eran consideradas al inicio del siglo como fuerzas positivas, capaces de conducir a mejores conexiones entre pueblos y países, portadoras de la potencialidad de resolver desafíos como el cambio climático, la migración, los conflictos religiosos e ideológicos así como los racistas y étnicos, etc. En la actualidad somos testigos de la emergencia de movimientos en todo el mundo de rechazo a la globalización y su impacto en la inequidad y la desigualdad. El desarrollo ya no es una preocupación solamente para las naciones y pueblos «subdesarrollados» sino que se presenta como una empresa global, donde todos los países del mundo necesitan «desarrollarse» para alcanzar los Objetivos de Desarrollo Sostenible. Si bien las diferencias de ingresos entre los países seguirán siendo un foco clave de las políticas de desarrollo, la expectativa es que ahora se discutan y analicen desde la perspectiva del logro del desarrollo sostenible global.

La evaluación global del desarrollo atraviesa a su vez un cambio similar, desde una profesión que se originó en países y organizaciones donantes, hasta consolidarse en su énfasis en los sistemas de monitoreo y evaluación nacionales en apoyo de las prioridades y los objetivos de los países. Los desafíos a los que se enfrentan los sistemas de evaluación al abordar estos problemas resultan, al mismo tiempo, locales, nacionales y globales. Repensar, revisar, o al menos discutir los criterios de evaluación se convierte entonces en una necesaria e importante actividad.

Leí por primera vez un cuestionamiento a la ubicua utilización de los criterios de evaluaicón del CAD desde una alta esfera del desarrollo en el Blog de Caroline Heider, directora del departamento de Evaluación del Banco Mundial. Ella comenta que los cinco criterios del CAD han venido a sostener y legitimar la enorme mayoría de los sistemas de evaluación en el campo del desarrollo internacional, enmarcando sus preguntas en torno a estos criterios (solicitados desde los Términos de Referencia) y pautando la redacción  (en su lenguaje) de los informes de evaluación.  Sin embargo,  la adhesión mecánica a los mismos en las evaluaciones “… tienden a menudo a dejar a los lectores con preguntas sin respuestas.” Para ella ese fue el puntapié inicial para dar cuenta que, después de 15 años de utilización de los criterios de evaluación del CAD, era hora de replanteárselos. Caroline ha desarrollado una muy completa serie llamada Rethinking Evaluation, dedicada a desempaquetar y debatir los criterios de evaluación mediante los cuales se juzga el éxito y el fracaso de las intervenciones de asistencia al desarrollo y así valorar si siguen siendo relevantes y aptos para el futuro.

Unos meses más tarde del inicio de dicha serie, Zenda Ofir comenzó en su blog su propia serie de reflexiones (las cuales alcanzaron a seis entradas). Al leer cada una de dichas entradas resulta muchas veces difícil saber si quedarse con la riqueza de sus reflexiones o bien los aportes de sus excelentes comentaristas. ¡Todo vale la pena!

Este movimiento ha precedido (y quizás impulsado) una consulta oficial con las partes interesadas de parte del Comité de Ayuda al Desarrollo, interesado en explorar cómo dichos criterios de evaluación pueden adaptarse al nuevo escenario del desarrollo y a la Agenda 2030. La consulta realiza básicamente tres preguntas:

    1. ¿Qué deberíamos mantener tal como está?

    2. ¿Qué deberíamos cambiar o adaptar?

    3. ¿Hay nuevos criterios que deben agregarse?

El proceso de consulta ya está iniciado y se mantiene abierto hasta el 31 de octubre de 2018. Se puede acceder al mismo en el siguiente enlace:  https://dacevaluationcriteria.org/, donde anuncian que en breve estará disponible en castellano y francés.

La organización IDEAS (International Development Evaluation Association), la red global de evaluadores del desarrollo, está directamente involucrada en esta iniciativa de consulta. Además de incentivar a sus miembros a participar en ella, está invitando a incluir la discusión sobre la adaptación de los criterios del CAD en un debate más amplio sobre el futuro de la evaluación del desarrollo global. Me parece un muy buen ejemplo a seguir por otras redes y asociaciones de evaluación regionales y nacionales. 😉 ¿Alguien recoge el guante?

Anuncio publicitario

Caja de herramientas (Toolkit) para redes y asociaciones de evaluación (VOPE)… y otras también

A finales del año 2017 vio a luz en castellano el Manual sobre Capacidad Institucional de Organizaciones Voluntarias para la Evaluación Profesional (o VOPE Tookit) destinado a redes, sociedades y asociaciones de evaluación (las VOPE). Este manual fue trabajado largamente por la Organización Internacional para la Cooperación en Evaluación (IOCE) y contaba ya con versiones en Inglés y Francés.

El manual consiste en una selección de descripciones, herramientas, consejos, ejemplos, y software desarrolladas por diversas VOPE y otras instancias que trabajan para apoyar a organizaciones sin fines de lucro. Está destinado a voluntarios y trabajadores involucrados en el establecimiento y gestión de las VOPE. No es una compilación exhaustiva de todos los temas a los que deberían prestar atención las VOPE, por lo que no sustituye el tipo de información que podría proporcionar un profesional experimentado o un especialista.

El manual está estructurado en tres secciones.

La sección 1 contiene información relacionada con las VOPE en el proceso de fundación y en el proceso de formalización. También trata asuntos importantes de gobernanza relacionados con las VOPE emergentes y desarrolladas.

La sección 2 contiene información relacionada con la gestión empresarial de las VOPE y su institucionalización.

La sección 3 contiene información sobre las actividades que desempeñan normalmente las VOPE. Estas son actividades que hacen a las VOPE diferentes de otras organizaciones y acentúan el valor añadido de las mismas.

A diferencia de la Caja de Herramientas en otros idiomas, la versión en castellano no cuenta todavía con referencias de documentos en español. La invitación ha quedado hecha para revisar y examinar el Manual, y cargar documentos que puedan utilizarse para respaldar distintos aspectos de la vida de estas comunidades de práctica que son las VOPE.

La traducción al castellano de la Caja de Herramientas fue elaborada por un equipo voluntario coordinado por Gunter Rochow (Canadá) y Josette Arévalo (Ecuador), con el aporte de Inés Jennifer Bernal Rivas (Venezuela) y Pablo Rodríguez-Bilella (Argentina).

@EvalPartners lanza los «Desafíos de Innovación». #Eval

Ya a cinco años de su nacimiento en Ghana, la iniciativa EvalPartners no deja de mostrarse en movimiento. Pues además de ser una asociación global para fortalecer las capacidades nacionales de evaluación, también EvalPartners es en sí mismo todo un movimiento. Para ello basta con recordar cómo a fines del 2015 (aquel año internacional de la evaluación -#EvalYear-), lanzó la primera visión global a largo plazo para la evaluación, desarrollada durante el año 2015 a través de un intenso proceso participativo con la comunidad global de evaluación.

Ahora, tras el reciente Tercer Foro Global, hay nuevos lanzamientos e interesantes novedades. En particular, me gustaría compartir el lanzamiento de la ronda 2017 de «Desafíos de Innovación» (Innovation Challenges) . EvalPartners está particularmente interesado en fomentar ideas que reúnan a los diversos actores del campo de la evaluación atravesando las fronteras nacionales y, en particular, las ofertas de colaboración que involucren tanto a los evaluadores como a los usuarios de los resultados de la evaluación. En este sentido, los «Desafíos de innovación» apuntan a expandir los límites de la práctica de la evaluación más allá de los evaluadores y los comisionados de evaluación. Algo realmente relevante, pertinente, y necesario (en la línea de lo que fue el trabajo de las Historias de Evaluación que marcaron la diferencia).

Hace un par de días, Ziad Moussa, presidente de IOCE y co-presidente de EvalPartners, compartió la siguiente comunicación (mi traducción):

Estimados colegas,

gracias a una generosa contribución del Gobierno de Finlandia, EvalPartners se complace en lanzar la ronda 2017 «Desafíos de la innovación». El objetivo de esta ronda de desafíos de innovación es el de pilotear, experimentar e implementar ideas de incidencia (advocacy) para enfoques basados ​​en la evidencia, a fin de que puedan ayudar a atraer a actores «no tradicionales» de la evaluación para aprovechar su contribución a la EvalAgenda 2020.

Nuestras conversaciones durante el 3er Foro Global de la Evaluación organizado por EvalPartners en Bishkek – Kirguistán en abril de 2017 concluyeron que «… es necesario construir la demanda de resultados de evaluación entre una amplia gama de actores, incluyendo parlamentarios, el sector privado, académicos, grupos de la sociedad civil, ciudadanos y medios de comunicación . Esta demanda debe ser institucionalizada a través de leyes y políticas sobre la práctica y el uso de la evaluación. Dado que la traducción de los Objetivos de Desarrollo Sustentable (SDG) a los niveles nacionales y locales sigue siendo un desafío, una de las funciones de la evaluación es hacer que los Objetivos de Desarrollo Sustentable tengan sentido para los diversos interesados ​​y en diversos contextos … «. Hacia esto es precisamente lo que apunta este desafío de innovación: abriendo los límites de la práctica de la evaluación más allá de los evaluadores y los comisionados de evaluación.

EvalPartners privilegiará acciones ágiles, rápidas y «out-of-the-box».  A diferencia del mecanismo Peer to Peer (P2P) que está restringido exclusivamente a Organizaciones Voluntarias para la Evaluación Profesional (VOPEs), los Desafíos de Innovación están abiertos a VOPEs, pero también a organizaciones sin fines de lucro, academia, coaliciones de incidencia, think-tanks y otras Organizaciones de la Sociedad Civil, en tanto se vinculen de manera orgánica con una o más VOPEs del Sur Global. Se espera que los resultados de los Desafíos de Innovación informarán el plan de acción 2018-2020 de EvalPartners.

Esperamos recibir sus propuestas y trabajar juntos con ustedes en nuevos «desafíos».

Ziad Moussa, Presidente, Copresidente de la IOCE, EvalPartners

 

La información completa sobre este llamado de Desafíos de Innovación, incluyendo elegibilidad, criterios, y proceso de postulación (que vence el 31 de Julio), puede consultarse en los siguientes documentos:

  • Call for Application for the 2017 Innovation Challenge (PDF) (Word)
  • Application Form (PDF) (Word)

Veamos qué se puede aportar desde estos lares… 😉

Evaluación y profesionalización: ¿extraña pareja? (parte 1)

La Agenda de Evaluación Global 2020, que
presenta una visión del campo evaluativo para el corto y mediano plazo, fue gestada y validada a través de un proceso de consulta a nivel internacional que involucró a las sociedades de evaluación y a evaluadores individuales. En dicha Agenda, la profesionalización es caracterizada como una de las prioridades para la comunidad global de evaluación. De ese modo, se sumó a la conversación, debate o disputa sobre la vinculación de dichos términos: profesionalización y evaluación.  Posiblemente dicha conversación, debate o disputa sobre este binomio esté dando cuenta de una de esas
cuestiones fundamentales del campo evaluativo, en cuanto implican temas  y problemas que periódicamente en él  reaparecen bajo nuevos formatos.

Hasta donde he podido conocer, este (recurrente) debate ha tenido lugar principalmente en el contexto norteamericano (EE.UU y Canadá), seguido por el europeo. Si sumamos al mismo a los colegas de Australasia, podríamos decir que ha sido una polémica prioritariamente anglófona.  Me interesa entonces reflexionar  en castellano sobre este tema, a fin de sumar voces y perspectivas latinoamericanas, las que creo han sido minoritarias en la discusión. Para ello, confío dedicar tres entradas del blog a esta ¿extraña pareja? de la evaluación y la profesionalización.

En esta primera entrada, además de introducir la problemática, apunto a presentar brevemente algunas de las características de la agenda en torno a la profesionalización de la evaluación, explicitando ciertas preocupaciones que parecen estar vinculadas a ese debate.

A su vez, la profesionalización es un tema estrechamente vinculado al colectivo de evaluadores, es decir, a las sociedades, asociaciones y redes de evaluación, recientemente identificadas como VOPEs -Organizaciones Voluntarias para la Evaluación Profesional-. Ha sido al interior de las VOPEs (y a veces entre ellas) que la profesionalización ha sido discutida, argumentada y construida, por lo que la segunda entrada de esta serie va a presentar dichos esfuerzos.

En la tercera y última entrada, me interesa aportar algunas ideas respecto a cómo sería un proceso deseable hacia la profesionalización de la evaluación, atendiendo a su cariz colaborativo y generado desde sus  bases (bottom up).

La agenda por la profesionalización

Junto a una mayor conciencia global respecto a la relevancia de la evaluación como herramienta clave para apoyar la mejora y/o el desarrollo de políticas públicas, existen también preocupaciones importantes sobre su práctica y legitimidad. En primer lugar, existe una percepción generalizada en cuanto existen demasiadas evaluaciones de baja calidad, un punto fuertemente vinculado con cuestiones de competencias, es decir, garantizar que los que realizan trabajos de evaluación estén calificados para ello. En segundo lugar -y en algunos contextos- se vislumbra un creciente desplazamiento de la evaluación por parte de otros esfuerzos, junto a la “invasión” del campo evaluativo por parte de otras empresas profesionales (analistas de negocios, analistas de big data, etc.). En tercer lugar, hay un déficit en cuanto credenciales y estándares establecidos que identifiquen el correcto obrar de los evaluadores.

Estos son los temas que periódicamente han dado lugar a debates sobre la profesionalización de la evaluación. En ellos puede identificarse, por un lado, la posición que la profesionalización es una vía pertinente y relevante para superar aquellos problemas, capaz de otorgar a la evaluación un mayor estatus, reconocimiento y, en última instancia, una mayor cuota de mercado. Por otro lado, encontramos una posición agnóstica que, aún reconociendo la gravedad de los problemas anteriores, duda o cuestiona si la profesionalización es el camino que la evaluación debería seguir en este tiempo.

Así como la profesionalización ha sido un tema controvertido en el campo de la evaluación, la sociología de las profesiones ilustra que ese ha sido el caso para todas las profesiones establecidas. El proceso real hasta adquirir el estatus profesional les ha llevado varias décadas (o siglos), siempre siendo un proceso altamente discutido y negociado, desarrollado a través de una serie de complejas interrelaciones de múltiples actores: los practicantes del oficio, los actores del estado y del mercado, las comunidades de práctica, etc.

Bob Picciotto, desde el marco de la sociología de las profesiones, sintetiza algunas de las características que debe construir una agenda para la profesionalización de evaluación: el reconocimiento público que la ocupación promueve el interés general; procesos reconocidos de desarrollo disciplinar (educación especializada, exposición continua a la práctica de expertos); autonomía profesional (la propia profesión controla la contratación, la calidad de la formación, la aprobación de directrices profesionales, la aplicación de normas éticas, etc.); el acceso a la práctica (la institucionalización de la experiencia profesional mediante la educación terciaria de alta calidad y una amplia gama de posibles restricciones sobre el acceso a la práctica profesional: designación, acreditación, certificación, licencias).

La relevancia de este marco es que no señala a un atributo o característica particular como suficiente y necesario para la profesionalización de una ocupación. En lugar de eso, da cuenta que se necesita una masa crítica de todos esos atributos, en estrecha articulación con sus contextos particulares de desarrollo. Este es un punto fundamental, ya que muchas veces la discusión de la profesionalización dentro de la comunidad evaluadora se ha centrado principalmente en los atributos de acceso a la práctica, enfatizando las diferentes categorías de designación que restringen el acto profesional o el uso del título. Este limitado enfoque ha implicado, por tanto, subrayar inmediatamente la necesidad del campo evaluativo de avanzar hacia esquemas de certificación, acreditación o designación.

Este énfasis en los atributos de acceso a la práctica ha sido probablemente el desencadenante de la aparición de diferentes reacciones, expresadas como preocupaciones respecto a lo que se presenta como tendencias exclusivistas de la práctica evaluativa. Junto a ello, la cuestión de la identidad del evaluador -quién es y quién no es “realmente” evaluador-, ha estado también presente. Esto no sólo se ha vinculado con preocupaciones sobre la cuota de mercado (definición de quién puede hacer evaluaciones), sino también con temores de que la profesionalización del campo evaluativo pueda crear barreras a la innovación y creatividad, condicionando o limitando los temas, áreas o enfoques considerados legítimos.

Incluso aquellos que entienden a la profesionalización como una respuesta pertinente y relevante a la falta  de calidad de las evaluaciones, señalan sus precauciones si el camino para convertirse en evaluador y definir sus competencias fuera a emerger como un resultado de la imposición de comportamientos particulares de parte de una organización «externa», por fuera del control de la comunidad evaluadora, y sin un proceso de discusión democrática.

En el campo de la evaluación, la respuesta más clara a esta preocupación ha implicado considerar a las VOPEs -las sociedades, asociaciones y redes de evaluación- como los actores clave para llevar a cabo procesos legítimos y colectivos de discusión de aquello que está implícito en una evaluación profesional. A las VOPEs estará dedicada entonces la segunda entrada de esta serie.

#AfterEval: El Enfoque de Sistemas en Evaluación, por @PabloVidueira desde @AproevalIbero . #eval & #SystemsThinking

Entre varias cuestiones interesantes que están sucediendo en el campo de la Evaluación, quería señalar brevemente el desarrollo de aquellos encuentros temáticos que realizan las redes de evaluación de manera presencial, junto con su respectiva transmisión online y la posibilidad de poder consultarlas posteriormente. Un ejemplo valioso en este sentido lo realiza la Asociación Ibérica de Profesionales por la Evaluación (AproEval)  en sus #AfterEval, instancias de reunión y encuentro para reflexionar sobre temas de Evaluación. Los mismos son presentados del siguiente modo:

Os recordamos que la iniciativa AfterEval está pensada para el intercambio directo, cercano y distendido de experiencias de evaluación. Tras unos 20 minutos de exposición, se abre turno para preguntas y respuestas que nos permitan adentrarnos en la “cocina” de la evaluación: decisiones sobre la marcha, dificultades y aprendizajes reales, qué podría haberse hecho mejor, etc. Y como “efecto indirecto”, siempre hay un hueco para charlar con otros(as) colegas y socios(as) y hacer contactos.

pensamiento-sistemicoEl último evento tuvo lugar el pasado Martes 28 de Febrero, con el título «El Enfoque de Sistemas en Evaluación«, y estuvo a cargo del colega Pablo Vidueira (@PabloVidueira en Twitter). De la página de AproEval reseño lo siguiente:

Hemos programado un nuevo AfterEval en Febrero. Esta vez, nos acompañará Pablo Vidueira, investigador del grupo de Planificación y Gestión del Desarrollo en la Universidad Politécnica de Madrid, entidad desde la que desarrolla su labor como consultor, docente e investigador en el área de evaluación de programas y proyectos, especialmente a través de enfoques mixtos, participativos y de sistemas.

Pablo tratará el enfoque de sistemas, algo originariamente externo al ámbito de la evaluación, pero que va ganando popularidad en nuestro campo en los últimos años. Durante el AfterEval tendremos la oportunidad de comentar estos ámbitos de expansión del enfoque de sistemas, sus fundamentos, y algunos recursos para profundizar en ello.

Para aquellas personas que estéis interesados o interesadas en conocer más sobre campo, os dejamos una buena primera aproximación aquí.

Una iniciativa valiosa, y digna de ser imitada allende los mares. Felicitaciones a los amigos de Aproeval, y seguimos compartiendo experiencias y aprendizajes en la lengua cervantina… Debajo, la grabación del #AfterEval…

.