#Eval conversación… VOPEs, asociaciacionismo y evaluación (dando batalla ;-)

Vía Twitter me dice Carlos Rodríguez Ariza que estamos teniendo polinización cruzada, al hablarnos de un blog a otro. Más allá de la chanza, festejo la posibilidad de usar esta tribuna que, por su propia naturaleza, es abierta para otros ojos, incluso para aquellos a quienes no nos dirigimos ex professo  (a diferencia de los miembros de grupos de emails).

Para continuar con esta #eval conversación, refresco que la misma arrancó con Carlos hablando de Asociacionismo en Evaluación, y me provocó (en su doble sentido) contestarle con VOPEs, asociacionismo y evaluación. El tercer round fue para Carlos, con Asociacionismo en evaluación, sí PODEMOS, pero no sólo con buenas intenciones, y van dos (¿dos buenas intenciones?) Pues venga, no vamos a repetir los argumentos ahí esbozados (de mi parte) y detallados (de parte de Carlos) ;-) . Pero me animo a una breve síntesis de puntos que van emergiendo:

conversacion_red& el asociacionismo en evaluación está de moda, y ojalá que dure y tenga el mayor efecto o influencia estructural posible.
& las VOPEs (sociedad civil con su foco en la evaluación) ha de posicionar la evaluación en la arena política.
& La política convive con la retórica (dato de la realidad), la cual puede ser controlada prestando atención a cuestiones de aprendizaje y mutua rendición de cuenta (¡evaluación por donde lo mires!)
& Las relaciones de poder atraviesan la realidad humana, entonces están también entre los actores, sistemas, procesos y estructuras evaluativas.
& Un desafío para las VOPEs es llevar la evaluación más allá de la arena política, a la arena social (valores sociales y práctica social, al decir de Murray Saunders): procurar que incluso la ciudadanía capte la importancia de la evaluación.
& Una dificultad grande resulta cuando las VOPEs no funcionan, y son parte del problema a superar: ejemplos de asociaciones que no tienen aparentemente una finalidad clara, duplicación de redes de evaluación en una misma región, etc.
& Y de regreso al punto de la importancia de evaluar el funcionamiento de las VOPEs, atendiendo a la cuestión de la mutua cesión de valor añadido entre participante y VOPE.

Aparece en este punteo el asunto de la función social de las VOPEs, en cuanto incidir en que el campo de la evaluación y su relevancia sea asumido también por la sociedad civil o ciudadanía en su conjunto.  Estamos hablando aquí del ambiente favorable a la evaluación en sentido amplio, en dicho contexto o estructura social ampliada.  Tarea para nada nimia, y  estrechamente vinculada a la capacidad de liderazgo y masa crítica de las VOPEs. Un ejemplo en este sentido lo da Jean Quesnel (en la página 22):

Las asociaciones de evaluación juegan un papel crucial desde el nivel local hasta el nivel internacional en el desarrollo de la capacidad de evaluación. Por ejemplo, no se debe subestimar la influencia que tuvieron el Washington Research and Evaluation Network y el Capítulo de Ottawa de la Sociedad Canadiense de Evaluación en el fortalecimiento de la función de evaluación en sus respectivas capitales y, por extensión, en el desarrollo de sus sistemas nacionales de evaluación y el uso gubernamental de la evaluación por el legislativo y ejecutivo.

Habría que conversar con Jean o con algunos colegas de Asociación Americana de Evaluación y de la Sociedad Canadiense de Evaluación para ponerle carne a tan interesante comentario, merecedor sin duda de un estudio de caso (¿o una evaluación de impacto?;-) ). Lo poderoso de esta idea es cuánto presenta de la capacidad y potencialidad de las VOPEs “tranqueras afuera”, vale decir, desde su espacio de influencia hacia el conjunto social.

Otro cantar es el de las VOPEs “tranqueras adentro”, como menciona varias veces Carlos en sus posts, aunque sin apelar al vocabulario campestre.  Aquí habría bastante que indagar y profundizar, y porqué no evaluar…

Pero me parece que hasta aquí llego yo hoy. Y queda lanzado el guante públicamente, amigo Carlos, para continuar este diálogo en un panel sobre este tema en la Conferencia de ReLAC, el próximo Marzo en Lima, Perú. ¿Te sumas?

Posgrados en #evaluación en América Latina

A pocos días de haber comentado respecto la Maestría en Evaluación de Políticas Públicas en Entre Ríos (Argentina), las amigas de Enclave de Evaluación (evaluación y enfoque de derechos) presentan en sociedad en su serie Panorámicas Enclave su número 01 dedicado a La evaluación de programas y proyectos en el espacio universitario de América Latina: estudios de posgrado, elaborado por Mariano Jurado González.

Luego de introducir el estudio, su metodología, y algunas decisiones adoptadas para el mismo, Mariano sintetiza que:

Captura de pantalla 2014-11-07 a las 12.30.02Partiendo de un ámbito geográfico general, la prospección realizada ha generado un total de 81 registros en estudios relacionados con la disciplina evaluativa en los últimos cinco años: 25 maestrías, 6 especializaciones, 37 diplomados y 13 cursos.

Más concretamente, dentro de los estudios de posgrado de Evaluación de Programas y Proyectos de Desarrollo, Sociales o de Cooperación, identifica dos maestrías, una especialización, y cuatro diplomados.  Un apartado especial es dedicado a los posgrados en evaluación en la región andina, con particular énfasis y espacio para el Perú (parece que Perú se las trae, eh? Ya lo veremos cara a cara en Marzo próximo… ;-) )

Valioso el rescate y la sistematización.  Voy a leerla con más atención estos días para chequear algún dato, el cual descuento será recibido con beneplácito por el autor. Contar con esta información actualizada ha sido siempre una preocupación (aunque no una prioridad) de redes y asociaciones de evaluación de la región.

Seguimos atentos entonces a los nuevos aportes de Enclave de Evaluación… Enhorabuena!

 

IV Conferencia de la ReLAC: Marzo 2015, Lima (Perú) – #EvalYear

Con el inspirado e inspirador tema El Futuro de la Evaluación en América Latina y el Caribe: Desarrollo, Equidad y Cultura  se desarrollará entre el 11 y 13 de Marzo del año próximo (el #EvalYear), la IV Conferencia de la ReLAC, la Red de Seguimiento, Evaluación y Sistematización de América Latina y el Caribe.  A diez años de su conferencia inaugural, y luego de haber pasado por Bogotá y San José de Costa Rica en las anteriores instancias, se vuelve -como dice el tango- al primer amor: Lima ;-) .

logo ReLACAdemás de darle su espacio al tema del desarrollo (como en conferencias anteriores), y al de la equidad (como está siendo el caso en diversas reuniones de evaluación), la cuestión de la cultura ha sido incorporada como el tercer eje fuerte del tema de esta conferencia. Siguiendo los pasos de los colegas de AfrEA (la Asociación Africana de Evaluación), así como de otras más (ver aquí), un grupo de evaluadores de la región está interesado en discutir cuánto pesa, importa y es relevante la dimensión cultural en los esfuerzos evaluativos.  En el caso de la ReLAC, un grupo de trabajo se creó hace un tiempo con el nombre Evaluar desde Latinoamérica, y es de esperar que se reactive y comparta sus reflexiones en ocasión de la conferencia.

En tal sentido, sugiero darle un vistazo a los distintos grupos de trabajo en existencia, inscribirse en aquel que nos parezca interesante y relevante, y resucitarlo desde adentro (¡valga la metáfora pascual!). Con anterioridad a la pasada conferencia  en Costa Rica, el grupo de Sistematización y Evaluación tuvo un intercambio notable de información y discusión que permitió armar un panel central y la presentación de diversos artículos durante el desarrollo de la misma. Del mismo modo podrían reactivarse varios de estos grupos, teniendo como norte esta IV Conferencia.

La página web de la conferencia ya cuenta con información para expositores (ejes temáticos, formatos de presentaciones, etc.) como así también información para propuestas de cursos y talleres. Estos últimos se desarrollarán entre el lunes 9 y el martes 10 de marzo, y han resultado siempre una fantástica oportunidad de formación e intercambio.  Estamos en fecha propicia para el armado de presentaciones, paneles, y el ofrecimiento de talleres pre-conferencia, por lo  que los animo a hacerlo cuanto antes, consultando los enlaces correspondientes.

La Comisión de Comunicaciones ha preparado el vistoso flyer  que copio debajo, el cual también está en .pdf aquí y compartido con colegas y contactos. Animo e invito a los lectores de este blog a sumarse a la aventura de promocionar, construir, y desarrollar esta IV Conferencia. ¡Nos vemos en Lima!

flyer conferencia Relac FINAL

Evaluaciones que marcan la diferencia: se busca narrador

.

En entradas anteriores hice referencia al proyecto “Evaluaciones que marcan la diferencia: historias de todo el mundo”, el cual apunta a rescatar la perspectiva de los usuarios de evaluación (gerentes de programa, funcionarios, técnicos, donantes, etc.) sobre usos de la misma que hayan resultado en una mejora de algún tipo en la situación de los actores que son parte interesada.  Para ello, se ha elegido la opción de presentar historias de evaluación, como forma de llegar a diversos públicos y audiencias. 

 
Featured imageYa se ha realizado la elección de las diez historias que conformarán el compendio de historias de evaluación, una de ellas por la región de América Latina y el Caribe.  En la instancia actual, nos encontramos en la búsqueda de un narrador para escribir dicha historia de evaluación. Se cuenta con un pequeño estipendio para ello, si bien se reconoce que el trabajo será mayormente voluntario. 
 
El trabajo del narrador consistirá en indagar sobre la evaluación desde la perspectiva de aquellos que resultaron finalmente afectados por el acto de ser evaluado. El narrador tendrá que ser capaz de extraer historias humanas que muestren el impacto de la evaluación tanto en los usuarios de la evaluación como en la comunidad en general.
.
Algunas características deseables del narrador buscado son las siguientes: 
  • ser capaz de pensar y comunicar con un estilo periodístico.
  • contar con habilidades para realizar entrevistas
  • habilidades de escritura flexible y creativa
  • ser capaz de comunicarse con distintas audiencias
  • trabajar en coordinación con un consejo editorial que orientará el trabajo de narración
.
Les agradeceré enormemente puedan difundir esta búsqueda entre potenciales candidatos. Aquellos interesados, por favor escribirme directamente a pablo@albordedelcaos.com
 

VOPEs, asociacionismo, y evaluación… una #eval conversación

Leía este fin de semana un post del colega Carlos Rodríguez-Ariza sobre Asociacionismo en Evaluación (palabra que me suena extraña a mí, y que ni el diccionario de la computadora me la reconoce, pero si un castizo como el aquí referido la utiliza, pues habrá que incorporarla :-) ). Carlos comenta algunas de sus contradictorias vivencias  en la reciente conferencia de la Sociedad Europea de Evaluación en Dublín, a la vez que sostiene que ser crítico de cómo funcionan algunas cosas, no quiere decir que las cosas no sirvan ni que no puedan funcionar mejor.

Concretamente, “la cosa” en cuestión es el asociacionismo expresado en las redes, sociedades, comunidades de práctica, y asociaciones de Evaluación. He comentado antes cómo desde la iniciativa EvalPartners se está usando crecientemente la sigla VOPEs para englobar a todas esas distintas formas de aglutinamiento, a las que refiere como Organizaciones Voluntarias para la Evaluación Profesional.

Si no lo he interpretado mal, Carlos sostiene lo siguiente:
1) el tema del asociacionismo en evaluación está de moda (y cita ejemplos de España para ello);
2) sin embargo, es una deuda que las VOPEs cumplan su importante función social: carrera profesional, superación de la fragmentación y aislamiento del colectivo de evaluadores, desconexión entre “bases” y “elites” de las VOPEs;
3) problemas que podrían superarse si, al menos e inicialmente, tomaran de su propia medicina, esto es, la evaluación de las VOPEs mismas

Más fácil decir que hacer, más fácil sintetizar que producir, no?  Veamos algunas reacciones que este planteo me genera:

Featured image1) Confieso que me cae antipática la idea de “moda” para dar cuenta del boom de las VOPEs y su crecimiento. ¿Será que el
hablar de moda me remite a algo superficial o frívolo? No lo sé, ni importa mucho, pues el hecho de fondo es completamente cierto. El crecimiento en número de las VOPEs es innegable, tal cual lo muestra este cuadro armado por Jim Rugh hace poco tiempo.
También es cierto que, mientras las primeras VOPEs nacieron en América del Norte y Europa, ahora el fenómeno expansivo toma al “resto del mundo”: Europa del este, África, América Latina, Sud-este asiático, etc.  La misma iniciativa EvalPartners nace no sólo con un foco en las VOPEs, sino que considera que las mismas son la masa crítica que se ha generado y que permite avanzar en direcciones de articulación y vinculación diversas.  Si nos remitimos solamente a su mera existencia, el número creciente de VOPEs marcaría un fenómeno de “moda” estadística ;-) : ¿habrá otras asociaciones profesionales que hayan crecido tanto en la última década como en el campo de la evaluación? seremos entonces el valor con una mayor frecuencia en una distribución de datos?). Pero esto no termina de decir mucho sobre el punto siguiente: la calidad de las VOPEs

Featured image2) La función social de las VOPEs… Es interesante la adjetivación del rol de estas asociaciones, que puede ir un poco más allá (o no tan poco) de la mera función gremial. Por lo que uno ve, conoce y conversa, hay déficits compartidos allende los mares y los puntos cardinales a los que refiere Carlos en su post. En tal sentido, me parece clave la mención a la mutua y  pobre rendición de cuentas entre “bases” y “no-bases” (vamos, hombre, que elites me suena a S.W.A.T.…).  Y dado que me ha tocado estar de ambos lados del mostrador, me parece central e importante este punto, máxime cuando esta pobre rendición de cuentas es sentida por ambos lados, pero pocas veces pedido claramente.

3) Evaluando las asociaciones de evaluación…  Suena como ¿quién le pone el cascabel al gato, no?.  A decir verdad, la única experiencia que se me ocurre es muy reciente -en curso, para ser exactos- y tiene que ver con la evaluación de medio término que ha encargado EvalPartners sobre su mismo accionar. En este caso, no es precisamente una VOPE -quizás la evaluación ayude a entender mejor qué creemos que es quienes en ella participamos-, pero es tomar (con gusto, diría yo) nuestra propia medicina.

Recapitulando… y abierto a sus comentarios:
i) La “moda” de las VOPEs… vale la pena indagar, creo yo, motivaciones y fuerzas subyacentes a este florecimiento.

ii) Función social de las VOPEs… ¿compartimos el diagnóstico sobre sus déficits mayores? ante eso, ¿cómo actuar?

iii) ¿Alguna experiencia conocida de evaluación de una VOPE?

Veamos…

Dos años de Better Evaluation… o @bettereval para los amigos ;-)

En ocasión del Blog Action Day 2012, cuyo lema fue “El poder del nosotros” publiqué una entrada aquí saludando el nacimiento de Better Evaluation. Luego, en el 2013 festejé con alegría su primer añito de vida ;-), y como el tiempo pasa para tod@s, ya estamos en su segundo aniversario. Creo que vale la pena leer el recuento y planes a futuro que hace una de sus alma matter, Patricia Rogers.  Feliz Cumpleaños, Better Evaluation!! (y que cumplas muchos más…) 

Celebrando dos años desde que salimos al aire!

Captura de pantalla 2014-10-17 a la(s) 11.38.59Por Patricia Rogers
Publicado originalmente en Week 41: Celebrating two years since going alive!

Hace dos años, durante la conferencia de la Sociedad Europea de Evaluación en Helsinki, el sitio BetterEvaluation.org se puso en marcha para el acceso público. Habíamos estado trabajando con un grupo internacional de beta-socios para desarrollar el sitio antes de este tiempo.

El proyecto BetterEvaluation surgió de una comprensión de la necesidad de:

  • conectar los diversos esfuerzos para orientar sobre los diversos métodos de evaluación y facilitar el acceso a materiales de alta calidad
  • identificar dónde había lagunas en la guía  y ejemplos de métodos, y trabajar para crear estos
  • brindar un marco conceptual para pensar acerca de los métodos de evaluación que impliquen buenas prácticas en el diseño de la evaluación – en particular, a través de los propósitos y la intención de uso de la evaluación antes de decidir los métodos de recopilación de datos
  • proporcionar una plataforma para conectar la práctica , la investigación, y el desarrollo de evaluación, así como el desarrollo de capacidades.

Ahora, gracias a los esfuerzos de muchas personas y colaboradores de todo el mundo, el sitio BetterEvaluation ha crecido considerablemente.

Tenemos un creciente número de páginas que han sido escritas por  expertos, las que proporcionan una visión general clara de métodos, procesos, enfoques o temas, consejos  y recursos recomendados. Contamos con un número creciente de ejemplos que muestran los métodos de evaluación y los procesos en la práctica. Y tenemos un número cada vez mayor de recursos y otros materiales en una variedad de idiomas.

Captura de pantalla 2014-10-17 a la(s) 11.51.00Además del sitio, también ha habido una serie de eventos en todo el mundo y de manera virtual, incluyendo talleres de redacción, una serie de seminarios online, en colaboración con la Asociación Americana de Evaluación, y cursos cortos y presentaciones. También hemos estado trabajando con UNICEF y 3IE para producir una serie de informes y videos sobre la evaluación de impacto que estarán disponibles pronto.

La infografía celebra lo que hemos logrado juntos en los últimos dos años. En el próximo año, estamos apuntando a construir sobre esto, incluyendo lo siguiente:

 

Ampliación de la cobertura de material en otros idiomas además del Inglés.

Es importante ser capaz de aprender de la evaluación en diferentes idiomas. BetterEvaluation ofrece un espacio para la publicación de materiales en diferentes idiomas, traducción de material de uno a otro idioma, y proporciona enlaces a eventos y debates en diferentes idiomas.

El Marco del arco iris (que describe las diferentes tareas involucradas en la evaluación, cada una de las cuales tiene diferentes métodos y procesos) está ahora disponible en francés y portugués -próximamente en árabe y alemán , y otras lenguas se sumarán luego.

Hemos añadido “landing pages” en albanés, francés y portugués – con Bahasa Indonesia próximamente.

 

Abordando la complejidad en la evaluación

A través de talleres, práctica documentada, y pruebas de campo, vamos a seguir explorando maneras en que la evaluación puede abordar los distintos aspectos de la complejidad en las organizaciones, los programas y las políticas.

 

Las teorías de cambio y los modelos lógicos

Vamos a explorar los diferentes procesos que pueden ser utilizados para desarrollar, representar y utilizar teorías del cambio en la evaluación, incluyendo el desarrollo de una galería de diagramas que muestran no sólo diferentes formas de representar las teorías del cambio, sino también documentan la forma en que se han utilizado.

 

Puesta en marcha y gestión de las evaluaciones externas

Trabajando con el Centro Internacional de Investigaciones para el Desarrollo (Canadá), el Departamento de Asuntos Exteriores y Comercio (Australia), y la Fundación MasterCard, estaremos desarrollando y realizando pruebas de campo para los administradores de programas para planificar, comisionar y gestionar evaluaciones externas. Esto se basa en la labor realizada previamente con el New South Wales Department of Premier and Cabinet and the NSW Treasury para desarrollar el kit de herramientas de evaluación de NSW.

 

Evaluación de impacto no-experimental

Aunque ahora existe considerable información acerca de cómo administrar y llevar a cabo evaluaciones de impacto experimentales y no experimentales efectivamente, todavía sigue siendo insuficiente el asesoramiento y la orientación sobre el uso de enfoques no experimentales como el trazado de proceso (process tracing), análisis comparativo cualitativo, y los estudios de casos comparativos. Nos basaremos en el desarrollo de una guía para el Reporte Colaborativo de Alcances y en pruebas de campo documentadas.

 

Las innovaciones en la evaluación

Sobre la base de nuestro trabajo con la Asociación Africana de Evaluación y el  IPDET 2014 (Programa Internacional de Formación en Evaluación del Desarrollo), vamos a seguir poniendo de relieve ejemplos de innovación en evaluación, y explorar cómo estos pueden ser adoptadas y adaptadas por otras organizaciones con éxito.

 

Si te gustaría ser parte de alguno de estos proyectos, por favor ponte en contacto – y suscríbete al boletín, donde te mantendremos informado de las novedades y oportunidades para contribuir.

Y para celebrar nuestro segundo cumpleaños, echa un vistazo a la infografía – y descarga tus propias copias del marco del arco iris.

Captura de pantalla 2014-10-17 a la(s) 11.35.20

Evaluación, equidad e igualdad. #BAD2014 & #Eval

evaluacion_santosguerra
Las buenas noticias sobre desigualdad parecen venir ahora de América Latina, si bien hay que mirar todos los datos con mucha atención, a fin de no tener una visión engañosa del asunto.  Como fuere, el tema de la desigualdad se está colocando en el centro de la escena del desarrollo internacional, y más allá. Otra muestra de ello resulta cuando el actual Blog Action Day 2014 nos invita a conversar sobre la desigualdad.

En el campo de la evaluación, por ejemplo, resulta creciente el impacto de la vecina (aunque no idéntica) noción de equidad.  Muestra de ello son algunas de las recientes conferencias internacionales de evaluación y el espacio dado a este tema.  La Sociedad Europea de Evaluación tuvo a principios de este Octubre su 11º conferencia bianual con el tema Evaluación para una Sociedad Equitativa. En esta misma semana tiene lugar la (mega) conferencia de la Asociación Americana de Evaluación, con su tema Evaluación visionaria para un futuro sustentable y equitativo, mientras que la ReLAC -Red de Seguimiento, Evaluación, y Sistematización de América Latina y el Caribe- tendrá su IV Conferencia en Lima, Perú, en Marzo del 2015, con el tema El futuro de la Evaluación en América Latina y el Caribe: desarrollo, equidad y cultura.

Entonces, prestemos atención a algunas diferencias semánticas para presentar el tema de la equidad, y su creciente importancia en las discusiones en el campo de la evaluación.  Mientras que las dificultades en el logro de resultados de igualdad -siendo éste un claro objetivo estratégico- se presentan como enormes y de una escala que excede las capacidades de programas y proyectos (¿y políticas también?), el asunto de la equidad parece ser una dimensión que está mucho más a la mano de intervenciones de desarrollo y su evaluación.  La consideración de la equidad remite a tener presente las necesidades y requisitos particulares de grupos humanos determinados.

John Donnelly reflexiona que la equidad en general (y en particular en la evaluación) es portadora de una dimensión ética, que implica reconocer que tratar a las personas de igual modo -igualitariamente- en algunos casos puede resultar poco ético. Él considera que en el campo de la evaluación hay tres áreas que deberían tener a la equidad como objetivo:

a) la recolección de información: los informantes deben haber vivenciado la equidad en primer lugar en la intervención objeto de evaluación, así como ser capaces de tomar parte en la evaluación vía el uso de instrumentos apropiados para todos ellos (por ejemplo, no usar cuestionarios a auto-completar si parte de los informantes no leen o escriben)

b) los hallazgos o conclusiones: si las personas no han podido realizar una contribución informada a la evaluación, ello impactará directamente en la calidad de  los resultados de la misma, así como muy posiblemente afectará a grupos particulares.

c) en las recomendaciones fruto de la evaluación: derivado de lo anterior, sin un foco explícito en el logro de equidad en esta dimensión, los resultados para la misma intervención evaluada (u otras similares y/o futuras) será inequitativo. Particularmente fuerte es la idea que la ausencia de un foco en equidad, puede convertir al proceso de evaluación en uno que termine alienando a los actores partícipes de la evaluación (ver el artículo completo de John Donnelly aquí)

La equidad en evaluación se ve reforzada por la participación de hombres y mujeres que deseen tomar parte en ella, en el examen de los hallazgos (análisis) para determinar las conclusiones (lo que se logró) y las recomendaciones (qué podríamos hacer mejor la próxima vez). Este nivel de participación no sólo es equitativo y ético, sino que a la vez mejora la equidad en futuros proyectos / actividades / intervenciones. John Donnelly

Para los interesados en la evaluación y este foco en la equidad, pueden consultar este ya clásico material, Cómo diseñar y gestionar evaluaciones centradas en la equidad, editado por Michael Bamberger y Marco Segone. Y para los que quieran tener una visión rápida e ilustrativa, pueden inspirar sus pensamientos con algunos de los dibujos… (y es intencional lo de “inspirar pensamientos”… le preguntaré a Patricia Rogers  si tiene escrito por ahí algunas reflexiones bien desafiantes que le escuché hace poco sobre el siguiente  cartoon… )

.
igualdad equidad

Seguir

Recibe cada nueva publicación en tu buzón de correo electrónico.

Únete a otros 1.630 seguidores