Maestría en Evaluación de Políticas Públicas

Captura de pantalla 2014-11-05 a las 16.48.42Visitando el blog Evaluación Integral (y con éste agrandamos un poco más la todavía flaca familia de blogs de evaluación en castellano), me entero que  ya es oficial el lanzamiento y pronto inicio de la Maestría en Evaluación de Políticas Públicas, en la Facultad de Trabajo Social, Universidad Nacional de Entre Ríos (Paraná, Argentina).  Éste es un proyecto largamente soñado y amasado por los colegas de esa casa de estudio, que se suma así a otras instancias de formación de posgrado en evaluación en la región.

Tanto el Comité Académico, el  Comité Científico Asesor Internacional y el cuerpo docente anticipan la consolidación de una masa crítica en la evaluación de políticas que es tan necesaria como requerida.  Vamos a mirar con atención entonces los productos que desde aquí se generen, tanto en tesis finales, como en seminarios y discusiones online.

La Red EvaluAR -la Red de Evaluación de Argentina– incrementará seguramente su membresía en cantidad y calidad. ¡Que así sea!

Aquí pueden descargar el folleto institucional de la Maestria Evaluacion Politicas Publicas.

Evaluación de Políticas Públicas de Cooperación Internacional del Desarrollo

Captura de pantalla 2014-11-03 a las 13.22.54A partir de la gentil invitación de Osvaldo Feinstein, publicamos con Esteban Tapella un articulo en la Revista de Evaluación de Programas y Políticas Públicas (Universidad Nacional de Educación a Distancia -UNED- Madrid, España),  en un número especial destinado a abordar la evaluación de políticas públicas de cooperación internacional del desarrollo.  Osvaldo realizó un notable trabajo reuniendo autores de distinta procedencia y experiencia, y a mi ver ha logrado un número muy interesante.

Tal cual comentan en su página web, la Revista de Evaluación de Programas y Políticas Públicas se crea en el año 2013 con el objetivo de fortalecer la investigación y estimular la divulgación del conocimiento científico en cualquiera de los contextos y ámbitos de intervención relacionados con la evaluación de programas y políticas públicas. Se posiciona como una revista académica, con  dos objetivos básicos:

  • publicar artículos de la máxima calidad y relevancia científica, en el ámbito de la Economía en general, de las Ciencias Sociales en particular y de la evaluación de políticas públicas como temática preferente.
  • convertirse en un foro de debate en el que se puedan abordar los principales retos para la investigación en el ámbito de la Economía y de las Ciencias Sociales. Captura de pantalla 2014-11-03 a las 13.22.31

Sin más prolegómenos, copio abajo la Tabla de Contenido con títulos, autores, y enlaces…   A ver si a varios de ellos los encontramos en la IV Conferencia de ReLAC… 

 

Tabla de contenidos

Artículos

INTRODUCCIÓN PDF
Osvaldo Néstor Feinstein 1-2
EVALUACIÓN DE LA COOPERACIÓN INTERNACIONAL AL DESARROLLO: RETOS Y OPORTUNIDADES/
EVALUATION OF INTERNATIONAL DEVELOPMENT COOPERATION: CHALLENGES AND OPPORTUNITIES		 PDF
Osvaldo Néstor Feinstein 3-18
VEINTICINCO AÑOS DE EVALUACIÓN EN LA POLÍTICA ESPAÑOLA DE COOPERACIÓN
INTERNACIONAL PARA EL DESARROLLO/
TWENTY FIVE YEARS OF EVALUATION IN THE SPANISH POLICY FOR DEVELOPMENT COOPERATION		 PDF
José Manuel Arguilés Marín 19-52
LA EXPERIENCIA DE EVALUACIÓN DEL FONDO INTERNACIONAL DE DESARROLLO AGRÍCOLA (FIDA)/
THE EVALUATION EXPERIENCE OF THE INTERNATIONAL FUND FOR AGRICULTURAL DEVELOPMENT (IFAD)		 PDF
Fabrizio Felloni, Ashwani Muthoo, Miguel Torralba 53-79
SISTEMATIZACIÓN DE EXPERIENCIAS: UNA METODOLOGÍA PARA EVALUAR INTERVENCIONES
DE DESARROLLO/
EXPERIENCE SYSTEMATIZATION: A METHOD TO EVALUATE DEVELOPMENT INTERVENTIONS		 PDF
Esteban Tapella, Pablo Rodriguez-Bilella 80-116
EVALUACIONES DE IMPACTO EN LA COOPERACIÓN PARA EL DESARROLLO/
IMPACT EVALUATIONS IN INTERNATIONAL DEVELOPMENT CO- OPERATION		 PDF
José María Larrú 117-153
EFICACIA AGREGADA DE LA AYUDA: INCIDENCIA SOBRE EL CRECIMIENTO DEL RECEPTOR/
MACROECONOMIC EFFECTIVENESS OF AID: IMPACT ON RECIPIENT´S ECONOMIC GROWTH		 PDF
José Antonio Alonso 154-188
EVALUANDO LA ACCIÓN HUMANITARIA: TENDENCIAS Y DESAFÍOS ACTUALES/
EVALUATING HUMANITARIAN ACTION: CURRENT TENDENCIES AND CHALLENGES		 PDF
Riccardo Polastro 189-220
EL USO DE LAS EVALUACIONES EN LA AYUDA AL DESARROLLO. EL CASO DE LA COOPERACIÓN ESPAÑOLA/
USE OF EVALUATIONS IN THE AID SECTOR. THE CASE OF THE SPANISH COOPERATION		 PDF
Carlos Rodríguez Ariza, Rafael Monterde Díaz 221-258
THE FUTURE OF DEVELOPMENT EVALUATION /
EL FUTURO DE LA EVALUACIÓN DEL DESARROLLO		 PDF
Robert Picciotto 259-287

IV Conferencia de la ReLAC: Marzo 2015, Lima (Perú) – #EvalYear

Con el inspirado e inspirador tema El Futuro de la Evaluación en América Latina y el Caribe: Desarrollo, Equidad y Cultura  se desarrollará entre el 11 y 13 de Marzo del año próximo (el #EvalYear), la IV Conferencia de la ReLAC, la Red de Seguimiento, Evaluación y Sistematización de América Latina y el Caribe.  A diez años de su conferencia inaugural, y luego de haber pasado por Bogotá y San José de Costa Rica en las anteriores instancias, se vuelve -como dice el tango- al primer amor: Lima 😉 .

logo ReLACAdemás de darle su espacio al tema del desarrollo (como en conferencias anteriores), y al de la equidad (como está siendo el caso en diversas reuniones de evaluación), la cuestión de la cultura ha sido incorporada como el tercer eje fuerte del tema de esta conferencia. Siguiendo los pasos de los colegas de AfrEA (la Asociación Africana de Evaluación), así como de otras más (ver aquí), un grupo de evaluadores de la región está interesado en discutir cuánto pesa, importa y es relevante la dimensión cultural en los esfuerzos evaluativos.  En el caso de la ReLAC, un grupo de trabajo se creó hace un tiempo con el nombre Evaluar desde Latinoamérica, y es de esperar que se reactive y comparta sus reflexiones en ocasión de la conferencia.

En tal sentido, sugiero darle un vistazo a los distintos grupos de trabajo en existencia, inscribirse en aquel que nos parezca interesante y relevante, y resucitarlo desde adentro (¡valga la metáfora pascual!). Con anterioridad a la pasada conferencia  en Costa Rica, el grupo de Sistematización y Evaluación tuvo un intercambio notable de información y discusión que permitió armar un panel central y la presentación de diversos artículos durante el desarrollo de la misma. Del mismo modo podrían reactivarse varios de estos grupos, teniendo como norte esta IV Conferencia.

La página web de la conferencia ya cuenta con información para expositores (ejes temáticos, formatos de presentaciones, etc.) como así también información para propuestas de cursos y talleres. Estos últimos se desarrollarán entre el lunes 9 y el martes 10 de marzo, y han resultado siempre una fantástica oportunidad de formación e intercambio.  Estamos en fecha propicia para el armado de presentaciones, paneles, y el ofrecimiento de talleres pre-conferencia, por lo  que los animo a hacerlo cuanto antes, consultando los enlaces correspondientes.

La Comisión de Comunicaciones ha preparado el vistoso flyer  que copio debajo, el cual también está en .pdf aquí y compartido con colegas y contactos. Animo e invito a los lectores de este blog a sumarse a la aventura de promocionar, construir, y desarrollar esta IV Conferencia. ¡Nos vemos en Lima!

flyer conferencia Relac FINAL

Evaluaciones que marcan la diferencia: se busca narrador

.

En entradas anteriores hice referencia al proyecto “Evaluaciones que marcan la diferencia: historias de todo el mundo”, el cual apunta a rescatar la perspectiva de los usuarios de evaluación (gerentes de programa, funcionarios, técnicos, donantes, etc.) sobre usos de la misma que hayan resultado en una mejora de algún tipo en la situación de los actores que son parte interesada.  Para ello, se ha elegido la opción de presentar historias de evaluación, como forma de llegar a diversos públicos y audiencias. 

 
Featured imageYa se ha realizado la elección de las diez historias que conformarán el compendio de historias de evaluación, una de ellas por la región de América Latina y el Caribe.  En la instancia actual, nos encontramos en la búsqueda de un narrador para escribir dicha historia de evaluación. Se cuenta con un pequeño estipendio para ello, si bien se reconoce que el trabajo será mayormente voluntario. 
 
El trabajo del narrador consistirá en indagar sobre la evaluación desde la perspectiva de aquellos que resultaron finalmente afectados por el acto de ser evaluado. El narrador tendrá que ser capaz de extraer historias humanas que muestren el impacto de la evaluación tanto en los usuarios de la evaluación como en la comunidad en general.
.
Algunas características deseables del narrador buscado son las siguientes: 
  • ser capaz de pensar y comunicar con un estilo periodístico.
  • contar con habilidades para realizar entrevistas
  • habilidades de escritura flexible y creativa
  • ser capaz de comunicarse con distintas audiencias
  • trabajar en coordinación con un consejo editorial que orientará el trabajo de narración
.
Les agradeceré enormemente puedan difundir esta búsqueda entre potenciales candidatos. Aquellos interesados, por favor escribirme directamente a pablo@albordedelcaos.com. 
 

VOPEs, asociacionismo, y evaluación… una #eval conversación

Leía este fin de semana un post del colega Carlos Rodríguez-Ariza sobre Asociacionismo en Evaluación (palabra que me suena extraña a mí, y que ni el diccionario de la computadora me la reconoce, pero si un castizo como el aquí referido la utiliza, pues habrá que incorporarla 🙂 ). Carlos comenta algunas de sus contradictorias vivencias  en la reciente conferencia de la Sociedad Europea de Evaluación en Dublín, a la vez que sostiene que ser crítico de cómo funcionan algunas cosas, no quiere decir que las cosas no sirvan ni que no puedan funcionar mejor.

Concretamente, «la cosa” en cuestión es el asociacionismo expresado en las redes, sociedades, comunidades de práctica, y asociaciones de Evaluación. He comentado antes cómo desde la iniciativa EvalPartners se está usando crecientemente la sigla VOPEs para englobar a todas esas distintas formas de aglutinamiento, a las que refiere como Organizaciones Voluntarias para la Evaluación Profesional.

Si no lo he interpretado mal, Carlos sostiene lo siguiente:
1) el tema del asociacionismo en evaluación está de moda (y cita ejemplos de España para ello);
2) sin embargo, es una deuda que las VOPEs cumplan su importante función social: carrera profesional, superación de la fragmentación y aislamiento del colectivo de evaluadores, desconexión entre “bases” y “elites” de las VOPEs;
3) problemas que podrían superarse si, al menos e inicialmente, tomaran de su propia medicina, esto es, la evaluación de las VOPEs mismas

Más fácil decir que hacer, más fácil sintetizar que producir, no?  Veamos algunas reacciones que este planteo me genera:

Featured image1) Confieso que me cae antipática la idea de “moda” para dar cuenta del boom de las VOPEs y su crecimiento. ¿Será que el
hablar de moda me remite a algo superficial o frívolo? No lo sé, ni importa mucho, pues el hecho de fondo es completamente cierto. El crecimiento en número de las VOPEs es innegable, tal cual lo muestra este cuadro armado por Jim Rugh hace poco tiempo.
También es cierto que, mientras las primeras VOPEs nacieron en América del Norte y Europa, ahora el fenómeno expansivo toma al “resto del mundo”: Europa del este, África, América Latina, Sud-este asiático, etc.  La misma iniciativa EvalPartners nace no sólo con un foco en las VOPEs, sino que considera que las mismas son la masa crítica que se ha generado y que permite avanzar en direcciones de articulación y vinculación diversas.  Si nos remitimos solamente a su mera existencia, el número creciente de VOPEs marcaría un fenómeno de “moda” estadística 😉 : ¿habrá otras asociaciones profesionales que hayan crecido tanto en la última década como en el campo de la evaluación? seremos entonces el valor con una mayor frecuencia en una distribución de datos?). Pero esto no termina de decir mucho sobre el punto siguiente: la calidad de las VOPEs

Featured image2) La función social de las VOPEs… Es interesante la adjetivación del rol de estas asociaciones, que puede ir un poco más allá (o no tan poco) de la mera función gremial. Por lo que uno ve, conoce y conversa, hay déficits compartidos allende los mares y los puntos cardinales a los que refiere Carlos en su post. En tal sentido, me parece clave la mención a la mutua y  pobre rendición de cuentas entre “bases” y “no-bases” (vamos, hombre, que elites me suena a S.W.A.T.…).  Y dado que me ha tocado estar de ambos lados del mostrador, me parece central e importante este punto, máxime cuando esta pobre rendición de cuentas es sentida por ambos lados, pero pocas veces pedido claramente.

3) Evaluando las asociaciones de evaluación…  Suena como ¿quién le pone el cascabel al gato, no?.  A decir verdad, la única experiencia que se me ocurre es muy reciente -en curso, para ser exactos- y tiene que ver con la evaluación de medio término que ha encargado EvalPartners sobre su mismo accionar. En este caso, no es precisamente una VOPE -quizás la evaluación ayude a entender mejor qué creemos que es quienes en ella participamos-, pero es tomar (con gusto, diría yo) nuestra propia medicina.

Recapitulando… y abierto a sus comentarios:
i) La “moda” de las VOPEs… vale la pena indagar, creo yo, motivaciones y fuerzas subyacentes a este florecimiento.

ii) Función social de las VOPEs… ¿compartimos el diagnóstico sobre sus déficits mayores? ante eso, ¿cómo actuar?

iii) ¿Alguna experiencia conocida de evaluación de una VOPE?

Veamos…

Dos años de Better Evaluation… o @bettereval para los amigos ;-)

En ocasión del Blog Action Day 2012, cuyo lema fue «El poder del nosotros» publiqué una entrada aquí saludando el nacimiento de Better Evaluation. Luego, en el 2013 festejé con alegría su primer añito de vida ;-), y como el tiempo pasa para tod@s, ya estamos en su segundo aniversario. Creo que vale la pena leer el recuento y planes a futuro que hace una de sus alma matter, Patricia Rogers.  Feliz Cumpleaños, Better Evaluation!! (y que cumplas muchos más…) 

Celebrando dos años desde que salimos al aire!

Captura de pantalla 2014-10-17 a la(s) 11.38.59Por Patricia Rogers
Publicado originalmente en Week 41: Celebrating two years since going alive!

Hace dos años, durante la conferencia de la Sociedad Europea de Evaluación en Helsinki, el sitio BetterEvaluation.org se puso en marcha para el acceso público. Habíamos estado trabajando con un grupo internacional de beta-socios para desarrollar el sitio antes de este tiempo.

El proyecto BetterEvaluation surgió de una comprensión de la necesidad de:

  • conectar los diversos esfuerzos para orientar sobre los diversos métodos de evaluación y facilitar el acceso a materiales de alta calidad
  • identificar dónde había lagunas en la guía  y ejemplos de métodos, y trabajar para crear estos
  • brindar un marco conceptual para pensar acerca de los métodos de evaluación que impliquen buenas prácticas en el diseño de la evaluación – en particular, a través de los propósitos y la intención de uso de la evaluación antes de decidir los métodos de recopilación de datos
  • proporcionar una plataforma para conectar la práctica , la investigación, y el desarrollo de evaluación, así como el desarrollo de capacidades.

Ahora, gracias a los esfuerzos de muchas personas y colaboradores de todo el mundo, el sitio BetterEvaluation ha crecido considerablemente.

Tenemos un creciente número de páginas que han sido escritas por  expertos, las que proporcionan una visión general clara de métodos, procesos, enfoques o temas, consejos  y recursos recomendados. Contamos con un número creciente de ejemplos que muestran los métodos de evaluación y los procesos en la práctica. Y tenemos un número cada vez mayor de recursos y otros materiales en una variedad de idiomas.

Captura de pantalla 2014-10-17 a la(s) 11.51.00Además del sitio, también ha habido una serie de eventos en todo el mundo y de manera virtual, incluyendo talleres de redacción, una serie de seminarios online, en colaboración con la Asociación Americana de Evaluación, y cursos cortos y presentaciones. También hemos estado trabajando con UNICEF y 3IE para producir una serie de informes y videos sobre la evaluación de impacto que estarán disponibles pronto.

La infografía celebra lo que hemos logrado juntos en los últimos dos años. En el próximo año, estamos apuntando a construir sobre esto, incluyendo lo siguiente:

 

Ampliación de la cobertura de material en otros idiomas además del Inglés.

Es importante ser capaz de aprender de la evaluación en diferentes idiomas. BetterEvaluation ofrece un espacio para la publicación de materiales en diferentes idiomas, traducción de material de uno a otro idioma, y proporciona enlaces a eventos y debates en diferentes idiomas.

El Marco del arco iris (que describe las diferentes tareas involucradas en la evaluación, cada una de las cuales tiene diferentes métodos y procesos) está ahora disponible en francés y portugués -próximamente en árabe y alemán , y otras lenguas se sumarán luego.

Hemos añadido «landing pages» en albanés, francés y portugués – con Bahasa Indonesia próximamente.

 

Abordando la complejidad en la evaluación

A través de talleres, práctica documentada, y pruebas de campo, vamos a seguir explorando maneras en que la evaluación puede abordar los distintos aspectos de la complejidad en las organizaciones, los programas y las políticas.

 

Las teorías de cambio y los modelos lógicos

Vamos a explorar los diferentes procesos que pueden ser utilizados para desarrollar, representar y utilizar teorías del cambio en la evaluación, incluyendo el desarrollo de una galería de diagramas que muestran no sólo diferentes formas de representar las teorías del cambio, sino también documentan la forma en que se han utilizado.

 

Puesta en marcha y gestión de las evaluaciones externas

Trabajando con el Centro Internacional de Investigaciones para el Desarrollo (Canadá), el Departamento de Asuntos Exteriores y Comercio (Australia), y la Fundación MasterCard, estaremos desarrollando y realizando pruebas de campo para los administradores de programas para planificar, comisionar y gestionar evaluaciones externas. Esto se basa en la labor realizada previamente con el New South Wales Department of Premier and Cabinet and the NSW Treasury para desarrollar el kit de herramientas de evaluación de NSW.

 

Evaluación de impacto no-experimental

Aunque ahora existe considerable información acerca de cómo administrar y llevar a cabo evaluaciones de impacto experimentales y no experimentales efectivamente, todavía sigue siendo insuficiente el asesoramiento y la orientación sobre el uso de enfoques no experimentales como el trazado de proceso (process tracing), análisis comparativo cualitativo, y los estudios de casos comparativos. Nos basaremos en el desarrollo de una guía para el Reporte Colaborativo de Alcances y en pruebas de campo documentadas.

 

Las innovaciones en la evaluación

Sobre la base de nuestro trabajo con la Asociación Africana de Evaluación y el  IPDET 2014 (Programa Internacional de Formación en Evaluación del Desarrollo), vamos a seguir poniendo de relieve ejemplos de innovación en evaluación, y explorar cómo estos pueden ser adoptadas y adaptadas por otras organizaciones con éxito.

 

Si te gustaría ser parte de alguno de estos proyectos, por favor ponte en contacto – y suscríbete al boletín, donde te mantendremos informado de las novedades y oportunidades para contribuir.

Y para celebrar nuestro segundo cumpleaños, echa un vistazo a la infografía – y descarga tus propias copias del marco del arco iris.

Captura de pantalla 2014-10-17 a la(s) 11.35.20

Evaluación, equidad e igualdad. #BAD2014 & #Eval

evaluacion_santosguerra
Las buenas noticias sobre desigualdad parecen venir ahora de América Latina, si bien hay que mirar todos los datos con mucha atención, a fin de no tener una visión engañosa del asunto.  Como fuere, el tema de la desigualdad se está colocando en el centro de la escena del desarrollo internacional, y más allá. Otra muestra de ello resulta cuando el actual Blog Action Day 2014 nos invita a conversar sobre la desigualdad.

En el campo de la evaluación, por ejemplo, resulta creciente el impacto de la vecina (aunque no idéntica) noción de equidad.  Muestra de ello son algunas de las recientes conferencias internacionales de evaluación y el espacio dado a este tema.  La Sociedad Europea de Evaluación tuvo a principios de este Octubre su 11º conferencia bianual con el tema Evaluación para una Sociedad Equitativa. En esta misma semana tiene lugar la (mega) conferencia de la Asociación Americana de Evaluación, con su tema Evaluación visionaria para un futuro sustentable y equitativo, mientras que la ReLAC -Red de Seguimiento, Evaluación, y Sistematización de América Latina y el Caribe- tendrá su IV Conferencia en Lima, Perú, en Marzo del 2015, con el tema El futuro de la Evaluación en América Latina y el Caribe: desarrollo, equidad y cultura.

Entonces, prestemos atención a algunas diferencias semánticas para presentar el tema de la equidad, y su creciente importancia en las discusiones en el campo de la evaluación.  Mientras que las dificultades en el logro de resultados de igualdad -siendo éste un claro objetivo estratégico- se presentan como enormes y de una escala que excede las capacidades de programas y proyectos (¿y políticas también?), el asunto de la equidad parece ser una dimensión que está mucho más a la mano de intervenciones de desarrollo y su evaluación.  La consideración de la equidad remite a tener presente las necesidades y requisitos particulares de grupos humanos determinados.

John Donnelly reflexiona que la equidad en general (y en particular en la evaluación) es portadora de una dimensión ética, que implica reconocer que tratar a las personas de igual modo -igualitariamente- en algunos casos puede resultar poco ético. Él considera que en el campo de la evaluación hay tres áreas que deberían tener a la equidad como objetivo:

a) la recolección de información: los informantes deben haber vivenciado la equidad en primer lugar en la intervención objeto de evaluación, así como ser capaces de tomar parte en la evaluación vía el uso de instrumentos apropiados para todos ellos (por ejemplo, no usar cuestionarios a auto-completar si parte de los informantes no leen o escriben)

b) los hallazgos o conclusiones: si las personas no han podido realizar una contribución informada a la evaluación, ello impactará directamente en la calidad de  los resultados de la misma, así como muy posiblemente afectará a grupos particulares.

c) en las recomendaciones fruto de la evaluación: derivado de lo anterior, sin un foco explícito en el logro de equidad en esta dimensión, los resultados para la misma intervención evaluada (u otras similares y/o futuras) será inequitativo. Particularmente fuerte es la idea que la ausencia de un foco en equidad, puede convertir al proceso de evaluación en uno que termine alienando a los actores partícipes de la evaluación (ver el artículo completo de John Donnelly aquí)

La equidad en evaluación se ve reforzada por la participación de hombres y mujeres que deseen tomar parte en ella, en el examen de los hallazgos (análisis) para determinar las conclusiones (lo que se logró) y las recomendaciones (qué podríamos hacer mejor la próxima vez). Este nivel de participación no sólo es equitativo y ético, sino que a la vez mejora la equidad en futuros proyectos / actividades / intervenciones. John Donnelly

Para los interesados en la evaluación y este foco en la equidad, pueden consultar este ya clásico material, Cómo diseñar y gestionar evaluaciones centradas en la equidad, editado por Michael Bamberger y Marco Segone. Y para los que quieran tener una visión rápida e ilustrativa, pueden inspirar sus pensamientos con algunos de los dibujos… (y es intencional lo de “inspirar pensamientos”… le preguntaré a Patricia Rogers  si tiene escrito por ahí algunas reflexiones bien desafiantes que le escuché hace poco sobre el siguiente  cartoon… )

.
igualdad equidad

Allá vamos, otra vez (gran video sobre el #desarrollo)

Una muy buena lectura descubierta desde Twitter (y van…) me hizo re-encontrarme con el video que comparto más abajo, al que conocí hace un tiempo pero no había podido presentar en el blog.  El sitio donde lo publican es la organización Surival International, la que ofrece su gran contenido en bellísimas y duras imágenes, así como también en una gran cantidad de lenguas. Vale la pena darse una vuelta por ahí, interiorizarse, sensibilizarse, y colaborar… si sentimos que la causa es valiosa. Allí donde está tu tesoro, estará tu corazón…

Sin más prolegómenos, un video para pensar…

 

Herramienta para Medir el Nivel de Participación en una #Evaluación. #eval

bouton_evalJunto a las colegas Rosa Parés Canela y Julia Brandiarán tuvimos recientemente la oportunidad de colaborar en la traducción al Español de la Herramienta para Medir el Nivel de Participación en una Evaluación (ya existía versión en Inglés y Francés de la misma) . Esta herramienta fue desarrollada y validada empíricamente por  Pierre-Marc  Daigneault y Steve Jacob a fin de medir el nivel de participación de distintos stakeholders en una evaluación dada.

participaciones En sus trabajos analíticos, los autores sostienen que la ontología de la evaluación participativa no ha sido lo suficientemente analizada, por lo que el concepto resulta ambiguo y pobremente teorizado, por lo que se explica la ausencia de instrumentos para su valoración. Por tanto, esta herramienta de medición del nivel de participación surge como respuesta a ese vacío, y como expresión de una interesante discusión conceptual. 

Me ha parecido un acercamiento valioso y profundo, el cual procuraré integrar en un nuevo curso sobre Seguimiento y Evaluación Participativa, como el que preparamos con la colega Gloria Vela en el marco de la iniciativa EvalPartners. 

La herramienta ya está disponible para su consulta y uso en la página de PerƒEval, laboratorio de investigación de l´Université Laval acerca del desempeño y evaluación de la acción pública. 

Quedan tod@s invitados a visitarla y utilizarla…

Gestión del Conocimiento para el Desarrollo – #KM4dev & #Eval

(fragmento del EDITORIAL  del Número especial 2014 en castellano y portugués de la revista KM4Dev)

La revista KM4Dev es una revista sobre gestión del conocimiento para el desarrollo, de acceso abierto y revisada por pares. Es un producto de KM4Dev, una comunidad de práctica de profesionales que trabajan en el campo de la gestión del conocimiento para el desarrollo, en todo el mundo.

gestion conocimientoDesde 2013 la revista vuelve a publicarse de manera abierta y en línea para facilitar el acceso y la publicación de materiales inéditos a quienes trabajan en temas de desarrollo. Como parte de este esfuerzo, y considerando el crecimiento en la comunidad de miembros de países de habla hispana y portuguesa, la comunidad ha propuesto que este Número 1 del Volumen 10 de la revista sea una edición especial en estas lenguas, para favorecer la difusión, el intercambio y la reflexión de experiencias en estos dos idiomas, de manera abierta y participativa.

Por ello, y través de diversas redes, se hizo un llamado a profesionales en gestión del conocimiento (GC) para el desarrollo a contribuir con artículos, en español y portugués, que aporten al debate en esta disciplina. De 16 propuestas recibidas, este número especial de la revista presenta 10 contribuciones entre las que se incluyen dos artículos, seis estudios de caso y una historia personal. Nueve de las contribuciones son en castellano y una en
portugués.

Dada la riqueza, el dinamismo y la diversidad del continente, estas son cifras muy  modestas. Así es que estos 9 artículos son apenas una aproximación a lo que sucede en la región de Latinoamérica y el Caribe en este campo, pero es a la vez un llamado a promover más estudios y más análisis de lo que se viene realizando por diversos actores públicos y privados.

A partir de la breve reseña de cada uno de los elementos que conforman este ejemplar de la  revista KM4DEV, el lector y la lectora puede identificar la riqueza y diversidad de la discusión que se está generando en la región sobre el tema de la gestión de conocimiento.

——————————   —————- —————-

Pues bien, hasta aquí una parte del Editorial de esta revista, en la cual tuvimos junto a Esteban Tapella la oportunidad de participar con nuestro artículo Evaluación y Aprendizaje desde la práctica: la sistematización de experiencias.  En dicho trabajo,  «además de destacar brevemente las raíces de la sistematización de experiencias en América Latina, así como sus similitudes con ciertas tendencias en el campo de la gestión del conocimiento (KM) y la evaluación, el artículo presenta conceptos básicos y consideraciones metodológicas sobre la sistematización de experiencias de desarrollo. Reconociendo la existencia de  diversos enfoques metodológicos de la misma, el artículo presenta el método de  base que se ha aplicado en diferentes proyectos, basado tanto en la experiencia  de los autores como en el trabajo de otros practicantes.»

Quedan pues invitados e invitadas a leer en este número la diversidad de propuestas presentes.  Más allá de preferencias personales por un tema u otro, resulta sin dudas un número muy valioso que da cuenta del esfuerzo de trabajo en la Gestión de Conocimiento en la región de América Latina. 

Vaya también, y por supuesto, un agradecimiento especial para el equipo editorial, varios de ellos muy estimados colegas y amigos: Denise Senmartin, Sophie Alvarez, Viviana Palmieri, Dora Arévalo, Margarita Baena, Kemly Camacho, Caridad Camacho, Teobaldo Pinzás y Camilo Vila.

 

Evaluaciones que marcan la diferencia: AMPLIACIÓN DEL PLAZO

Reitero aquí una entrada reciente, con el principal fin de señalar que se ha extendido el plazo para presentar las propuestas de Historias de Evaluación. La nueva fecha es el 30 de Abril de 2014. 

………….

Hace poco compartía aquí una reflexión sobre el vínculo posible y deseable entre Evaluación y Narración de historias.  En esa entrada hacía una breve referencia a un nuevo proyecto en el que estoy embarcado, y que está viendo la luz públicamente en estos días  (de tanto frío en el Norte, y de harto calor en el Sur :/ ).

pen-blue-feather-ink-old-paper-wall_18115Debajo detallo los aspectos generales y  procedimientos a seguir para poder aportar a este proyecto. Básicamente, se trata de identificar historias de evaluaciones que hayan marcado una diferencia en el escenario evaluado. Vale decir, estamos queriendo ir más allá de la nociones de calidad, comunicación e incluso uso de las evaluaciones. Apuntamos a identificar evaluaciones que han tenido un impacto, y que el mismo ha sido positivo tanto para el espacio evaluado (proyecto, programa, organización, etc.) como para los actores para quien la iniciativa se desarrolló.

Para difundir el proyecto, hemos comenzamos con esta pregunta provocadora: ¿Has participado en alguna evaluación que haya influido la vida de las personas y / o conducido hacia una mejora social? A la vez, en el marco del proyecto, resulta clave entender que dicha pregunta no va dirigida ni principal ni únicamente a los evaluadores…

Nos interesa, en cambio, que la respondan los usuarios de la evaluación, vale decir, aquellos que la solicitaron, quienes la contrataron y supervisaron, los que  aprobaron el informe de evaluación, aquellos que implementaron cambios a partir de la evaluación, aquellos que se beneficiaron con los aportes que brindó y sugirió la evaluación.  Y también la voz del evaluador! 😉 , ¿porqué no?  Pero el énfasis fuerte y claro está en aquellos primeros.

Pues bien, más detalles sobre este proyecto, la forma de aportar historias de evaluación, el trabajo a realizar con ellas, los tiempos del proyecto y demás, lo encontrarán desarrollado en la convocatoria aquí debajo.  Para aquellos que lleguen al final del post (idealmente, leyéndolo) hay de premio un video ilustrativo que se las trae…  Los comentarios de esta entrada quedan abiertos para los idem y consultas.

————————–

Convocatoria Internacional de Historias de Evaluación       

Evaluaciones que Marcan una Diferencia: historias de todo el mundo

Este proyecto es financiado por EvalPartners Innovation Challenge, el cual aspira a identificar ideas innovadoras para fortalecer la demanda y el uso de evaluación.

Su evaluación, ¿influyó de alguna manera en la vida de las personas?

Si así es, puede enviarnos el Formulario de Presentación de Historias hasta el 15 de Abril de 2014, a fin de tener la oportunidad de incluir su evaluación en una colección internacional sobre historias de evaluaciones que han marcado una diferencia.

Dicha colección de historias ayudará a los usuarios de evaluaciones (por ejemplo, gobiernos y organizaciones internacionales, organizaciones no gubernamentales y activistas sociales) a entender mejor cómo la evaluación puede ser realmente una fuerza para el cambio positivo. También ayudará a los evaluadores a contar con un mejor entendimiento sobre los enfoques de evaluación que pueden influir en su uso e impacto.

¿Qué entendemos por evaluaciones que marcan una diferencia?

Estamos hablando de evaluaciones que contribuyan a la mejora social. Muchas evaluaciones cuentan con buenos métodos (incluso innovadores) así como con la participación de actores importantes. En algunos casos, esas evaluaciones suelen informar las decisiones acerca de los programas y políticas. Estamos buscando historias que describan cómo la evaluación ha llevado a cambios positivos en la vida de las personas o el medio ambiente.

Ejemplo Uno: Un programa que ofrece orientación profesional para jóvenes desempleados

La evaluación puso de relieve la necesidad de mejorar la formación de los consejeros y de ampliar el programa para incluir prácticas insertas en la comunidad. La aplicación de las recomendaciones se tradujo en un mayor porcentaje de jóvenes que consiguieron empleo. La historia se centrará en el impacto del nuevo programa en uno de los participantes

Ejemplo Dos: Políticas Agrícolas Nacionales

Esta evaluación echó luz acerca de cómo las políticas agrícolas destinadas a mejorar los rendimientos de los cultivos estaban impactando negativamente en los ingresos de los agricultores de subsistencia. Los cambios en las políticas agrícolas dieron lugar a un aumento del 20% en los ingresos de los más pobres entre los pobres, y el aumento de la matrícula escolar entre los niños de esos agricultores. La historia se centrará en cómo los cambios en las políticas impactaron a las familias de agricultores en una región en particular.

¿Por qué historias?

Las historias son una forma poderosa de comunicar información e ideas. Nos atraen emocional e intelectualmente. La mayoría de los textos sobre evaluación son publicados en revistas académicas, por lo que resultan  poco atractivos (y a veces inaccesibles) para quienes deben hacer uso de las evaluaciones. Por el contrario, todos intuitivamente entendemos y recordamos las historias.

Cronograma del proyecto

  • Fecha límite para presentar las historias: 15 de Abril de 2014
  • Notificación de las historias seleccionadas: Mayo de 2014
  • Desarrollo de las historias: de Junio a Noviembre de 2014
  • Publicación y difusión en línea: 2015: Año Internacional de la Evaluación

Proceso de presentación de las historias

1.     Decida quién llenará el Formulario de presentación de historias

Estamos principalmente interesados en recoger la perspectiva de los usuarios de las evaluaciones (por ejemplo, de aquellos que las requieren o solicitan, o de quienes usan los resultados de la evaluación). La perspectiva del evaluador es también importante para presentar la historia de la evaluación, si bien su participación es opcional.

2.     Complete todas las secciones del Formulario de presentación de historias

Preste atención a lo siguiente:

  • Definición y descripción de cada criterio
  • Ponderación relativa asignada a cada criterio, así como qué buscaremos al momento de otorgar puntos

3.     Envíe el formulario completo a evaluationstories@gmail.com hasta el 30 de Abril de 2014.

4.     Los Equipos Regionales de Revisión de Historias  revisarán y calificarán cada envío. Entre una y tres presentaciones de cada región serán invitadas a proceder a la fase de desarrollo de las historias.

La fase de desarrollo de las historias requerirá un compromiso de 5 a 10 horas por persona, en total, entre Junio y Noviembre de 2014. Se pretende que esta fase implique un proceso agradable y significativo, y no es necesario que uno sea escritor experto para ello. Se le solicitará que participe en una o más entrevistas acerca de la evaluación presentada, así como revisar la historia desarrollada antes de su publicación. También podremos pedirle fotos para darle vida a la historia.

Contactos regionales

Europa Ramón Crespo ramon.crespo@areaq.net
Latinoamérica & Caribe Pablo Rodríguez Bilella pablo67@gmail.com
Norteamérica Dayna Albert daynaalbert@rogers.com
África Serge Eric Yakeu Djiam serge.eric01@gmail.com
Asia Soma de Silva somadesilva@gmail.com
Australasia Scott Bayley scottbayley56@yahoo.com.au
Coordinadora del Proyecto Dayna Albert evaluationstories@gmail.com

Preguntas y respuestas

 

¿Quién puede participar?

Cualquiera que haya hecho uso de la evaluación a fin de mejorar programas, políticas, organizaciones y/o sistemas, y que pueda describir cómo la evaluación contribuyó a cambios positivos en la vida de las personas o el medio ambiente. La participación de quienes hicieron uso de las evaluaciones es obligatoria, ya que su perspectiva sobre cómo la evaluación ha marcado una diferencia es el interés central de este proyecto. La participación del evaluador es opcional, si bien será muy útil para responder a la pregunta #2 del Formulario de Presentación de historias.

¿Es necesario completar el Formulario de Presentación de historias en Inglés?

Sobre la base de los recursos disponibles, podemos aceptar presentaciones en Inglés, Francés y Español. Las historias serán publicados en su idioma original, y traducidas al Inglés.

¿Debo ser un buen escritor de historias para participar?

No, en absoluto! Basta con responder las cuatro preguntas del Formulario de Presentación de historias. Las presentaciones seleccionadas para pasar a la fase de desarrollo, recibirán apoyo especial para ello.

¿Qué es la fase de desarrollo de la historia?

La fase de desarrollo de la historia es donde la magia sucede… El apoyo se realizará a través del equipo del proyecto  de Historias de Evaluación a fin de transformar las respuestas del Formulario de Presentación de historias en una historia atractiva. Dicho apoyo podrá incluir entrevistas, un taller de escritura de historias, y/o la asistencia editorial de un escritor profesional.

¿Cómo se verán las historias finales?

Nuestro objetivo es producir historias cortas y atractivas para ilustrar cómo las evaluaciones han hecho una diferencia en la vida de las personas o para el medio ambiente. El formato puede variar de una historia a otra, dependiendo del context . Puede implicar texto, imágenes, palabras habladas u otros métodos creativos para transmitir la historia de una manera atractiva.

Para obtener más información o para participar:

o El blog cuenta con traducción al español a través del botón traductor de Google

 .

Entonces, finalmente, ¿qué es «#evaluación»?

La invitación hecha por el colega y amigo Fidel Arévalo para dictar un curso sobre “Principios epistemológicos de la Evaluación”, en el marco del Diplomado en  Monitoreo y Evaluación de Políticas Públicas (SEGEPLAN y Universidad de San Carlos de Guatemala) me permitió volver a la cuestión fundamental de la conceptualización de la evaluación.  Y el término fundamental no es caprichoso, sino que apunta al corazón de la disciplina (o transdiciplina, al decir de Michael Scriven).

En el muy recomendable libro Fundamentals issues on Evaluation, sus editores comentan que en el campo de la evaluación existen temas recurrentes, problemas y asuntos que periódicamente emergen de nuevas maneras para llamar nuestra atención.  Estos asuntos fundamentales son las preocupaciones subyacentes, los problemas o las elecciones que continuamente re-aparecen bajo distintas apariencias a lo largo de los trabajos de evaluación. Por su misma naturaleza, son cuestiones que nunca terminan de ser resueltas completamente, sólo son “cerradas” de modo temporal.

Algunas de las preguntas que estructuran el libro, y que ejemplifican esta cuestión de los asuntos fundamentales de la evaluación, son las siguientes:

  • ¿Para qué se debe realizar la evaluación? ¿Para mejorar los programas? ¿Para influir en la toma de decisiones? ¿Para proteger al público? ¿Para resolver problemas sociales? ¿Para promover la diversidad social?
  • ¿Cuál es el rol social (o los roles sociales) adecuado(s) para el evaluador? ¿Cómo profesional? ¿Cómo investigador? ¿Cómo profesor? ¿Cómo defensor? ¿Cómo facilitador? ¿Cómo juez?
  • ¿Cómo pueden los actores que son parte interesada (los stakeholders) involucrarse  en los estudios de evaluación? ¿Cómo clientes, participantes, colaboradores, como ciudadanos empoderados?
  • ¿Qué debemos considerar como pruebas aceptable para elaborar decisiones evaluativas?
  • ¿Cómo se llega a la comprensión más válidas de calidad en la evaluación? ¿Vía los experimentos controlados? ¿Vía la deliberación moral? ¿Vía interpretaciones fenomenológicas?
  • ¿Cuál es la forma más efectiva para garantizar la calidad de la práctica de la evaluación?

Interrogantes que, como tales, merecieron su indagación en un volumen extenso y profundo.

Evaluacion vs Investigacion

Para el curso “Principios epistemológicos en evaluación” me detuve particularmente en el capítulo de @SandraMathison “¿Cuál es la diferencia entre Evaluación e Investigación -Y porqué nos importa?” No pretendo reproducir el desarrollo que hace Sandra en su capítulo, pero sí marcar una idea-fuerza que ella trabaja muy bien: muchas veces, para señalar las diferencias entre investigación y evaluación, apelamos a caricaturas de las mismas.  Esto sucede del mismo modo que aquel personaje de la empleada pública que hacía el cómico argentino Antonio Gasalla, que antes las críticas por el perfil extremo en mal humor, irresponsabilidad y vagancia que había dado a la misma, se defendía diciendo: Es que exagero para fijar la idea 😉

Pues bien, algo de eso existe también en nuestros acercamientos para diferenciar investigación y evaluación. Con el riesgo de que no siempre somos conscientes del factor “exageración”, lo cual puede ser entendido como polarización e incluso como caricaturización. En tal sentido, uno puede preguntarse hasta qué punto nos sirve simplemente (o nos alcanza con) recitar la  clásica definición de evaluación del maestro Scriven:

Scriven definition EVAL La puerta de entrada que tomé para abordar la conceptualización de la evaluación fue, justamente, su contraste con la investigación social. Para ello le dedicamos un buen tiempo a discutir las siguientes proposiciones:

  • La evaluación particulariza, la investigación generaliza.
  • La evaluación está diseñada para mejorar algo, mientras que la investigación está diseñada para demostrar algo.
  • La evaluación proporciona las bases para la toma de decisiones, la investigación proporciona la base para elaborar conclusiones.
  • La evaluación:-¿y qué?; La investigación:-¿qué es eso?
  • La evaluación-¿qué tan bien funciona?; La investigación- ¿cómo funciona?
  • La evaluación es acerca de lo que es valioso, la investigación es sobre lo que es.

La discusión fue sumamente enriquecedora, y sobre el final la conclusión fue… que así son las cosas, nomás 🙂 Volvimos al punto inicial de entender la conceptualización de la evaluación como uno de esos asuntos fundamentales (recurrentes, polémicos, sólo temporalmente resueltos) de la disciplina. Apoyando esta “fragilidad?”, comenté el reciente trabajo liderado por Michael Quinn Patton referido a la definición de evaluación, encargado por la Asociación Americana de Evaluación. Dice Patton que han arribado “a un documento vivo, en constante revisión y actualización, pero nunca convertido en un dogma o en una declaración oficial de toma de posición”. Además, comenta que el trabajo de la comisión se vio constantemente tensionado por comentaristas diversos que consideraban que había elementos de más, o de menos, en los avances de la definición de evaluación. Y la discusión de algún modo continúa, por supuesto. La misma  @SandraMathison en su blog E-Valuation  hace su descargo de aspectos que a su ver no deberían estar ausentes.

Entonces, ¿en qué quedamos sobre QUÉ es (y no es) finalmente la evaluación? Pues que lo seguimos pensando, reflexionando, y debatiendo. Y esto no atenta, sino que consolida, la seriedad de la práctica evaluativa. Es posible que refleje su juventud (¿mi edad, justamente? 🙂 ), pero con seguridad es muestra de su vitalidad. Brinda de algún modo un ímpetu especial a los involucrados en el campo de la evaluación para reflexionar teórica y empíricamente sobre qué hacemos y porqué.

Para pensarlo desde otro lugar, sumo en esta entrada los geniales aportes de @ChrisLysy, quien desde su blog FreshSpectrum nos hace reír y pensar (y viceversa) sobre el mundo de la evaluación. Chris es el generador (también!) de EvalCentral  una plataforma que captura y canaliza todo blog sobre evaluación que ande dando vueltas por ahí. Y como Chris gentilmente me permitió usar sus dibujos y textos, vaya desde aquí mi público agradecimiento 😉 …

Yo sé que nuestro proyecto funciona Un millon de views en Youtube

Mis tres momentos clave de la Conferencia #AfrEA2014. #Eval

A comienzos de este mes de Marzo se desarrolló la 7ma Conferencia Internacional de AfrEA (Asociación Africana de Evaluación) en Yaoundé, Camerún. Si se tiene en cuenta la conferencia del Cairo en el 2009 (compartida con un macro-evento sobre evaluación de impacto), junto a la versión anterior en Ghana, esta sería mi tercera conferencia de AfrEA. Sin embargo, no por ello es menor la satisfacción y el agrado que siempre he encontrado en este ámbito de intercambio, encuentro y crecimiento profesional.  Gracias al generoso apoyo de los organizadores, varias decenas de participantes pudimos tomar parte en el evento, por lo cual aprovecho este medio para reiterarles mi sincero agradecimiento (vengo del fin del mundo, como dijo un compatriota 🙂 ).

AFREAFue una semana realmente intensa, con diversas posibilidades para conocer, discutir, y celebrar. Pude saludar y conversar brevemente con el famoso bloguer John Gargani, la desarrolladora del glosario de evaluación Kyle Hutchinson (quién me saludó preguntándome “¿Eres tú @txtPablo?” (si mi madre lo supiera…!),  dialogar con el profesor Eliott Stern (director de la revista Evaluation), casi-casi me encuentro con Linda Raftree  (si bien pudimos cruzar algunos tweets), saludar varias veces al poderoso equipo de la plataforma Better Evaluation (ya presentado antes aquí y aquí) y muchos colegas y amigos de las más diversas VOPEs de todo el mundo (VOPEs es la sigla crecientemente adoptada para denominar a las redes, asociaciones y sociedades de evaluación, caracterizándolas como Organizaciones Voluntarias para la Evaluación Profesional).

El programa de la conferencia permite dar una idea de los ejes principales, así como de los intereses más recurrentes y significativos para los participantes. En particular me llamó la atención la gran cantidad de ponencias y paneles que se organizaron bajo el eje de la Gestión del Conocimiento (Knowledge Management), algo que seguramente le interesará a Carlos Rodríguez-Ariza y su blog TripleAd (el cual recomiendo seguir de cerca).

En esta ocasión quiero apenas hacer mención a tres espacios en los cuales me tocó participar durante esta semana de #AfrEA2014, y que por distintos motivos me resultaron muy significativos cada uno de ellos. Aquí van, en riguroso orden de aparición:

2014-03-03 07.19.13

1)   Taller de Sistematización de Experiencias: con mi amigo y colega Esteban Tapella propusimos y nos aceptaron la realización de un taller introductorio al latinoamericano método de Sistematización de Experiencias. Si bien la hemos practicado en diversas ocasiones, y hemos brindado este taller varias veces también, esta fue la primera vez que lo hacíamos para una audiencia sin ningún compatriota de la Patria Grande (Latinoamérica), y además en inglés.  Resultó una experiencia muy valiosa para nosotros, y creemos que también para varios de los participantes, al menos de quienes pudimos tener cierto feed-back posterior. Sería interesante saber si ha habido antes algún taller sobre Sistematización de Experiencias en África, o bien si éste se convirtió en el inaugural en el contacto e intercambio Sur-Sur.

2)   Taller de la Caja de Herramientas (toolkit) de EvalPartners:  aquí ya me tocó el rol de participante antes que de facilitador, pero eso no significó que trabajara menos. Benita Williams, bloguer y twittera también, es quien coordina el desarrollo de esta Caja de Herramientas para apoyar y fortalecer a las VOPEs en sus diversas dimensiones (una iniciativa de EvalPartners).  En esta ocasión, nos hizo poner a prueba las distintas secciones hasta ahora preparadas. Mi impresión es que el toolkit es un conjunto de herramientas MUY VALIOSO para las VOPEs, con independencia de su grado de desarrollo. Hasta ahora está todo el material en inglés, confiemos tenerlo completo y disponible en otras lenguas en el corto plazo. Para seguir sus progresos, se los puede seguir en Twitter en @VopeToolkit, y fotos del taller aquí.

Captura de pantalla 2014-03-17 a la(s) 08.43.03

Ah! Una alegría extra para mí fue que durante este taller compartí largo rato con Adam Suleiman (aquí sentado junto a un servidor), quien sobre el final de la conferencia resultaría elegido Presidente de AfrEA.

3)   Panel sobre historias de evaluaciones que han marcado la diferencia: éste es un proyecto que he presentado antes aquí, y con el cual me siento muy comprometido. Problemas organizativos nos obligaron a cambiar sobre la hora el lugar del panel, lo que seguramente afectó que contáramos con una presencia más nutrida. Pero lo que perdimos en cantidad lo ganamos en calidad, pues los comentarios de Jim Rugh, Tessie Cattsambas, y Martha McGuire (todos estrechamente vinculados a EvalPartners y a la IOCE) fueron de altísima calidad, y muy útiles para la actual etapa del proyecto. Confío volver sobre este punto pronto.

Para cerrar esta entrada, vayan las líneas finales dedicadas a los organizadores de esta Conferencia #AfrEA2014, a quienes vimos atentos y preocupados en todo momento por lograr los mejores frutos de esta ocasión.  Au revoir! 

Evaluaciones que Marcan una Diferencia: historias de todo el mundo

Hace poco compartía aquí una reflexión sobre el vínculo posible y deseable entre Evaluación y Narración de historias.  En esa entrada hacía una breve referencia a un nuevo proyecto en el que estoy embarcado, y que está viendo la luz públicamente en estos días  (de tanto frío en el Norte, y de harto calor en el Sur :/ ).

pen-blue-feather-ink-old-paper-wall_18115Debajo detallo los aspectos generales y  procedimientos a seguir para poder aportar a este proyecto. Básicamente, se trata de identificar historias de evaluaciones que hayan marcado una diferencia en el escenario evaluado. Vale decir, estamos queriendo ir más allá de la nociones de calidad, comunicación e incluso uso de las evaluaciones. Apuntamos a identificar evaluaciones que han tenido un impacto, y que el mismo ha sido positivo tanto para el espacio evaluado (proyecto, programa, organización, etc.) como para los actores para quien la iniciativa se desarrolló.

Para difundir el proyecto, hemos comenzamos con esta pregunta provocadora: ¿Has participado en alguna evaluación que haya influido la vida de las personas y / o conducido hacia una mejora social? A la vez, en el marco del proyecto, resulta clave entender que dicha pregunta no va dirigida ni principal ni únicamente a los evaluadores…

Nos interesa, en cambio, que la respondan los usuarios de la evaluación, vale decir, aquellos que la solicitaron, quienes la contrataron y supervisaron, los que  aprobaron el informe de evaluación, aquellos que implementaron cambios a partir de la evaluación, aquellos que se beneficiaron con los aportes que brindó y sugirió la evaluación.  Y también la voz del evaluador! 😉 , ¿porqué no?  Pero el énfasis fuerte y claro está en aquellos primeros.

Pues bien, más detalles sobre este proyecto, la forma de aportar historias de evaluación, el trabajo a realizar con ellas, los tiempos del proyecto y demás, lo encontrarán desarrollado en la convocatoria aquí debajo.  Para aquellos que lleguen al final del post (idealmente, leyéndolo) hay de premio un video ilustrativo que se las trae…  Los comentarios de esta entrada quedan abiertos para los idem y consultas.

————————–

Convocatoria Internacional de Historias de Evaluación       

Evaluaciones que Marcan una Diferencia: historias de todo el mundo

Este proyecto es financiado por EvalPartners Innovation Challenge, el cual aspira a identificar ideas innovadoras para fortalecer la demanda y el uso de evaluación.

Su evaluación, ¿influyó de alguna manera en la vida de las personas?

Si así es, puede enviarnos el Formulario de Presentación de Historias hasta el 15 de Abril de 2014, a fin de tener la oportunidad de incluir su evaluación en una colección internacional sobre historias de evaluaciones que han marcado una diferencia.

Dicha colección de historias ayudará a los usuarios de evaluaciones (por ejemplo, gobiernos y organizaciones internacionales, organizaciones no gubernamentales y activistas sociales) a entender mejor cómo la evaluación puede ser realmente una fuerza para el cambio positivo. También ayudará a los evaluadores a contar con un mejor entendimiento sobre los enfoques de evaluación que pueden influir en su uso e impacto.

¿Qué entendemos por evaluaciones que marcan una diferencia?

Estamos hablando de evaluaciones que contribuyan a la mejora social. Muchas evaluaciones cuentan con buenos métodos (incluso innovadores) así como con la participación de actores importantes. En algunos casos, esas evaluaciones suelen informar las decisiones acerca de los programas y políticas. Estamos buscando historias que describan cómo la evaluación ha llevado a cambios positivos en la vida de las personas o el medio ambiente.

Ejemplo Uno: Un programa que ofrece orientación profesional para jóvenes desempleados

La evaluación puso de relieve la necesidad de mejorar la formación de los consejeros y de ampliar el programa para incluir prácticas insertas en la comunidad. La aplicación de las recomendaciones se tradujo en un mayor porcentaje de jóvenes que consiguieron empleo. La historia se centrará en el impacto del nuevo programa en uno de los participantes

Ejemplo Dos: Políticas Agrícolas Nacionales

Esta evaluación echó luz acerca de cómo las políticas agrícolas destinadas a mejorar los rendimientos de los cultivos estaban impactando negativamente en los ingresos de los agricultores de subsistencia. Los cambios en las políticas agrícolas dieron lugar a un aumento del 20% en los ingresos de los más pobres entre los pobres, y el aumento de la matrícula escolar entre los niños de esos agricultores. La historia se centrará en cómo los cambios en las políticas impactaron a las familias de agricultores en una región en particular.

¿Por qué historias?

Las historias son una forma poderosa de comunicar información e ideas. Nos atraen emocional e intelectualmente. La mayoría de los textos sobre evaluación son publicados en revistas académicas, por lo que resultan  poco atractivos (y a veces inaccesibles) para quienes deben hacer uso de las evaluaciones. Por el contrario, todos intuitivamente entendemos y recordamos las historias.

Cronograma del proyecto

  • Fecha límite para presentar las historias: 15 de Abril de 2014
  • Notificación de las historias seleccionadas: Mayo de 2014
  • Desarrollo de las historias: de Junio a Noviembre de 2014
  • Publicación y difusión en línea: 2015: Año Internacional de la Evaluación

Proceso de presentación de las historias

1.     Decida quién llenará el Formulario de presentación de historias

Estamos principalmente interesados en recoger la perspectiva de los usuarios de las evaluaciones (por ejemplo, de aquellos que las requieren o solicitan, o de quienes usan los resultados de la evaluación). La perspectiva del evaluador es también importante para presentar la historia de la evaluación, si bien su participación es opcional.

2.     Complete todas las secciones del Formulario de presentación de historias

Preste atención a lo siguiente:

  • Definición y descripción de cada criterio
  • Ponderación relativa asignada a cada criterio, así como qué buscaremos al momento de otorgar puntos

3.     Envíe el formulario completo a evaluationstories@gmail.com hasta el 15 de Abril de 2014.

4.     Los Equipos Regionales de Revisión de Historias  revisarán y calificarán cada envío. Entre una y tres presentaciones de cada región serán invitadas a proceder a la fase de desarrollo de las historias.

La fase de desarrollo de las historias requerirá un compromiso de 5 a 10 horas por persona, en total, entre Junio y Noviembre de 2014. Se pretende que esta fase implique un proceso agradable y significativo, y no es necesario que uno sea escritor experto para ello. Se le solicitará que participe en una o más entrevistas acerca de la evaluación presentada, así como revisar la historia desarrollada antes de su publicación. También podremos pedirle fotos para darle vida a la historia.

Contactos regionales

Europa Ramón Crespo ramon.crespo@areaq.net
Latinoamérica & Caribe Pablo Rodríguez Bilella pablo67@gmail.com
Norteamérica Dayna Albert daynaalbert@rogers.com
África Serge Eric Yakeu Djiam serge.eric01@gmail.com
Asia Soma de Silva somadesilva@gmail.com
Australasia Scott Bayley scottbayley56@yahoo.com.au
Coordinadora del Proyecto Dayna Albert evaluationstories@gmail.com

Preguntas y respuestas

 

¿Quién puede participar?

Cualquiera que haya hecho uso de la evaluación a fin de mejorar programas, políticas, organizaciones y/o sistemas, y que pueda describir cómo la evaluación contribuyó a cambios positivos en la vida de las personas o el medio ambiente. La participación de quienes hicieron uso de las evaluaciones es obligatoria, ya que su perspectiva sobre cómo la evaluación ha marcado una diferencia es el interés central de este proyecto. La participación del evaluador es opcional, si bien será muy útil para responder a la pregunta #2 del Formulario de Presentación de historias.

¿Es necesario completar el Formulario de Presentación de historias en Inglés?

Sobre la base de los recursos disponibles, podemos aceptar presentaciones en Inglés, Francés y Español. Las historias serán publicados en su idioma original, y traducidas al Inglés.

¿Debo ser un buen escritor de historias para participar?

No, en absoluto! Basta con responder las cuatro preguntas del Formulario de Presentación de historias. Las presentaciones seleccionadas para pasar a la fase de desarrollo, recibirán apoyo especial para ello.

¿Qué es la fase de desarrollo de la historia?

La fase de desarrollo de la historia es donde la magia sucede… El apoyo se realizará a través del equipo del proyecto  de Historias de Evaluación a fin de transformar las respuestas del Formulario de Presentación de historias en una historia atractiva. Dicho apoyo podrá incluir entrevistas, un taller de escritura de historias, y/o la asistencia editorial de un escritor profesional.

¿Cómo se verán las historias finales?

Nuestro objetivo es producir historias cortas y atractivas para ilustrar cómo las evaluaciones han hecho una diferencia en la vida de las personas o para el medio ambiente. El formato puede variar de una historia a otra, dependiendo del context . Puede implicar texto, imágenes, palabras habladas u otros métodos creativos para transmitir la historia de una manera atractiva.

Para obtener más información o para participar:

o El blog cuenta con traducción al español a través del botón traductor de Google

 .
.
Bravo por llegar hasta aquí!  Ahora el video prometido, que viene in English, pero el botón CAPTION permite los subtítulos (in English too!, pero ayuda… ;.) )

Había una vez….. Evaluación y narración de historias

Publicado originalmente en
Evaluations That Make A Difference




La Verdad , desnuda y fría , había encontrado cerrada todas las puertas de la aldea.

Su desnudez asustaba a la gente.

Cuando la Parábola la encontró,

ella se acurrucó en un rincón, temblando y con hambre.

Compadeciéndose de ella, la Parábola la protegió y la llevó a su casa.

Allí, vistió  a la Verdad con la Narración , la calentó y la envió de nuevo.

Vestida con la Narración , la Verdad volvió a llamar a las puertas de los aldeanos

y fue recibida fácilmente en sus casas. Ellos la invitaron a comer en su mesa

y a calentarse junto al fuego.


Historia judía de enseñanza ( Annette Simmons, The Story Factor )


Las historias o narraciones son  auténticas expresiones humanas que nos transportan a la esencia de la experiencia. ¿Por qué las historias son tan poderosas? Hay varias razones para ello:


Las historias son una forma esencial de comunicación. Durante siglos, el intercambio de experiencias a través de historias ha sido un método fundamental de la comunicación humana. Historias populares y cuentos de hadas se transmiten de generación en generación a fin de compartir costumbres e ideas.


storytellingLas historias conllevan conexiones. Cuando escuchamos historias, nuestra imaginación añade imágenes y detalles que nos conectan con la historia. Nos solidarizamos con los personajes y situaciones de la historia porque entendemos los detalles de sus vidas.


Las historias son nuestra forma de pensar. Las historias son nuestro medio de explicar cómo funcionan las cosas. Ellas nos ayudan a entender nuestro lugar en el mundo, a crear nuestra identidad, y a definir y enseñar valores sociales.


Las historias proporcionan orden. Podría decirse que cada vez que se describe una experiencia (por ejemplo, un proyecto o un programa), estamos narrando una historia. Por tanto, es lógico utilizar la narración para transmitir cómo la evaluación ha «marcado la diferencia». A través de una hábil narración, podemos aprender y aplicar las enseñanzas de los buenos evaluadores.


Nos conectamos a través de historias. La narración de historias es una de las mejores formas de enganchar a un público. La información se transmite aparentemente sin esfuerzo, a la vez que se refuerzan la comprensión y el aprendizaje. Los seres humanos somos realmente buenos en contar historias y aprender de ellas.


Las historias involucran a nuestro hemisferio cerebral derecho, y disparan nuestra imaginación. Al igual que al leer un buen libro o ver una película conmovedora, las historias dejan una marca en nosotros que dura mucho más tiempo que cualquier informe de hojas de cálculos o asignación de activos.


En el proyecto Evaluaciones que Marcan la Diferencia (en Inglés, con botón de traducción al Español), nos proponemos explorar cómo las narrativas y el relato de historias pueden facilitar la transferencia de conocimientos y el aprendizaje. Creemos que la narración puede tener un profundo impacto en los diferentes actores o partes interesadas en los procesos de evaluación. La narración de historias permite a los análisis  cobrar vida en un contexto emocional que resulta relevante para los tomadores de decisiones.


Creo que el campo de la evaluación ha subestimado el poder de una buena historia. Tendemos a hablar de estrategias, números y puntos de referencia, en lugar de interacciones humanas, experiencias y vida de actores clave. Este proyecto -subtitulado Historias de Evaluación de Todo el Mundo- tiene como objetivo profundizar en el poder de las historias al interior del campo de la evaluación.


En una entrada en el blog del proyecto , Ramón Crespo preguntó: ¿Qué pasa si las evaluaciones que marcan la diferencia son aquellas que crean las condiciones para el cambio? Ésta es una pregunta importante, por cierto. Justamente, cuando Ramón elabora su respuesta, hace referencia a elementos centrales de la narración de historias . Él escribió :


Las evaluaciones pueden crear las condiciones para el cambio de muchas maneras diferentes :

Al dar voz a los que normalmente no tienen la oportunidad de expresar sus puntos de vista ;

Al desafiar a los responsables de programas con preguntas incómodas, conduciéndolos hacia la próxima etapa de su desarrollo organizacional ;

Al alentar la discusión de los resultados entre las partes interesadas, utilizando un formato abierto (por ejemplo, taller ) dirigido a promover el cambio en lugar de presentar un informe cerrado basado en las interpretaciones de un solo «experto».


.

Voz , preguntas , discusiones … Elementos clave que seguramente tendremos presente al describir y narrar las evaluaciones que marcan la diferencia. ¡Los tendremos al tanto!