¿Cuál es el valor real de la evaluación?
¿Qué factores contribuyen, suman, y aportan para convertir en valiosa a una evaluación en particular?
¿Cuáles son los beneficios de la evaluación, y cómo se expresan o se miden?
¿Cómo pueden ser descriptos dichos beneficios de manera tal que tengan sentido para los ciudadanos y para los hacedores de políticas?
¿Pueden ser las historias o narrativas una buena manera de comunicar los resultados de la evaluación?
.
Comenté hace tiempo mi participación junto a un grupo internacional de evaluadores en un proyecto financiado por EvalPartners cuyo propósito era recoger historias de evaluación que ayudaran a responder estas preguntas. El título del proyecto –Evaluaciones que marcan la diferencia: historias de todo el mundo– ya señalaba la orientación y el propósito de nuestra búsqueda.
.
Un primer paso fue definir nuestro entendimiento sobre qué son esas «evaluaciones que marcan la diferencia». Sin duda que muchas evaluaciones presentan metodologías sólidas y, cuando los astros se alinean, son capaces de informar la toma de decisiones y mejorar programas, organizaciones y políticas. En esos casos hablamos de la influencia de evaluación. Sin embargo, en este proyecto estábamos particularmente interesados en ir más allá de esto, y explorar qué pueden hacer las evaluaciones para mejorar la vida de las personas y contribuir al desarrollo social (el llamado social betterment). Hacia esto apunta la noción de impacto de la evaluación.
.
.
Una vez hecha la difusión y convocatoria, recibimos más de 60 historias de evaluación con impacto, de las que elegimos ocho para profundizar y desarrollar. Con la colaboración de evaluadores, funcionarios, demandantes de la evaluación, beneficiarios de la intervención, y narradores profesionales, llegamos al producto final, presentado hace unos meses atrás.
.
Destilando aprendizajes de esas historias, hemos encontrado que hay al menos ocho factores facilitadores que contribuyen a que las evaluaciones tengan impacto en las personas y en la mejora social. Sucintamente, estos son los factores identificados:
.
1. Dar voz a los sin voz : en una evaluación todas las voces deben ser escuchadas, pero los que menos poder tienen a menudo son los menos escuchados;
.
2. Proporcionar evidencia creíble sobre la base de un diseño y metodologías de alta calidad;
.
3. Utilizar un enfoque positivo que enfatice las fortalezas, oportunidades, aspiraciones y resultados;
.
4. Sumar activamente a la evaluación a usuarios y beneficiarios a través de un proceso centrado en la utilización, que facilita la adopción de la evaluación a medida que progresa;
.
5. Insertar a la evaluación al interior de la iniciativa evaluada desde el inicio de la misma, si es posible, con el fin de contar con información de línea de base y promover el pensamiento evaluativo;
.
6. Tener una preocupación sincera por el desarrollo y resultados de la evaluación, de tal manera que quienes la solicitan, los usuarios, y los evaluadores, trabajen en coordinación a fin de asegurar evidencia creíble;
.
7. Abogar por la evaluación – los evaluadores necesitan trabajar con los agentes de la intervención y los usuarios para ayudarles a entender cómo la evaluación puede contribuir a la toma de decisiones;
.
8. Concentrarse en el impacto de la evaluación: desde el inicio de la evaluación, los evaluadores deben pensar en el efecto potencial de la misma sobre el programa y sus participantes.
.
Con el propósito de darle mayor espacio y atención a las historias de evaluación que favorecieron la emergencia de estos factores facilitadores del impacto de las evaluaciones, las próximas semanas iremos presentando cada una de dichas historias. Valga el plural pues difundiremos las historias en castellano en Al Borde del Caos, así como en Inglés y Francés en el blog del proyecto EvaluationStories.
.
Quedan invitados a unirse a estos intercambios y compartir sus propias experiencias, ya que realmente nos gustaría conocer (y sumar!) más historias de evaluaciones que han marcado una diferencia…
-<
Al Borde del Caos 
It would be really interesting to know in what type of evaluations would be better to introduce the concept of utilization? Here in Mexico we mostly do ex-post programs evaluations and we have reference terms to guide those evaluations. So, how can we introduce the utilization concept in design evaluations? Best regards.
Me gustaMe gusta
Mi impresión es que tendemos a acotar la noción de uso principalmente a las evaluaciones ex-post (en primer término) como a las evaluaciones durante el proceso de implementación. Las evaluaciones ex-ante no suelen tener un espacio muy dedicado en cierto tipo de literatura, pero quizás en el caso de ese tipo de evaluaciones, la certeza sobre su utilización sea mayor. Con ello quiero decir que, si se hacen, se utilizan. Tu comentario creo yo apunta a cómo hacerlas más, correcto? Pues bien, mostrar su utilidad, su impacto, su relevancia, es un camino privilegiado para ello. En el marco del proyecto que aquí presentamos, no tuvimos ejemplos de evaluaciones ex-ante…. será hora de buscarlas? Gracias por comentar, Jaqueline.
Me gustaMe gusta
Un factor relevante y que tal vez no trabajamos en toda su dimensión, es comprender, interiorizar y comunicar los resultados de la evaluación a los involucrados, para convertir en estrategias de cambio a todo nivel a partir de los campos de responsabilidad de cada uno, y con ello sobrepasar el conocimiento capitalizado sólo en los gestores/ejecutores de la intervención, como ocurre en la mayoría de veces.
Me gustaMe gusta