In Spanish & en Espagnol: Principios Básicos de la Evaluación para la Acción

Desde que comencé a madurar la idea de escribir en este blog sobre temas de desarrollo, evaluación y complejidad, una motivación clara y un propósito explícito para ello fueron el poder hacerlo en castellano, apuntando a un nicho que veía en cierta manera descuidado. Aquellos blogs en español que encontré valiosos e interesantes  los fui reseñando en la columna derecha bajo el título Sitios de Interés (la cual merece una actualización, lo sé… ).  Pues bien, este año confío compartir varias iniciativas que recogen esta inquietud también, y donde el trabajo sobre los tópicos de interés hecho en la lengua de Cervantes tendrá un lugar privilegiado (sin ser  por ello Quijotesco ;-) ).

libroY para dar inicio a esta ronda, qué mejor que presentar en sociedad y recién salido del horno a Principios Básicos de la Evaluación para la Acción: obteniendo respuestas sucintas a las preguntas más importantes,  escrito por E. Jane Davidson, autora de diversos materiales y bloguera también en Real Evaluation y Genuine Evaluation (en este caso junto a Patricia Rogers, uno de los motores de la plataforma Better Evaluation).  El libro (o mini-book) es fruto del trabajo de Jane en múltiples ámbitos de evaluación, y ha sido presentado también en diversos talleres brindados en el marco de las conferencias de la Asociación Americana de Evaluación así como la Australasian Evaluation Society.

El minibook ha sido publicado en la plataforma Kindle de Amazon, la cual genera un e-book que puede ser leído en una diversidad de medios:  tanto en un Kindle, como en una PC, laptop, iPad, y la mayoría de los equipos que pueden bajar gratuitamente el Kindle app, así como en la misma “nube” de Internet. El precio del mismo es muy conveniente, apenas USD 4,99.  El minibook fue publicado originalmente en Inglés en Septiembre de 2012, y tuve la grata tarea de trabajar en su traducción al Español, con la valiosa y nunca complaciente ayuda de Thomaz Chianca y Rafael Monterde-Díaz (bloguero en Evaluateca).

El minibook, como (parcialmente) su nombre lo indica, es más corto, menos académico, y más “leíble” que varios libros tradicionales sobre la temática de la evaluación. Jane ha indicado que el mismo está dirigido a una audiencia de lectores que se están iniciando en la evaluación, pero he aquí un punto en el que me permito disentir con ella, pues sus diversas secciones dan cuenta tanto de pistas, consejos, como reflexiones que dan mucho para pensar para evaluadores con una multiplicidad de experiencias y “antigüedades”. Valga entonces una introducción general a su contenido:

JaneButtonPresentando a la evaluación para la acción!

¿Cuál es la esencia de la evaluación para la acción? ¿Cuáles son sus componentes principales? ¿Cómo hacer – o comisionar – una evaluación para la acción?

En pocas palabras, hay seis elementos que son esenciales para la evaluación para la acción:

(1) un propósito claro para la evaluación,

(2) la estrategia adecuada para involucrar a las partes interesadas (stakeholders)

(3) preguntas importantes y amplias para guiar toda la evaluación;

(4) respuestas bien razonadas a las preguntas amplias, respaldadas por una combinación convincente de evidencia;

(5) informe conciso y directo, que no se pierde en los detalles, y

(6) respuestas e ideas que permitan acciones concretas, con las que se puede hacer algo.

El libro proporciona una visión general de estos seis elementos, dedicando una sección para cada uno de ellos. Un aspecto muy relevante a mi ver de la orientación general del libro, es el reconocimiento de que en el trabajo de evaluación es increíblemente fácil ensimismarse en cuestiones de métodos y mediciones. Al guiarse por un marco de Evaluación para la Acción, resultará claro que la evaluación no es sólo acerca de medición y métodos de análisis, sino más bien se trata de brindar respuestas claras y bien razonadas a las preguntas más importantes. El informe de evaluación es sucinto y va directo al grano, pero abraza y contiene toda la historia, no sólo a una pequeña y engañosa parte de la misma.

El punto ahí nombrado sobre las  preguntas de la evaluación me pareció realmente muy valioso e interesante, y un claro ejemplo de que el enfoque de Evaluación para la Acción comprende sin duda a los más novatos en evaluación,  pero apunta a todos a quienes este campo nos parece relevante y apasionante. Unos pocos párrafos más para mostrar a qué me refiero:

En evaluación, las preguntas correctas para guiar toda la evaluación son preguntas explícitamente evaluativas. Voy a mostrar lo que quiero decir con esto utilizando algunos ejemplos.

ToitoiBoxAl preguntar por la ejecución de un programa, una pregunta descriptiva podría ser: “¿Fue el programa llevado a cabo según lo previsto?”, o “¿Fue ejecutado de acuerdo con las especificaciones?” Por el contrario, una pregunta evaluativa indagaría respecto a cuán bien fue implementado – ¿se ejecutó completamente, de manera justa, ética y culturalmente apropiada?¿se hizo de un modo eficiente, profesional, y de una manera consistente con las normas y estándares legales y profesionales, etc.?

Al mirar el alcance o cobertura del programa, una pregunta descriptiva indagaría a cuántas personas se ha alcanzado y / o cómo fueron alcanzadas. Una pregunta evaluativa indagaría, ”¿Cuán adecuado fue el alcance del programa?” En otras palabras, no preguntaríamos solamente a cuántas personas se llegó, sino si se llegó a suficiente gente. ¿Se alcanzaron a las personas adecuadas? No preguntaríamos sólo por la forma en que se hizo, sino cuán bien fue hecho. ¿Utilizamos las mejores vías y métodos que podríamos usar? ¿Qué tan bien llegamos a poblaciones difíciles de alcanzar? ¿Accedieron quienes tienen mayor necesidad? ¿A quién no llegó, y fue eso razonable, ético, justo? Al hacer preguntas acerca de los resultados, no importa solamente qué ha cambiado o si los objetivos y metas se cumplieron, la pregunta es: “¿Cuán sustanciales y valiosos fueron los resultados?”

Nada más por ahora, que para muestra basta un botón. Gracias a Jane por su interés en compartir sus reflexiones y experiencias en diversos formatos y lenguas, y estoy seguro que el contenido de Principios Básicos de la Evaluación para la Acción será fuente de enriquecimiento para la comunidad hispano parlante de evaluadores.

¡Hay equipo…! Nuevos aires en la ReLAC -Red Latinoamericana de Evaluación-


logo ReLACHace unos años atrás se hizo muy popular en Argentina una publicidad de cerveza que reflejaba con humor diferentes situaciones típicas de las playas de la costa atlántica durante  los meses de verano. Una de las escenas mostraba la búsqueda regular de compañeros para amar un “picadito” de fútbol playero, con la recurrente frase  ”¡Hay equipo!“, la que se popularizó y se hizo aplicable a diversas circunstancias.

Con gran satisfacción puedo sumarme al “¡Hay equipo!” para comentar que un nuevo Comité Ejecutivo ha sido elegido para liderar la andadura de la ReLAC, la Red de Seguimiento, Evaluación y Sistematización en América Latina y el Caribe. Tras la realización de su Asamblea General a fines de noviembre, la ReLAC eligió a siete de sus miembros para conformar el órgano de conducción de la misma, vale decir, su Comité Ejecutivo, el cual tiene entre sus funciones la implementación de las políticas y lineamientos del plan de trabajo esbozado y aprobado en la Asamblea para el periodo bienal correspondiente.

El Comité Ejecutivo electo tuvo recientemente su primera reunión, donde se trazaron los primeros pasos a seguir, a la vez que se asignaron algunas responsabilidades. Sirva esta entrada para felicitar y presentar los miembros del flamante Comité Ejecutivo de la ReLAC a los lectores del blog.

Magda 3Magdalena Ordoñez, presidenta de la Red Hondureña de Profesionales de Evaluación, Seguimiento y Sistematización –
REDHPRESS-, fue elegida coordinadora de la ReLAC. Magdalena es doctora en Desarrollo Humano Social,  y especialista en Evaluación Social y Diseño de Proyectos de Desarrollo. Ha trabajado como Consultora de organismos internacionales, ONGs, instituciones del Estado de Honduras en diversas áreas vinculadas a Planificación Estratégica, Estudios de Base, Evaluaciones de Medio Término y de Impacto, Formulación de sistemas conceptuales e informáticos de seguimiento y evaluación de proyectos de desarrollo. Recientemente se desempeñó como Directora General de Monitoreo y Evaluación de Políticas Públicas de la Secretaría de Desarrollo Social de Honduras.

Foto Victor Manuel QuinteroVictor Manuel Quintero Uribe, de Colombia, economista de la Universidad Central de Missouri, con estudios a nivel de Master y Doctorado, fue elegido vice-coordinador de la ReLAC. Actualmente se desempeña como evaluador, profesor, investigador, consultor en las áreas de planeación, seguimiento, evaluación, interventoría y sistematización de políticas, planes, programas y proyectos de desarrollo cultural, social, económico, político  y ambiental de comunidades, organizaciones y regiones. Igualmente es profesor de la Maestría en Gestión Pública de la Universidad Santiago de Cali-Colombia, donde dirige los procesos de investigación, extensión y el Observatorio de la Gestión Pública. Tiene amplia experiencia en el diseño e implementación de sistemas de evaluación e información mediante la construcción, uso e interpretación de indicadores tanto de logro como de gestión y de calidad.Universidad Central de Missouri, con estudios a nivel de Master y Doctorado. Actualmente se desempeña como evaluador, profesor, investigador, consultor en las áreas de planeación, seguimiento, evaluación, interventoría y sistematización de políticas, planes,

Esteban Tapella 2012 baja resoluciónEsteban Tapella, de Argentina (y quien colaborara hace poco con un post en este blog), fue elegido como representante de la ReLAC ante la IOCE, y por tanto integrante del Management Group de la iniciativa EvalPartners. Esteban es trabajador social, tiene título de maestría en estudios del desarrollo y doctorado en ecología humana. Es docente de planificación, evaluación y sistematización de experiencias, así como investigador en el Programa de Estudios del Trabajo, el Ambiente y la Sociedad en la Universidad Nacional de San Juan, Argentina. Tiene más de 20 años de experiencia profesional con responsabilidades crecientes en el ámbito de la planificación y gestión del desarrollo como en el campo de la evaluación de programas y políticas públicas e iniciativas desde el sector privado y las ONGs a nivel local, regional y nacional.

AQUIM, Rosario 22Rosario Aquím Chávez, desde Bolivia, ha sido integrante del anterior Comité Ejecutivo, y tiene ahora el importante trabajo de hacer de enlace entre uno y otro (así como Enlace , Consultores en Desarrollo es el nombre de la organización donde trabaja ;-) ). Rosario tiene estudios en comunicación social y ha logrado maestrías en ciencias del desarrollo, filosofía y ciencia política. Además de todo esto, Rosario es poeta, periodista y ensayista, y algunas de sus producciones suele compartirlas en su muy activo muro de Facebook.

leofontLeopoldo Font Echarre dirige  en Uruguay el Centro Latinoamericano de Economía Humana -CLAEH -. Es Master (y candidato a Doctor) en Dirección y Gestión Pública Local por la Universidad de Jaén y UIM. Fue asesor de Desarrollo Municipal en la Intendencia de Montevideo, y Coordinador Operativo del Programa de Modernización Institucional del Banco Mundial en Ministerio de Economía y Finanzas de Uruguay. Docente de la Universidad de la República desde 1991. Miembro de CLAEH desde 1983, ha dirigido proyectos de desarrollo local e integrado el Programa Empresas. En la actualidad Director General y docente en Diplomas y Maestrías. Docente cursos a distancia ILPES / CEPAL, Universidad Católica Santa María la Antigua Panamá, Asunción del Paraguay, UNESU y CLAEH.

Alcides GussiAlcides Fernando Gussi, miembro de la Red Brasilera de Evaluación,  es licenciado en Historia, Master en Antropología Social y doctor en Educación, Sociedad, Cultura y Política en la Universidad de Campinas (UNICAMP). En la actualidad es coordinador de la Maestría en Evaluación de Programas de Políticas Públicas (MAPP) y miembro permanente del profesorado del Programa de Posgrado en Educación de la Facultad de Educación de Brasil (FACED). Es miembro del Consejo Editorial de la Revista AVAL – Evaluación de las Políticas Públicas. Sus temas de interés son las identidades sociales, el enfoque biográfico, la evaluación de las políticas públicas  de carácter social, y las metodologías cualitativas de evaluación.

Andrea PeroniAndrea Peroni, socióloga y académica del Departamento de Sociología de la Universidad de Chile. En la actualidad es Directora Académica del Diplomado de Evaluación de Intervenciones Sociales, y coordina el Núcleo de Evaluación de Políticas Publicas, del Departamento de Sociología.  Andrea cuenta con una experiencia de más de 15 años de docencia tanto en pre como en postgrado en el ámbito de la Historia, Planificación-Evaluación y Políticas Sociales. Se ha desempeñado en el área de planificación, y evaluación de intervenciones sociales (proyectos, programas y políticas sociales), tanto en el ámbito local y central, como regional en América Latina. Actualmente, está liderando la realización del Simposio sobre Investigación Evaluativa, del cual hemos hablado en este blog con anterioridad.

Captura de pantalla 2012-12-22 a la(s) 10.46.30Como primera suplente de este equipo encontramos a  Susana Guevara, miembro de EvalPerú (Red Peruana de Evaluación). Susana es socióloga con estudios de postgrado en Población y Desarrollo y maestría en Gerencia social. Tiene unos 18 años de experiencia en proyectos de población y desarrollo, incluyendo educación sexual, salud reproductiva, derechos sexuales y reproductivos y género, y cuenta con varias publicaciones en esta línea. En los últimos años se ha especializado en Monitoreo y evaluación de proyectos de desarrollo, y ha ocupado la posición de asesora en monitoreo y evaluación distintos proyectos de organizaciones internacionales. Actualmente, se desempeña como consultora independiente y especialista en temas de Monitoreo y Evaluación de Proyectos y Programas de Desarrollo.

.

Pues bien, estos perfiles profesionales complementan y suman a la gran calidad humana del nuevo Comité Ejecutivo de la ReLAC, el cual desde sus primeras reuniones y elección de responsables para distintas áreas ha mostrado un gran espíritu de equipo y colaboración. Vayan para todos ellos los mejores augurios en esta gestión que comienza…  y comparto un video que ilustra las ventajas de “andar en grupo”, simpático y relevante para todos aquellos que apuestan por el trabajo voluntario y asociativo.

Investigación y Evaluación – Santiago de Chile, 7 al 11 de Enero de 2013

logo congreso chileEl pasado mes de Abril comenté sobre el Simposio sobre Investigación Evaluativa de Proyectos, Programas y Políticas Sociales, a desarrollarse en Enero de 2013 en Santiago de Chile. El mismo tendrá lugar en el marco del III Congreso Internacional de Ciencia, Tecnología y Cultura. El mismo es organizado por la  ReLaC-Chile y el Núcleo de Evaluación de Políticas Públicas de la Universidad de Chile. Al mismo tiempo, es relevante prestar atención también a las organizaciones e instituciones que patrocinan al Simposio: la Red de Seguimiento, Evaluación y Sistematización de América Latina y el Caribe -RELAC, la plataforma PREVAL, el Centro de Políticas para el Desarrollo  (Universidad Santiago de Chile); el Centro CLEAR-LA, el Centro de Análisis de Políticas  Públicas y Sociales de la Escuela de Trabajo Social (Pontificia Universidad Católica de Valparaíso), y el Departamento de Sociología (Universidad de Chile).

Este plataforma de acción prepara el terreno para un evento más que interesante para el análisis de la práctica y el ejercicio de la evaluación en la región.  El simposio apunta a construir un espacio reflexivo para compartir las experiencias que se generan a partir de la práctica y la teoría de la evaluación en la región. La convocatoria invita a indagar sobre el lugar privilegiado de la práctica de la evaluación tanto en el análisis de los procesos de cambio social como en la generación de perspectivas de mejoramiento continuo de las organizaciones, instituciones, proyectos y políticas públicas de América Latina y el Caribe.

Con más de 60 presentaciones recibidas de toda la región y del hemisferio norte, los temas centrales abordan temáticas referidas a mecanismos y metodologías de evaluación de Políticas Públicas; Sistemas de Monitoreo, Evaluación y Sistematización; Evaluación para la gestión de calidad; Evaluación de la Innovación; Evaluación y Políticas Sociales (empleo, salud, educación), y varios más.

RW-G

Mientras que el Simposio tendrá lugar entre el 7 y el 10 de Enero de 201e, el mismo Jueves 10 y el Viernes 11 de Diciembre se realizará el taller Evaluación de Resultados en Contextos Complejos, a cargo del colega Ricardo Wilson-Grau. Ricardo es consultor internacional radicado en Rio de Janeiro con experiencia evaluando los resultados de casi 300 ONGs, grupos de base, redes, asociaciones, centros de investigación, agencias gubernamentales, entre otros. En el curso de su práctica evaluativa, Ricardo desarrolló la herramienta Cosechade Alances, inspirado por la metodología Mapeo de Alcances, cuya Comunidad de Aprendizaje Ricardo preside. A diferencia de otros métodos de evaluación, la Cosecha de Alcances no mide el progreso hacia resultados predeterminados, sino que recoge la evidencia de lo que se ha logrado, y trabaja hacia atrás para determinar si y cómo el proyecto o intervención de desarrollo contribuyó a cambio útiles para quienes requieren la evaluación.

panel chile

Y como si esto fuera poco (cual vendedor de peines en un colectivo ;-) , el Miércoles 8 de Enero se desarrollará elpanel Institucionalidad Evaluativa : Tensiones entre sistemas e instrumentos de evaluación disponibles, y las necesidades y prácticas evaluativas emergentes, con la participación de Nuria Cunil, Claudia Maldonado, Verónica Serafini, Ignacio Irrazaval, y Saville Kushner.

Con el recinte Foro de EvalPartners recién finalizado (del cual confió escribir en los próximos días), el año 2013 arranca muy promisoriamente para el contexto de evaluación en la región. Ya sea presencialmente o vía las redes sociales, seguimos conversando…

 

Nota final: Una muy útil guía con sugerencias para la estadía en Santiago de Chile resultará importante para quienes se acerquen al evento. Información adicional se irá sumando en el sitio www.evaluacionpoliticaspublicas.com , y para consultas generales pueden escribir al siguiente email de contacto:evaluacionchile@facso.cl

El Foro EvalPartners está con nosotros

Tras un extenso período de consultas, invitaciones, encuestas y elaboración de estudios de caso, se está desarrollando entre el 3 y el 6 de Diciembre de 2012 el Foro Internacional de EvalPartners, en la ciudad de Chiang Mai (Tailandia).  Hace unos meses atrás comenté sobre el lanzamiento de esta iniciativa,  y ahora el sitio web de EvalPartners dedica una página especial al evento.

De acuerdo a las comunicaciones que han circulado recientemente, el Foro de EvalPartners se ha propuesto una serie de desafiantes tareas para llevar adelante. Partiendo de la idea de Foro, y asumiendo que el mismo implica un proceso fuertemente participativo y colaborativo, se apunta a identificar buenas prácticas en áreas críticas vinculadas con las capacidades de las asociaciones, redes, sociedades de evaluación -llamadas en este contexto VOPEs, Organizaciones Voluntarias para la Evaluación Profesional. Estas áreas contemplan principalmente el rol que las VOPEs pueden jugar en fortalecer un ambiente favorable para la evaluación,  la generación de capacidades institucionales de dichas VOPEs, y sus capacidades de fortalecer la profesionalización de los evaluadores. Todo ello cruzado por la dimensión de la evaluación con foco en la equidad y con sensibilidad a la dimensión de género.

Tres son los resultados principales que el Foro EvalPartners espera alcanzar: Primero, un conocimiento compartido entre los participantes sobre  las buenas prácticas conducentes a incrementar la influencia de las VOPEs. Segundo, una visión común entre las VOPEs, a ser plasmada en la estrategia de acción 2013-2015,  y el plan de trabajo 2013. Y en tercer lugar, la creación de un movimiento motivado hacia la evaluación, y el compromiso entre los participantes de generar nuevos vínculos asociativos, de trabajo conjunto y de colaboración entre las VOPEs, principalmente a través de estrategias de apoyo entre pares.

Gracias al generoso apoyo de los organizadores, tengo la oportunidad de tomar parte en este Foro junto a colegas de la ReLAC y de otras organizaciones y redes nacionales y regionales de Evaluación. Un aspecto de los más innovadores y relevantes de la iniciativa es que procuraremos comunicar las distintas presentaciones  y discusiones haciendo uso de diversos canales  de la Web 2.0. Por tanto,  tomen nota para seguirnos y retwittear en Twitter, leer, gustar y comentar en Facebook, ver otros desarrollos en LinkedIn y en Google Plus, y ojalá podamos también subir algunos videos en YouTube.

¡Nos comunicamos durante la semana!

Entre conferencias…

Este fin de año viene completo de conferencias interesantes y relevantes en el mundo de la evaluación. Mientras la RedLacMe estará realizando su VIII Conferencia el próximo 3 al 5 de Diciembre en Costa Rica, y el CLAD tendrá su XVII Congreso Internacional en Colombia entre el 30 de Octubre y el 2 de Noviembre (con al menos cuatro paneles focalizados en temas de evaluación), también se suman otros eventos internacionales. Mientras que de al menos dos de ellos confío escribir pronto (me refiero a la conferencia de AEA 2012 y al foro de EvalPartners), en esta entrada apunto a compartir noticias sobre la reciente conferencia de la Sociedad Europea de Evaluación.

La décima conferencia bienal de la EES tuvo lugar en Helsinki, Finlandia, cuando el otoño europeo avanzaba con fuerza. Bajo la consigna “la evaluación en una sociedad de redes: nuevos conceptos, nuevos desafíos y nuevas soluciones”, el propósito central de la conferencia fue facilitar el debate en torno a los desafíos que enfrentan nuestras sociedades en el marco de a la crisis económica y financiera reciente, el incremento de la pobreza en algunos países europeos y la reducción del gasto público en muchas regiones.

Como en otras oportunidades, el generoso apoyo de los organizadores facilitó la participación unos setenta evaluadores no-europeos, y entre ellos se contaba mi colega y amigo Esteban Tapella (ya comenté anteriormente uno de nuestros trabajo conjuntos en un curso sobre Sistematización de Experiencias).   Esteban es, entre otras cosas (como por ejemplo andinista, fotógrafo, docente universitario e investigador social, etc.) un gran comunicador y un claro ejemplo del sharismo contemporáneo -vale decir, alguien que coloca el compartir como prioridad en sus acciones-. -. Habiendo participado en Helsinki con dos presentaciones de autoría compartida, una denominada “Aprendizaje compartido y evaluación participativa: en el enfoque de sistematización en programas de desarrollo” y otra  “La práctica de la evaluación en América Latina: el caso de la sistematización de experiencias”, se hizo tiempo también para entrevistar a algunos de los participantes en la misma y pedirles comentaran sobre qué trabajo habían presentado en la conferencia, qué están desarrollando actualmente en el campo de la evaluación, e incluso un mensaje o saludo para la comunidad de evaluadores de América Latina y el Caribe.

Entonces, sin más prolegómenos, los entrevistados de Esteban Tapella.

María Bustelo es Directora del Magíster en Evaluación de Programas y Políticas Públicas de la Universidad Complutense de Madrid, y Presidente de la Sociedad Europea de Evaluación. Ha trabajado en evaluación en las áreas de igualdad de género, promoción de la salud y drogodependencias, cooperación al desarrollo, servicios sociales, gestión cultural y desarrollo local.

.

Marco Segone, es oficial de evaluación de UNICEF y el co-chair de la iniciativa EvalPartners. Ha estado vinculado desde hace muchos años con la realidad de la evaluación a nivel global, y todavía extraña sus buenos años transcurridos en Colombia y Brasil.

.

Belen Sanz Luque, directora de la Oficina de Evaluación de UN Women, quien también brindó su apoyo al grupo de trabajo de Evaluación, Género y Derechos Humanos, de la ReLAC.

.

Colleen Duggan es especialista senior en la unidad de evaluación del IDRC (International Development Research Center), con una extensa experiencia en trabajos sobre derechos humanos, alerta temprana y prevención de conflictos, género y  evaluación de las iniciativas de construcción de paz. Su vinculación con América Latina parte del desarrollo de trabajos para Naciones Unidas en Colombia, Guatemala, y El Salvador.

.

Luis Soberón es  profesor principal del Departamento de Ciencias Sociales de la Pontificia Universidad Católica del Perú. Fue coordinador de la ReLAC, y trabajó activamente en el “Grupo de trabajo de universidades e instituciones de formación en evaluación”, tal como se reseña con mayor detalle en el Grupo de Trabajo de Formación y Evaluación de la ReLAC. También  escribe en su blog sobre sistemas, evaluación y desarrollo.

El poder del nosotros: Better Evaluation

Este 15 de Octubre de 2012 es el Blog Action Day, iniciativa que ya alcanza unos seis años de existencia, y que impulsa a blogueros de distintos países e intereses a escribir sobre un tema común.  Este año la frase motivadora es “El poder del nosotros” (#powerofwe), la que invita a celebrar la situación de aquellas personas que trabajan en conjunto a fin de marcar una diferencia en el mundo, ya sea para sus propias comunidades o bien para otros a quienes finalmente nunca verán personalmente.

.

Ante tan sugestiva invitación, y pensando en esta ocasión en la comunidad global de evaluadores, ¿qué mejor que compartir la novedad de una iniciativa que ha visto la luz muy recientemente, y que ejemplifica en acto y en potencia (por lo que ya es y por lo que puede llegar a ser) la idea de el poder de nosotros…. ?

Demos la bienvenida a Better Evaluation!!

.

Apuntando no sólo hacia el necesario salto cuantitativo, sino hacia el imprescindible salto cualitativo que implica contar con mejores evaluaciones, la iniciativa Better Evaluation acaba de ser presentada en sociedad hace unos días, en el marco de la Conferencia de la Sociedad Europea de Evaluación. Luego de varios meses de gestación, la plataforma ya está entre nosotros, algo realmente digno de festejar. (-y, como suele decirse en estos casos- full-disclosure: participé como beta-partner durante el último año de Better Evaluation, probando y comentando varias de sus secciones y apartados).

El producto antes de nacer ya tenía una base firme para pintar interesante. Me refiero tanto al apoyo institucional de la RMIT University (Australia), PACTILAC, y el Overseas Development Institute, así como fundamentalmente a la dirección y gestión de la plataforma de parte de reconocidos evaluadores como Patricia J. Rogers (bloguera en Genuine Evaluation), Kaye StevensSimon Hearn y Cristina Sette.

Si bien su lengua de origen es el Inglés, la plataforma está integrada con el Google Translator, y el resultado de la traducción va de aceptable a bueno/muy bueno en la mayoría de las ocasiones. Por tanto, la barrera idiomática tiende a estar bajita en este caso. Apenas uno entra en la página de inicio de Better Evaluation, encuentra arriba el botón Seleccionar Idioma, y tras hacer hacer click en Spanish/Español… Voilà!

Better Evaluation se presta fantásticamente para ser explorado y recorrido, perdiéndose adrede en sus diversas entradas y vericuetos. Sin ánimo de hacer una presentación detallada, creo que la página Comenzar Aquí es un buen lugar para… comenzar, obviamente.  En ella se nos brinda una visión general de las posibilidades del sitio, orientando a los visitantes y (muy valiosamente) apuntando a convertirlos en participantes de la experiencia BetterEvaluation. Ya regreso en un momento sobre esta idea…

Los impulsores de Better Evaluation han armado como marco general de la plataforma el Arco Iris de la Mejor Evaluación. Para ubicarse, convierte tener en cuenta que los métodos, estrategias y procesos de evaluación son aquí denominados “opciones”, y el sitio es generoso al describir varias decenas de ellas. Las opciones se organizan en tareas de evaluación, agrupadas a su vez en 7 agrupamientos o clusters: la Gestión de la evaluación; la Definición del objeto de evaluación; el Marco de la evaluación; la Descripción de actividades, resultados, impactos y contexto; la Comprensión de las causas; la Síntesis de datos y la generalización; y el Informe de Evaluación junto al apoyo para su utilización.

La página permite “entrar” a esos clusters desde distintos frentes, de acuerdo a la curiosidad o necesidad del lector, al mismo tiempo que da cuenta de un listado de enfoques de evaluación, con varios conocidos y otros tantos por conocer. La sección referida a temas abarca perspectivas sectoriales (agricultura, mitigación del cambio climático, etc.), tipos de intervenciones (educación, abogacía/advocacy, cambio social) o grupos meta (por ejemplo campesino, niños, familia, mujeres).

Y justamente en esta última sección comienza a perfilarse el ejemplo de “el poder del nosotros” con que inicié esta entrada. En estos tiempos de Web 2.0, Better Evaluation abre las puertas para el desarrollo de estos temas, su profundización, su debate y discusión. Apenas presentada la plataforma, Simon Hearn comenzó una entrada sobe evaluación de redes, y rápidamente aparecieron comentaristas sumando recursos, ideas y hasta polémica.

El “poder del nosotros” se potencia a partir del entorno fuertemente abierto de Better Evaluation, el cual facilita en casi toda la plataforma el compartir lo que encontramos en las redes sociales más difundidas (Facebook, Twitter, Linkedin). Una vez que uno se inscribe como usuario, también puede tener su propio blog, interactuar con los otros participantes, sumarse a foros, etc. El poder del nosotros…

Todavía en fase beta-abierta hay detalles que seguir ajustando (tal como un mejor funcionamiento del sistema RSS para estar al tanto de los nuevos aportes a la plataforma, o una más fácil búsqueda de los perfiles de los otros usuarios), los cuales sin duda se detectarán y mejorarán con el aporte de la comunidad evaluadora.

Entonces, ya sea que tengan una necesidad clara y puntual para profundizar, o bien tengan deseos de internarse en el sitio como si fuera el zoco de Marrakech , no se pierdan la experiencia de Better Evaluation.

¡Ahí nos vemos!

Viernes light: un año Al Borde del Caos… (y sin dar un paso al frente)

El 21 de Septiembre de 2011, día de la primavera y de los estudiantes en este sur del planeta, arranqué (finalmente) con la aventura de bloguear. La experiencia ha sido satisfactoria, exigente, demandante, enriquecedora… y todavía en camino.  Si bien este último par de meses he escrito menos de lo que hubiera querido, este cumpleaños número UNO, y el comienzo de un nuevo año en el blog me sirven para hacer lo que uno suele hacer sobre fines del año calendario: revisar lo pasado y proponerse cambios el nuevo ciclo. Entonces, comencemos por lo hecho.

Las estadísticas reflejan que en un año escribí el redondo número de 50 entradas o posts. En algunos casos, dichas entradas fueron de invitad@s al blog, a compartir sus ideas y experiencias. Más interesante me resulta como dato el tener 220 comentarios, pues apunta al corazón del propósito del blog, que es generar diálogo y aprendizaje (para mí!). Si solamente fueran entradas sin comentarios, dudaría estar medianamente encaminado.

Las entradas mas visitadas fueron las siguientes:

1º) Entrenamiento entre pares: los caminos de la vida en el desarrollo y la cooperación. Sacándole una clara ventaja al resto de las entradas, esta presentación del trabajo de los amigos de  Whydev Development Crossroads, referida a un servicio de entrenamiento entre pares, suscitó muchísima atención. Para actualizarse sobre el desarrollo de la iniciativa, pueden visitar la página del Peer Coaching, y estar atentos a su lanzamiento piloto el próximo Octubre.

2º) Viernes light: no te des vencido ni aún vencido. Un acercamiento con poesía, canción y fotos al cansancio y algo más que puede/suele invadir a los trabajadores del desarrollo.

3º) Y compartiendo el tercer lugar dos entradas: i) Ese video… : una reflexión sobre el impacto viral de una campaña para atrapar a un terrorista africano, y las lecturas matizadas que apuntan a ver que ayudar debería implicar siempre primero pensar y reflexionar. ii) Development Evaluation: una breve introducción. Una entrada dedicada a presentar algunos rasgos generales del enfoque del maestro M.Q.Patton, quien dijo presente con un saludo en los comentarios.

¿Y el propósito para el nuevo año? A ver si sirve la redacción así: un poco más de producción y un poco menos de complacencia.  Y si no se entiende, me lo dicen en los comentarios, junto a los saludos por el aniversario y los regalos (virtuales o no)…

Desde ya, gracias por leerme hoy y las otras veces.

Evaluación, valoración, negociación: reflexiones hacia una cultura de la evaluación

En Octubre del 2011 compartí en este espacio una entrada titulada Por mi culpa, por mi culpa, por mi gran culpa,  en donde daba cuenta del crecimiento de una corriente de reflexión orientada a brindar un mayor espacio al reconocimiento de los errores que se cometen en las acciones de desarrollo, cooperación y ayuda humanitaria. También señalaba como expresión relevante de dicha tendencia lo que se mostraba en el sitio Admiting Failure, el cual ahora tiene en su portada una síntesis muy directa de sus propósitos:  la comunidad del desarrollo está fallando… en aprender del fracaso. En lugar de reconocer dichas experiencias como oportunidades de aprendizaje, las escondemos por miedo y vergüenza. 

En el mundo de la evaluación esta tendencia no ha resultado ajena. Mientras que en América Latina el enfoque de la Sistematización de experiencias ha venido planteando con claridad que hay un desafío no sólo metodológico o técnico en aprender de nuestras prácticas, sino fundamentalmente político, desde otros contextos también se ha acentuado la pertinencia y relevancia de aprender de los errores como componente clave de una evaluación genuina.

Más recientemente, y fruto del incansable trabajo como editora de Marie Gervais,  el Canadian Journal of Program Evaluation publicó un número especial para conmemorar su 25º aniversario. El foco del mismo estuvo puesto en cómo aprovechar y aprender de  evaluaciones que no resultaron “exitosas”, vale decir, no alcanzaron los resultados esperados. En la introducción del número se desarrolla la discusión sobre cómo entender la noción de “evaluación exitosa” , dando cuenta con cierto detalle de la razón del lema del número especial: How to Take Advantage of Less-Than-Successful Evaluation Experiences.  La motivación por este foco temático parte de reconocer la poca reflexión que los evaluadores suelen dar a su práctica (con la excepción de los aspectos metodológicos), y -peor aún- el poco aprendizaje realizado como colectivo sobre dichos errores. ¡Tremenda paradoja para la trans-disciplina!

Es interesante analizar cómo apenas un cuarto de los convocados para este número finalmente completaron la tarea, aceptando la invitación y presentando un artículo. Las razones para ello no obedecieron tanto  a dificultades de tiempo o demandas laborales, sino a lo incómodo que resultaba para distintos evaluadores el escribir sobre sus experiencias más problemáticas y menos “exitosas” en su quehacer evaluativo.  Esto es señalado y repensado también por los dos comentaristas de lujo con que contó el número especial,  Ross Conner (ex-presidente de la American Evaluation Asociation y de la IOCE) y  Michael Q. Patton (de quién hablamos antes aquí).

Pues bien, junto al colega y amigo Rafel Monterde-Díaz (bloguero de Evaluateca) preparamos un artículo que forma parte de este número, reflexionando sobre la cultura de la evaluación a partir de un caso  que sin duda fue “poco “exitoso”. Valga este espacio para compartir tanto la versión publicada en inglés, como así también su versión original en castellano. Queda abierta la sección comentarios para los ídem, mientras aprovechamos la visita de Rafael por estas australes comarcas (si bien la foto ilustra mi visita a su tierra, Valencia, momentos antes que nos invitaran a subir al patrullero que se asoma detrás… ;-) )

El Desarrollo de Capacidades de Evaluación: más allá de la cámara de eco

(you can read this post in English here)

La última década ha sido testigo de importantes transformaciones en el modo en que intercambiamos y compartimos información a través de medios electrónicos. En el mundo de la evaluación esto se ha expresado mayoritariamente en el uso de grupos o listas de discusión vía correo electrónico o list servers.

Por su versatilidad y sencillez de uso, los grupos de discusión han cumplido un rol relevante en facilitar el intercambio y flujo de información. Suscribirse a los mismos es muy sencillo, consistiendo por lo general en el envío de un email a una dirección listada en su página principal. Una ventaja importante es que una vez aceptados para participar en los grupos, podemos configurar algunas opciones de acuerdo a nuestras necesidades. Por ejemplo, y hasta que no lleguemos a vivir en un mundo sin correo electrónico, es posible al menos recibir un solo email tipo Digesto que nos sintetiza los intercambios del día en ese grupo en particular. Si deseamos prescindir totalmente de los envíos a nuestra casilla de correo, podemos (una vez suscriptos) acceder directamente al sitio web del grupo, y leer y responder desde ahí los mensajes.

Sin duda que en el mundo de la evaluación estos grupos se han convertido en una opción privilegiada para estar al tanto de las discusiones y temáticas “en el candelero”. Los intercambios que suelen darse son en muchas ocasiones puertas fantásticas para la indagación y la auto-formación, una dimensión relevante del desarrollo de capacidades de evaluación. Algunos ejemplos de estos grupos (con breves descripciones resumidas de sus sitios originales) son los siguientes:

XCeval es un grupo de correo electrónico con más de 1100 participantes, moderado por Jim Rugh y Craig Russon, orientado a personas interesadas en asuntos vinculados a la evaluación intercultural e internacional. Muchos de los anuncios son referidos a consultorías a corto plazo o bien de tiempo completo en puestos internacionales de monitoreo y evaluación. Suelen darse intercambios de ideas y discusiones de interés general para las personas que participan en instancias de evaluación del desarrollo a nivel internacional.

MandEnews, con más de 3000 miembros, es una lista de correo integrada a la página web MandE News. La lista de correo apunta también a intercambiar información sobre cuestiones de monitoreo y evaluación, especialmente vinculadas a la ayuda y cooperación al desarrollo internacional. En la lista se informa también acerca de las actualizaciones importantes de la página web, administrada por Rick Davies.

Theory-Based Evaluation  es la lista de discusión del tema evaluación basada- en- teoría, cuenta con unos 450 miembros,  y es  moderada por Denis Jobin y Craig Russon. Ofrece un foro donde los profesionales y académicos pueden intercambiar y compartir ideas, experiencias y métodos asociados con la evaluación basada en la teoría. Partiendo de la idea que el contexto actual presenta a la evaluación ve desafiada por la atribución, los sistemas complejos y la necesidad de políticas basadas en evidencias, la evaluación basada-en-teoría se constituye en una respuesta eficaz a estos retos.

Otros grupos o listas de discusión suelen estar asociados a redes y asociaciones regionales o globales de evaluadores (lo que la iniciativa EvalPartners llama VOPE –Voluntary Organizations of Professional Evaluators). Entre éstas se encuentran las siguientes:

ReLAC, grupo de discusión de la Red de Seguimiento, Evaluación y Sistematización en América Latina y el Caribe. Cuenta con unos 600 miembros, y por ella circula información sobre instancias de capacitación, conferencias, consultorías, etc. Más recientemente el uso de la plataforma NoticiasReLAC  ha permitido la creación de grupos temáticos (en sistematización, género y derechos humanos,  planificación y modelos lógicos, políticas educativas, y otros).

El  AfrEA listserver es la herramienta de información y conexión de la Asociación Africana de Evaluación. La lista de distribución cuenta con más de 600 miembros, y tiene por objeto desarrollar el concepto de una comunidad de evaluación en África y la ampliación de esta comunidad. Este grupo apunta a promover el intercambio de información, recursos y oportunidades, así como ser un foro para una amplia gama de actores interesados.

PREVAL, también en América Latina,  se constituyó en la primera red de evaluación de la región desde el lanzamiento del programa en 1997. A partir del año 2011 se ha constituído en una plataforma regional de recursos, y  mantiene servicios de asistencia técnica, formación y entrenamiento, así como de gestión del conocimiento. Cuenta con una comunidad de aprendizaje sobre Monitoreo y Evaluación de la Innovación Rural, un servicio público de información con unos 4,000 usuarios, un Portal web español e inglés con biblioteca virtual, enlaces de interés, temas de especialidad, sección multimedia que alberga más de 300 textos en evaluación y sistematización.

EvalTalk es el grupo abierto de la Asociación Americana de Evaluación (AEA). Cuenta con más  de 3000 participantes, y sus temas de discusión son diversos y muchas veces vinculados a la misma AEA.

El IDEAS discussion group  es el grupo de la International Development Evaluation Association, dedicado ala discussion e intercambio sobre tópicos vinculados con la evaluación del desarrollo. No es necesario ser miembro de IDEAS para participar en el grupo, pero ¡tampoco sería mala idea asociarse!  Más recientemente, se aceptó oficialmente la constitución de un grupo en LinkedIn, el cual cuenta con más de 1500 participantes, y es moderado por Luis Alejandro Bernal.

Otros grupos de discusión vía correo electrónico vinculados a la evaluación son los siguientes:

The Network and Evaluation mailing list; Most Significant Change; Real World Evaluation; Pelican Initiative: Platform for Evidence-based Learning & Communication for Social Change

Y para un listado aún más completo, ver la página web de la Asociación Americana de Evaluación.

De este largo pero para nada exhaustivo listado de servicios me parece que hay dos iniciativas que presentan matices originales en cuanto a la capacidad de llegar a audiencias más amplias, y estas son la  plataforma de la ReLAC y el grupo de IDEAS en LinkedIn. Si bien ambas se articulan fácilmente con el correo electrónico como forma de acceso a los intercambios, tienen un carácter abierto que suele estar ausente en los grupos de discusión o listservers. Esto implica, por ejemplo, que cualquier persona haciendo una búsqueda en Google pueda encontrar información y/o discusiones en dichos foros y sumarse a los mismos, mientras que las otras instancias (mayoritariamente) permiten recién enterarse de lo que en ellas se discuten cuando uno se suscribe. Seguramente esa ha sido la experiencia de algún lector de esta entrada que se interesó por alguno de los grupos antes mencionados, y que al hacer click en el enlace ha llegado solamente a una página de suscripción, sin poder leer los intercambios acaecidos. Recientemente, por ejemplo, un debate iniciada por Denis Jobin sobre evaluación de impacto y RCT apareció en tres de los grupos de correo electrónico antes citados, y resultó accesible solamente a los participantes en ellos.

Tal como hemos planteado aquí con anterioridad, la Web 2.0 está lista y dispuesta para nuestra conquista. Las plataformas Ning, los grupos de LinkedIn, los blogs, y Twitter son canales que facilitan abrir la cámara de eco  o el efecto burbuja en varios mundos, entre ellos el de la evaluación. Vale la pena familiarizarnos con ese mundo más amplio.

ACTUALIZACIÓN: No olviden leer los comentarios a esta entrada, donde se han ido sumando nuevas puertas para estar al tanto de este fascinante mundo de la evaluación.

Género, Derechos y Sensibilidad Cultural en la Evaluación del Desarrollo

La Sociedad Americana de Evaluación (AEA) cuenta con una iniciativa muy interesante llamada AEA365: A tip-a-Day by and for Evaluators, la cual consiste en un blog con entradas breves sobre temáticas diversas vinculadas al mundo de la evaluación: herramientas innovadoras, discusión y presentación de ideas, recursos didácticos, etc.  Tal como su nombre lo indica, diariamente encontramos una nueva entrada, las cuales suelen estar organizadas con cierta lógica de presentación. Por ejemplo,  tanto Evaluateca como Al Borde del Caos tuvieron su espacio en el marco de semanas dedicadas a evaluadores que bloguean. 

En esta ocasión me llega a través de la lista de correo de la ReLAC la versión en castellano de la entrada que publicaran en AEA365 hace unos días atrás las colegas Silvia Salinas-Mudler y Fabiola Amariles. Como la temática me parece muy relevante para los propósitos del blog, accedieron con generosidad a que lo compartiéramos aquí.  Gracias nuevamente, colegas! 

Somos Silvia Salinas Mulder, antropóloga boliviana, activista feminista y consultora independiente, y Fabiola Amariles, economista colombiana, fundadora y directora de “Aprendizaje para el Impacto” (Learning for Impact). Hemos trabajado durante varios años como evaluadoras externas de programas de desarrollo en América Latina. Las siguientes ideas pueden ayudar a poner en práctica los principios de la evaluación con enfoque en género y derechos humanos en contextos complejos y multiculturales.

Lección aprendida: Los Términos de Referencia (TdR) de una evaluación no están grabados en piedra.

Sugerencia: Reformular las preguntas de evaluación, a menudo convencionales, así como otros aspectos del proceso de evaluación, para asegurarse de visibilizar los asuntos de género y derechos humanos, y recoger evidencia del cambio (o ausencia de cambio) en las vidas de las mujeres. Tener en cuenta los asuntos específicos del contexto y las dinámicas de género, así como los patrones culturales, tales como los efectos de la migración en los roles familiares y los procesos de toma de decisiones en algunas comunidades agrícolas.

Lección aprendida: Algunos actores/as tienen cansancio de las entrevistas, mientras que otras personas, especialmente las mujeres rurales, están ansiosas de ser escuchadas.

Sugerencia: Use la creatividad, las técnicas de evaluación son el medio y no el fin, por lo tanto pueden ser continuamente creadas, recreadas y adaptadas a cada situación y contexto. Por ejemplo, utilice “conversatorios” (mesas redondas), a cambio de los grupos focales, reuniendo a actores con diversas trayectorias y perspectivas para discutir sobre un tema en particular de la evaluación; los grupos participantes suelen apreciar estos espacios de reflexión y sienten motivación para hablar desde perspectivas no convencionales, mientras que las/os evaluadores  obtienen una visión holística del tópico. Los dibujos, los  juegos de roles y otras técnicas de la educación popular también pueden facilitar la participación de los grupos marginados, incluyendo a las mujeres analfabetas.

Lección aprendida: Las respuestas a sus preguntas pueden no contener asuntos clave de género y de derechos humanos para entender cómo se está produciendo el cambio.

Sugerencia: Conocer los patrones culturales y de comunicación específicos de género es crucial para un intercambio efectivo. En todo caso, las entrevistas deben tratarse como diálogos en los que las personas tienen la oportunidad de expresar sus prioridades y puntos de vista. No limite sus interacciones a una dinámica de preguntas y respuestas. Permita que las personas hablen libremente, y “escuche activamente” para descubrir lo esencial. Respete e interprete los silencios y no insista en las respuestas a sus preguntas, mejor concéntrese en tratar de entender el significado oculto de cada reacción. Esto permitirá una eventual reconstrucción de cómo se está produciendo el cambio (Teoría del Cambio) para la intervención y el contexto específicos, incluso si ello no ha sido explícitamente diseñado en el proyecto. Además, como evaluadores tendemos a centrarnos en la comunicación verbal, haciendo caso omiso de la importancia del tono y los gestos. Asegúrese de estar alerta a los mensajes clave menos explícitos.

Recursos:

  • Haga clic aquí para las directrices sobre el diseño de una Teoría del Cambio.


Seguir

Recibe cada nueva publicación en tu buzón de correo electrónico.

Únete a otros 1.063 seguidores