Hip-hop & cambio social: un trabajador social a la izquierda, por favor

Gracias a Jennifer Lentfer y su fantástico blog How Matters pude conocer a la familia Ayara y a su creador, Don Popo. El video ha sido realizado en Bogotá, Colombia, y apunta a mostrar la labor de trabajo social en el ámbito juvenil en dicho ambiente.

Mi mayor acercamiento al Hip-hop ha sido porque una de mis hijas se entusiasmó con el mismo, y alguna vez en algún colectivo en Chile tuve la experiencia cercana de este género urbano. El resto ha sido más bien mediático, y -por tanto- cargado de prejuicios y miradas entre despectivas e ignorantes. Estoy seguro que para much@s este  video será un gran reconciliador…

Reconciliador con dimensiones de la cultura urbana que nos son ajenas.

Reconciliador con el optimismo.

Reconciliador con sueños de cambio social.

HipHopLogoY por otro lado, da un lugar jerárquico a los “locales” y la intervención “externa” poco externa parece… cuando los jóvenes terminan haciéndose dueños de la misma.  Sin duda que también permite ver resultados e impacto en distintas facetas de la vida de estos jóvenes, y su sostenibilidad apunta a ser sospechosamente alta. Pues bien, esos son mis subjetivas impresiones tras ver este impactante video, que bien valen dedicarle un momento para aquellos que quieren y creen posible un cambio social -y si viene de la mano del arte, tanto mejor!- (¿podría ser de otro modo? :-) )

.

Entre conferencias…

Este fin de año viene completo de conferencias interesantes y relevantes en el mundo de la evaluación. Mientras la RedLacMe estará realizando su VIII Conferencia el próximo 3 al 5 de Diciembre en Costa Rica, y el CLAD tendrá su XVII Congreso Internacional en Colombia entre el 30 de Octubre y el 2 de Noviembre (con al menos cuatro paneles focalizados en temas de evaluación), también se suman otros eventos internacionales. Mientras que de al menos dos de ellos confío escribir pronto (me refiero a la conferencia de AEA 2012 y al foro de EvalPartners), en esta entrada apunto a compartir noticias sobre la reciente conferencia de la Sociedad Europea de Evaluación.

La décima conferencia bienal de la EES tuvo lugar en Helsinki, Finlandia, cuando el otoño europeo avanzaba con fuerza. Bajo la consigna “la evaluación en una sociedad de redes: nuevos conceptos, nuevos desafíos y nuevas soluciones”, el propósito central de la conferencia fue facilitar el debate en torno a los desafíos que enfrentan nuestras sociedades en el marco de a la crisis económica y financiera reciente, el incremento de la pobreza en algunos países europeos y la reducción del gasto público en muchas regiones.

Como en otras oportunidades, el generoso apoyo de los organizadores facilitó la participación unos setenta evaluadores no-europeos, y entre ellos se contaba mi colega y amigo Esteban Tapella (ya comenté anteriormente uno de nuestros trabajo conjuntos en un curso sobre Sistematización de Experiencias).   Esteban es, entre otras cosas (como por ejemplo andinista, fotógrafo, docente universitario e investigador social, etc.) un gran comunicador y un claro ejemplo del sharismo contemporáneo -vale decir, alguien que coloca el compartir como prioridad en sus acciones-. -. Habiendo participado en Helsinki con dos presentaciones de autoría compartida, una denominada “Aprendizaje compartido y evaluación participativa: en el enfoque de sistematización en programas de desarrollo” y otra  “La práctica de la evaluación en América Latina: el caso de la sistematización de experiencias”, se hizo tiempo también para entrevistar a algunos de los participantes en la misma y pedirles comentaran sobre qué trabajo habían presentado en la conferencia, qué están desarrollando actualmente en el campo de la evaluación, e incluso un mensaje o saludo para la comunidad de evaluadores de América Latina y el Caribe.

Entonces, sin más prolegómenos, los entrevistados de Esteban Tapella.

María Bustelo es Directora del Magíster en Evaluación de Programas y Políticas Públicas de la Universidad Complutense de Madrid, y Presidente de la Sociedad Europea de Evaluación. Ha trabajado en evaluación en las áreas de igualdad de género, promoción de la salud y drogodependencias, cooperación al desarrollo, servicios sociales, gestión cultural y desarrollo local.

.

Marco Segone, es oficial de evaluación de UNICEF y el co-chair de la iniciativa EvalPartners. Ha estado vinculado desde hace muchos años con la realidad de la evaluación a nivel global, y todavía extraña sus buenos años transcurridos en Colombia y Brasil.

.

Belen Sanz Luque, directora de la Oficina de Evaluación de UN Women, quien también brindó su apoyo al grupo de trabajo de Evaluación, Género y Derechos Humanos, de la ReLAC.

.

Colleen Duggan es especialista senior en la unidad de evaluación del IDRC (International Development Research Center), con una extensa experiencia en trabajos sobre derechos humanos, alerta temprana y prevención de conflictos, género y  evaluación de las iniciativas de construcción de paz. Su vinculación con América Latina parte del desarrollo de trabajos para Naciones Unidas en Colombia, Guatemala, y El Salvador.

.

Luis Soberón es  profesor principal del Departamento de Ciencias Sociales de la Pontificia Universidad Católica del Perú. Fue coordinador de la ReLAC, y trabajó activamente en el “Grupo de trabajo de universidades e instituciones de formación en evaluación”, tal como se reseña con mayor detalle en el Grupo de Trabajo de Formación y Evaluación de la ReLAC. También  escribe en su blog sobre sistemas, evaluación y desarrollo.

Evaluación, valoración, negociación: reflexiones hacia una cultura de la evaluación

En Octubre del 2011 compartí en este espacio una entrada titulada Por mi culpa, por mi culpa, por mi gran culpa,  en donde daba cuenta del crecimiento de una corriente de reflexión orientada a brindar un mayor espacio al reconocimiento de los errores que se cometen en las acciones de desarrollo, cooperación y ayuda humanitaria. También señalaba como expresión relevante de dicha tendencia lo que se mostraba en el sitio Admiting Failure, el cual ahora tiene en su portada una síntesis muy directa de sus propósitos:  la comunidad del desarrollo está fallando… en aprender del fracaso. En lugar de reconocer dichas experiencias como oportunidades de aprendizaje, las escondemos por miedo y vergüenza. 

En el mundo de la evaluación esta tendencia no ha resultado ajena. Mientras que en América Latina el enfoque de la Sistematización de experiencias ha venido planteando con claridad que hay un desafío no sólo metodológico o técnico en aprender de nuestras prácticas, sino fundamentalmente político, desde otros contextos también se ha acentuado la pertinencia y relevancia de aprender de los errores como componente clave de una evaluación genuina.

Más recientemente, y fruto del incansable trabajo como editora de Marie Gervais,  el Canadian Journal of Program Evaluation publicó un número especial para conmemorar su 25º aniversario. El foco del mismo estuvo puesto en cómo aprovechar y aprender de  evaluaciones que no resultaron “exitosas”, vale decir, no alcanzaron los resultados esperados. En la introducción del número se desarrolla la discusión sobre cómo entender la noción de “evaluación exitosa” , dando cuenta con cierto detalle de la razón del lema del número especial: How to Take Advantage of Less-Than-Successful Evaluation Experiences.  La motivación por este foco temático parte de reconocer la poca reflexión que los evaluadores suelen dar a su práctica (con la excepción de los aspectos metodológicos), y -peor aún- el poco aprendizaje realizado como colectivo sobre dichos errores. ¡Tremenda paradoja para la trans-disciplina!

Es interesante analizar cómo apenas un cuarto de los convocados para este número finalmente completaron la tarea, aceptando la invitación y presentando un artículo. Las razones para ello no obedecieron tanto  a dificultades de tiempo o demandas laborales, sino a lo incómodo que resultaba para distintos evaluadores el escribir sobre sus experiencias más problemáticas y menos “exitosas” en su quehacer evaluativo.  Esto es señalado y repensado también por los dos comentaristas de lujo con que contó el número especial,  Ross Conner (ex-presidente de la American Evaluation Asociation y de la IOCE) y  Michael Q. Patton (de quién hablamos antes aquí).

Pues bien, junto al colega y amigo Rafel Monterde-Díaz (bloguero de Evaluateca) preparamos un artículo que forma parte de este número, reflexionando sobre la cultura de la evaluación a partir de un caso  que sin duda fue “poco “exitoso”. Valga este espacio para compartir tanto la versión publicada en inglés, como así también su versión original en castellano. Queda abierta la sección comentarios para los ídem, mientras aprovechamos la visita de Rafael por estas australes comarcas (si bien la foto ilustra mi visita a su tierra, Valencia, momentos antes que nos invitaran a subir al patrullero que se asoma detrás… ;-) )

Experiencias virtuales y presenciales en el desarrollo de capacidades en evaluación

You can read this post in English here

En el marco de las redes, asociaciones, y profesionales de la evaluación,  se ha establecido ya un claro consenso sobre la pertinencia y necesidad de desarrollar capacidades de evaluación. Al mismo tiempo, se reconoce que estamos lejos de arribar a un consenso similar sobre el cómo hacerlo.

La Red de Seguimiento, Evaluación y Sistematización en América Latina -ReLAC- llevó a cabo hace un par de años un relevamiento exploratorio en 16 países de la región a fin de caracterizar la situación de los servicios de evaluación  (una presentación esquemática del estudio puede verse aquí). Algunos datos relevantes del mismo mostraron que los dos asuntos más importantes vinculados con la demanda de evaluación en el sector público eran:
(a) la capacidad de realizar evaluaciones de impacto, y
(b) la capacitación en monitoreo y evaluación.

El panorama en general para la región señalaba que la demanda de servicios de monitoreo y evaluación había crecido mucho más rápidamente que la capacidad de ser llevados adelante de manera competente, mientras que las instancias de formación más comunes resultaban ser las universidades y los consultores particulares.

El estudio en cuestión fue desarrollado en paralelo con un proceso muy interesante que, tanto por su novedad como por su escala, no llegó a ser reflejado en el mismo. Me refiero a las instancias de capacitación auto-generadas por las Asociaciones Voluntarias de Profesionales de la Evaluación (VOPEs por su sigla en Inglés, tal como las denomina la iniciativa EvalPartners). En este caso me refiero concretamente al grupo de trabajo sobre Sistematización y Evaluación, generado en la plataforma Ning de la ReLAC, el cual surgió a comienzos del año 2010 a partir de la articulación de las voluntades de integrantes de ReLAC, del Programa Latinoamericano de Apoyo a la Sistematización de Experiencias del CEAAL (PLAS-CEAAL), y de PREVAL. Partiendo del propósito común de desarrollar actividades conjuntas sobre la sistematización con la participación de las redes nacionales, instituciones y personas relacionadas con la temática, el grupo rápidamente creció en número de participantes como en intensidad y calidad de sus discusiones.

Una decisión que resultó muy acertada fue realizar las discusiones teniendo en vista el desarrollo en Julio del 2010 de la 3º Conferencia de ReLAC en San José de Costa Rica. De ese modo, a partir de su trabajo colectivo en el marco del grupo de trabajo, los participantes concretaron un panel en la inauguración de la conferencia, así como diversas ponencias individuales en la misma. Las instancias que hasta ese momento habían sido virtuales y sincrónicas en el marco del grupo de trabajo, dieron lugar a discusiones y aprendizajes presenciales en el marco de la conferencia, convertida en un escenario para la profundización de la metodología de la sistematización de experiencias, ese particular enfoque de evaluación orientado a generar y compartir aprendizajes sobre las prácticas de intervención en desarrollo y con una profunda raigambre latinoamericana.

Retomando el estudio mencionado antes sobre Demanda y Oferta de Evaluación en América Latina, ante la consulta sobre qué productos o metodología serían los más relevantes para fortalecer las capacidades de evaluación, el lugar de los medios virtuales ocupó siempre el último lugar en las preferencias. Esto marcó un contraste con la experiencia del grupo de trabajo en sistematización, posiblemente porque el mismo terminó siendo una experiencia no simplemente de e-learning (únicamente virtual) sino fundamentalmente b-learning (de blend, mezclado), combinando instancias presenciales y virtuales.

Esteban Tapella (amigo, colega del PETAS, y reciente PhD!), motivado por su compromiso personal con la temática de la sistematización, así como también por el interés que la misma generó en el marco del grupo de trabajo como en otras instancias internacionales no-latinoamericanas,  comenzó hace un año a dictar un curso presencial de Sistematización de Experiencias para estudiantes universitarios avanzados y graduados en la Facultad de Ciencias Sociales de la UNSJ (San Juan, Argentina). Generosamente me invitó este año a sumarme al curso, el cual también está teniendo una dimensión no-presencial más que interesante. Por un lado, un blog del curso de Sistematización de Experiencias que, abierto a todos los interesados,  no sólo va dando cuentas de los desarrollos del mismo y permitiendo la interacción entre los participantes, sino que también articula a quienes lo visiten con bibliotecas virtuales clave en el tema, a la vez que ordena material audiovisual muy valioso sobre sistematización.  Por otro lado, el acompañamiento en directo que vía Twitter y con la etiqueta #sistematizacion vamos realizando e invitando a que otros se sumen.   Con dos sesiones realizadas (de ocho totales) el curso presencial ha comenzado a movilizar no sólo a los físicamente presentes , sino que algunos colegas se están motivando en armar una instancia virtual del mismo.

La práctica (¡todavía no sistematizada!) parece mostrarnos que una vinculación estrecha entre oportunidades presenciales y virtuales puede ser un camino con muchas potencialidades para el fortalecimiento de las capacidades en evaluación.

El Desarrollo de Capacidades en Evaluación // Evaluation Capacity Development

(in English below)

Hoy tenemos como invitada a la amiga y colega Emma Rotondo,  coordinadora de PREVAL -Plataforma Regional de Desarrollo de Capacidades en Evaluación y Sistematización de América Latina y el Caribe.  Emma, quien es antropóloga, evaluadora y coach, trabaja en desarrollo de capacidades asociadas a procesos de gestión del conocimiento organizacionales.  Emma pone en común con nosotros pensares y preguntas a partir de la lectura de un relevante texto del Grupo de Desarrollo de Capacidades en Evaluación (fruto de un seminario internacional del cual dio buena cuenta Evaluateca  en una  primera y segunda entrega). El ECDG es uno de los socios de la iniciativa EvalPartners, la cual hace unos días también presentamos aquí.

Gracias Emma! 

……………………………….

Quiero compartir algunas reflexiones en torno al desarrollo de capacidades en evaluación a partir del texto “Un Acuerdo de Trabajo Internacional en Evaluación de Desarrollo de Capacidades” del Grupo de Desarrollo de Capacidades en Evaluación (Evaluation Capacity Development Group, ECDG). El texto surge del Seminario Internacional sobre Desarrollo de la Capacidad de Evaluación realizado del 17 al 21 de octubre pasado en Ginebra (Suiza).

El Seminario arribó a varias conclusiones, las principales precisan lo siguiente:

“existe una gran necesidad de desarrollar capacidades en evaluación sin un consenso acerca del cómo”

“generalmente se confunde desarrollo de la capacidad evaluativa  con entrenamiento”

“fuera de la asistencia financiada por donantes no habían sido capaces de desarrollar de manera adecuada y mantener la capacidad de evaluación”

El texto adelanta principios clave a tomar en cuenta tales como independencia, relevancia, utilidad, e integración.  Los participantes en el taller acordaron que el desarrollo de capacidades de evaluación involucra actividades y procesos que ayudan a crear, fortalecer y sostener la evaluación para individuos, equipos, grupos, redes, comunidades, organizaciones, sectores, países y regiones.

Al respecto, considero que no existe consenso en cómo desarrollar capacidades porque es una transdisciplina y profesión que se ha venido ejerciendo en diferentes contextos, con diferentes actores y procesos, y por tanto sus productos, tipos y usos son altamente situacionales. Puede tratarse de una evaluación interna o externa, temática o según el ciclo del programa/proyecto; incluyendo los sistemas de monitoreo y evaluación organizacionales, de proyectos o comunitarios, o también se puede facilitar procesos de valoración que alimenten sistemas de gestión del conocimiento.

El debate sobre cómo desarrollar capacidades tiene cierta antigüedad en la región de América Latina. Una aproximación sobre los enfoques, pasos y las competencias para desarrollar específicamente sistemas de Seguimiento y Evaluación fue construido por Preval y unos 25 evaluadores en el año 2005. En esa reflexión se precisaba que se requería no sólo de capacidades técnicas en herramientas de investigación económica y social, sino que también era fundamental desarrollar competencias en facilitación y coaching, entre otras. Resume esas reflexiones el texto de Preval (en Español) “Los sistemas de Seguimiento y Evaluación, enfoques y pasos para su diseño y factores de éxito”  y también en Inglés. La dimensión de evaluación asociada a procesos de aprendizaje social abre asimismo nuevas competencias. Es desde esa práctica o ejercicio de evaluación heterogénea, marcada por distintos usos, desde donde debemos partir para establecer principios, criterios y estándares de consenso, así como precisar las competencias necesarias de los evaluadores. La oferta de procesos de desarrollo de capacidades deberá pues ajustarse a estas competencias y habilidades necesarias para evaluar en la diversidad.

De hecho, en el año 2008 Preval abre las puertas a nuevos paradigmas del profesional de la evaluación al incluir en su propuesta formativa módulos relativos a herramientas de facilitación y de coaching con su “Programa de Formación de Facilitadores en metodologías Innovadoras de Evaluación”. Una experiencia de formación muy relevante y pionera ha sido el de Lùcia Calil en Brasil con la “Formación de Monitores”.  El enfoque en el que se enmarcan estas propuestas formativas conciben al profesional que actúa en procesos de Seguimiento y Evaluación como un facilitador de procesos participativos, capaz de catalizar aprendizajes y de contribuir a generar procesos sociales de construcción de conocimientos, a partir de la reflexión, el análisis y el intercambio en grupo o en comunidad con las y los actores, que promuevan aprendizajes y que movilicen la energía de los seres humanos y los sistemas sociales participantes.

Si bien no son las únicas competencias y habilidades a desarrollar, ni tampoco el Seguimiento y Evaluación es la única área de aplicación de la evaluación, quisiera comenzar la reflexión sobre el texto de ECDG haciendo una pregunta: ¿qué competencias son claves para el evaluador en sus diferentes roles y contextos? ¿Cuáles son prioritarias?

^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

Today we have as a guest blogger my friend and colleague Emma Rotondo, coordinator of PREVAL-the Regional Platform of Evaluation Capacity Building in Evaluation and Systematization of Latin America and the Caribbean. Emma, who is an anthropologist, evaluator and coach, is working on capacity development processes associated with organizational knowledge management. After reading a relevant text of the Evaluation Capacity Development Group (based on an international workshop that our blogger friend from Evaluateca made one and two posts), Emma is sharing with us her thoughts and questions. ECDG is one of the supporting partners of the EvalPartners initiative, which I presented in Spanish here

Thanks Emma!

……………………………….

I want to share some reflections on evaluation capacity development from the text “An International Workshop Agreement on Evaluation Capacity Development ” (Evaluation Capacity Development Group, ECDG). This text comes from the International Workshop on Evaluation Capacity Development held from October 17th to 21th 2011  in Geneva (Switzerland). The workshop arrived at several conclusions, the main being

“there is a great need for capacity building in evaluation without a consensus on how”.

“….stand alone, piece–meal and one¬off assistance funded by donors had not been able to adequately develop and sustain evaluation capacity. …”

“Many have considered ECD to be synonymous with training of individuals.”

Subsequent text on key principles takes into account independence, relevance, usefulness, and integration. Workshop participants determined that evaluation capacity development (ECD) involves activities and processes that help create, strengthen, and sustain evaluation for individuals, teams, groups, networks, communities, organizations, sectors, countries and regions.

In this regard, I believe that there is no consensus on how to develop it because of its multidisciplinary and heterogeneous practice in different contexts, actors, and processes. It may be an internal or external evaluation, thematic or according to the cycle of the program/ project, including monitoring and evaluation systems, organizational, or community projects. Also evaluators can facilitate assessment processes that feed into knowledge management systems. The evaluative dimension associated with social learning processes also provides new perspective in evaluation professional practice. Therefore their products, types and uses are highly situational.

It is from this heterogeneous nature, characterized by different uses, from which we must start to develop principles, criteria and standards of consensus and define the professional competences required. The tender process for capacity building must comply with these competencies and skills necessary to assess diversity.

The debate on how to develop capabilities has some background in the region of Latin America. A proposal with approaches, steps and skills to develop specific monitoring and evaluation systems was created by Preval and about 25 evaluators in 2005. This reflection expressed that evaluators require not only technical skills with economic and social research tools, but it is also essential to develop skills in facilitation and coaching, among others. The text of Preval”The monitoring and evaluation systems, approaches and steps for its design and success factors”   summarizes these considerations.

In fact Preval in 2008 opened to new paradigms of professional evaluation to include in its proposal training modules, facilitation tools and coaching with its “Facilitator Training Program in Innovative Assessment Methodologies“. A very relevant experience and training has been pioneered by Lucia Calil in Brazil with the “Formation of Monitors”  which aims to improve monitoring, how to ask questions, listen and interpret events and situations.

These courses on formative programmes are part of professional training designed to contribute to monitoring and evaluation systems as a facilitator of participatory processes capable of catalyzing learning and contributing to the generation of new social knowledge arising from critical reflection, analysis and sharing in groups mobilizing the energy of human beings and social systems involved.

These ideas are not the only skills and abilities to develop evaluation competences and to start reflection about the ECDG text of ECD. I invite others to ask some questions: what skills are key to the evaluator in their different roles and contexts? What are competences and formative priorities?

Developmental Evaluation: una breve introducción

En diversos ámbitos de las intervenciones de desarrollo ha venido teniendo mucha fuerza el trabajo sobre la noción de “mejores prácticas”. La misma refiere a determinadas iniciativas (proyectos, programas) que son identificadas como valiosas,  positivas, y dignas de ser replicadas.  De ese modo, dichas prácticas son rápidamente convertidas  en estándares, con la expectativa de alcanzar cierta escala e ir más allá de la “práctica” inicial.

Esto presenta diversos problemas, entre los cuales encontramos claramente que los estándares (como tales) tienden a desprenderse de su contexto de origen, y pasan a ser entendidos como cuasi-universales, vale decir, aplicables en todo ámbito y tiempo, por distante que sea con aquel que le dio origen.  Además de implicar que efectivamente sabemos cuál es la mejor manera de hacer las cosas, y de incluso desalentarnos a buscar otras maneras de hacerla, un punto crítico apunta a la complejidad: no siempre sabemos porqué algo funciona, aunque lo haga exitosamente.

 Ya comentamos anteriormente cómo la ciencia de la complejidad  puede aportar valiosos insumos y perspectivas enriquecedoras para entender el enmarañado proceso de cambio social y del desarrollo. La perspectiva de la complejidad facilita superar la visión de considerar a la pobreza, la vulnerabilidad, y la enfermedad como rompecabezas, y a las organizaciones de desarrollo como las piezas que faltan para completarlo. Esto, además de dar a las intervenciones externas una mayor importancia de la que tienen, distorsiona la naturaleza de los problemas que enfrentamos, presentando de manera simple el flujo del desarrollo. En lugar de abordar e involucrarnos con la complejidad, la misma es descartada o relegada a un lugar marginal, lo que es facilitado por las herramientas y técnicas que muchas veces usamos. El punto clave es que tratamos a las cosas complejas como si fueran simplemente complicadas.

Ante esto, recientemente han ido surgiendo enfoques y métodos de evaluación orientados a reconocer el carácter complejo de distintos contextos de implementación de programas y políticas. Entre ellos me parece que tres aportes infaltables son los siguientes: Purposeful Program Theory , de Sue Funnell y Patricia Rogers,  Systems Concepts in Action, de Bob Williams y Richard Hummelbruner, y Developmental Evaluation, de Michael Quinn Patton.

El enfoque de Patton (quien aquí comentó sobre tendencias actuales de la evaluación) está explícitamente orientado a articularse y apoyar procesos de desarrollo emergentes, innovadores y transformacionales. De algún modo, procura atender a la necesidad de evaluar un programa mientras el mismo se está desarrollando, en el sentido de que se está generando y configurando en su mismo desarrollo. Entonces, en ese contexto, aparece la necesidad de adecuar el enfoque de evaluación, respondiendo a diversas demandas: dar cuenta hacia los administradores y/o financiadores de resultados e impactos que se hubieran predeterminados, a la vez que requiere generar aprendizajes y lecciones de la experiencia en curso.  ¿Qué sugiere Patton que se puede hacer? Algo de lo siguiente:

  • Documentar los principios que impulsan el programa,  y utilizarlos  para organizar la puesta en acto en otros escenarios donde se va a desenvolver.
  • Identificar los factores que dan cuenta de que determinada área está lista para ejecutar el programa.
  • Compartir las lecciones aprendidas con los actores o interesados principales (los stakeholders)  en áreas de implementación posibles.

El punto es que la Developmental Evaluation no es solamente difícil de traducir (¿evaluación en desarrollo?), sino que es problemática en cuanto atiende a un conjunto complejo de condiciones y resultados que, en gran medida, desafían la ortodoxia en investigación y evaluación.  Patton es muy conocido por diversos aportes, entre los cuales resalta su proceso de evaluación focalizada en la utilización.  En este nuevo giro de tuerca, Patton hace uso de conceptos del paradigma de la complejidad para dar cuenta de situaciones de dinamismo y novedad, incertidumbre y construcción en proceso.  Y si bien en aquel enfoque brindó una guía o serie de pasos a seguir, estos ahora no están tan claramente estipulados. Justamente, no podría haber una “receta” para una metodología orientada a abordar la complejidad, con atención a la emergencia de nuevos patrones,  la tarea de darles sentido  para entenderlos en el contexto de su aparición, así como a rescatar al contexto de generación de los descubrimientos. Estos elementos caracterizan y distinguen a la Developmental Evaluation de otros enfoques de investigación y evaluación.

Valgan estas pocas líneas para una primera aproximación a este enfoque. La presentación in-extenso de Developmental Evaluation puede estudiarse en el libro homónimo. Y si quieren ver y escuchar un par de presentaciones del mismo Patton dando cuenta del enfoque y su articulación con los contextos de complejidad, pueden visitar My M&E y tendrán acceso a la grabación de dos video-conferencias y sus respectivas presentaciones:  la primera de ellas es (justamente) sobre la Developmental Evaluation, mientras que la segunda apunta a  How to evaluate interventions in complex dynamic environments.

Una inquietud final que me surge, la cual seguramente valdría la pena explorar, es cuáles son los puntos de contacto y distancia entre el enfoque de Patton y los aportes que el movimiento de la sistematización ha realizado en América Latina? Quizás algun@ de los amig@s del grupo Sistematización y Evaluación pueda darnos algunas pistas en los comentarios…

 

ACTUALIZACION:

Michael Q. Patton tuvo la gentileza de leer este post, y me envió la siguiente comunicación:

Pablo,
 
Thank you for sharing your posting.  I had a colleague translate it for me over the phone.  Very impressive and useful.
 
Mucho gracias,
 
Michael
Michael Quinn Patton
Utilization-Focused Evaluation
Saint Paul, MN

Mis deseos para el Tinku Kamayú, y todas las mujeres que ellas representan

Se acerca el fin de año, y entre tantas acciones y propósitos no suele faltar el hacer un balance de lo realizado, así como el desear a nuestros seres queridos lo mejor para el año que comienza.  Sin duda que entre los primeros para dichos deseos estarán  nuestros familiares y afectos más cercanos.  Sin embargo, la capacidad de augurar buenos deseos y propósitos no es tanto como manzanas en una cesta, que al repartirlas se acaban, sino como la llama de una vela, que al brindarse no se agota y es capaz de dar más luz.

Por eso me pareció muy grata la invitación que hace World Vision España en su iniciativa Házlo realidad!, la cual permite que enviando mensajes de texto de salutación podamos colaborar en recaudar fondos para sus programas de educación, salud y nutrición en África, Asia y América Latina.  Otra faceta de dicha iniciativa nos invita a preguntarnos concretamente sobre nuestros deseos y augurios para aquellos que conocemos y que se encuentran en una situación difícil de algún tipo. Esas situaciones suelen ser caracterizadas como pobreza, marginación, exclusión…

La propuesta (o reto) tiene varias puntas positivas:

  • nos obliga en esta oportunidad a ponerle nombre y cara a aquellos que en los proyectos y programas de desarrollo son tantas veces número e indicadores;
  • nos propone hacer público nuestro augurio y nuestro deseo de un mejor año para ellos; y
  • nos permite presentar a nuestros conocidos a quienes nos leen en las entradas de un blog o bien en sus comentarios.

En este espíritu, quiero presentar aquí brevemente a las amigas del Tinku Kamayú, que en Quechua quiere decir Reunidas para Trabajar.  Su historia se desarrolla en Santa María, en la precordillera de los Andes, al norte de la provincia de Catamarca (noroeste Argentino), a 1.900 metros sobre el nivel del mar.  La actividad agropecuaria ha sido históricamente el motor de la economía de Santa María, concentrándose  en aromáticas, vid y nogal, así como la cría de ganado caprino, ovino, bovinos, camélidos (llamas), y cabalgares. En consonancia con la realidad nacional, Santa María sufrió en las últimas décadas un fuerte proceso de descampesinización que llevó  a pequeños productores al abandono y/o venta de sus propiedades, y a la consiguiente instalación de una parte de las familias en el núcleo más urbanizado del departamento. Otra parte de la población ha migrado hacia centros poblacionales como Tucumán, Buenos Aires, o la zona de Cuyo.

Hace diez años atrás, Argentina vivía el pico de una crisis política y económica que marcó en diversos sentidos un antes y un después en la historia nacional.  En Santa María el período se caracterizó por un enorme desempleo, lo que repercutió en la actividad comercial y de servicios del área, produciéndose el cierre de pequeños comercios, comedores, etc. La oficina de Cáritas en Santa María comenzó a recibir la presencia cotidiana de un gran número de personas que hacían cola a la espera de alguna ayuda en alimentos y vestimenta.  A mediados del año  2002, el párroco local solicitó la ayuda de Margarita Ramírez, una voluntaria local del Movimiento Focolar, para colaborar en la búsqueda de alternativas frente a aquella multiplicidad de pedidos.

Margarita había estado largamente vinculada a la Escuela Aurora, espacio donde se ubica el Taller Armonía, taller de costura y tejido en Santa María, ambas instancias originadas en una larga labor de apoyo y acompañamiento de los Focolares en la zona. Margarita tuvo la idea de comenzar un emprendimiento de confección de hilado artesanal a fin de proveer al Taller Armonía, el cual hasta ese momento lo adquiría en tiendas comerciales de Santa María y Tucumán. Una vez que contó con el acuerdo y disposición de las artesanas del Taller Armonía para la compra del hilo que pudieran elaborar, comenzó a buscar a otras mujeres para iniciar la actividad. En Septiembre de 2002 reunió a las primeras mujeres en la vecina localidad de Lampacito, con quienes mantuvo varias reuniones iniciales para comentar la idea y organizar los primeros pasos de la acción.

Con el aporte inicial de lo que cada hiladora pudo sumar, e instalándose en un pequeño salón prestado, el taller entró en funcionamiento a finales del año 2002 con sólo un par de ruecas prestadas, debiendo sentarse las hiladoras sobre ladrillos apilados para realizar el trabajo. Al poco tiempo, se vieron obligadas a mudarse a unas habitaciones de adobe que consiguieron prestadas en un terreno abandonado sobre la ruta que viene de Santa María hacia Lampacito. Uno de los apoyos iniciales clave recibido por el grupo fue el de un programa de desarrollo rural vigente esos años, el PSA-PROINDER.  Tanto de parte de los técnicos como así también de algunas de las integrantes del grupo, existían dudas sobre la viabilidad de un emprendimiento que comenzaba con tan escasos recursos. Al respecto, Margarita recordaba esos momentos de la siguiente forma:

Los técnicos estaban dudosos de hacer el proyecto para el PSA,
y no sabían si hacerlo o no hacerlo. Decían que sólo se apoyaban
proyectos de agricultura, otros proyectos no. Entonces yo dije
“–Empecemos ya”!, y una de las chicas dice –“Pero si no tenemos
nada!” Y otra dijo “–Yo tengo cinco kilos de lana de oveja”. Y otra
dijo “–Y yo tengo cinco pesos para comprar más.” Y la tercera dice “Y
yo tengo un huso para hilar… vos Margarita buscá dónde podemos
trabajar”…

Con  la donación de un monto de dinero de un particular italiano vinculado al Movimiento Focolar, las mujeres pudieron adquirir el terreno donde estaban trabajando. A mediados de 2005 el grupo recibió el financiamiento de un proyecto presentado al PSA-PROINDER destinado a construir el salón para el taller de hilado y sus instalaciones (sala de venta, depósito para materia prima, baño, etc.). Para el pago de la mano de obra se contó con aportes de la Escuela Aurora, de las socias, y de la ONG española Achalay. El municipio local y algunas otras oficinas públicas  (como Vialidad Provincial) facilitaron maquinarias, herramientas y mano de obra en distintas instancias de la construcción del local. En Marzo de 2007 el Tinku Kamayú realizó la fiesta de inauguración del salón de hilandería, contando con la presencia de vecinos, autoridades municipales y representantes de las instituciones de apoyo.

Pude conocer de cerca la experiencia del Tinku Kamayú un tiempo antes de la inauguración de su local, cuando las luchas cotidianas eran muchas, los  diálogos siempre necesarios, y la mirada hacia el futuro un sostén. Su historia y su presente me impactaron, y con un colega escribimos un capítulo de un libro para profundizar en la trayectoria que como personas y como organización habían recorrido. Analizamos  la capacidad creativa del grupo de mujeres del Tinku Kamayú, eje estructurador de su particular forma de desarrollo alternativo. Resultaba claro que la dimensión económica de la experiencia había sido clave en el contexto de pobreza del surgimiento del grupo, guiando en gran medida decisiones vitales de las participantes. Sin embargo, un lugar relevante tuvo también la exitosa y creativa articulación de la dimensión económica-productiva con la dimensión espiritual-afectiva de las mujeres participantes en el Tinku Kamayú. Ellas encontraban  en su participación en el grupo múltiples satisfactores a necesidades distintas y cambiantes en el tiempo.

Luego, he sido testigo cómo otros colegas también se han interesado y apoyado esta experiencia, desde documentales hasta noticias; y he seguido sus novedades y fotografías en el barrio Facebook.

Vaya para ellas entonces, las amigas del Tinku Kamayú,  mi deseo que su fortaleza siga siendo tan contagiosa para tantos de nosotros, que su espíritu nos siga transmitiendo esperanza, y que sus esfuerzos sean -como hasta ahora- semillas y frutos de desarrollo. 

(si te llega esta entrada por email, deberás entrar al post para ver el video)

Quedan abiertos los comentarios para hacer llegar también nuestro deseo a algún conocido, cuya historia y trayectoria pueda servirnos también de inspiración para el año nuevo que se nos aproxima… 

Por mi culpa, por mi culpa, por mi gran culpa

En estos días se ha venido desarrollando “The 2nd Aid Blog Forum“, impulsado por J. de Tales from the Hood. En esta ocasión, el tema ha sido “Admitiendo Errores”, impulsado por una corriente creciente de reflexión que apuesta por un mayor espacio para el reconocimiento de los errores que se cometen en las acciones de desarrollo, cooperación y ayuda humanitaria. Una expresión relevante de esta tendencia puede verse en el sitio Admitting Failure, con el sugestivo encabezado “Aprendiendo de lo que no funciona bien, creando espacio para lo que sí” (valga la traducción libre ;) ).

Las reflexiones volcadas en los distintos blogs publicados hasta el momento son realmente interesantes, y llevan a darle varias vueltas de tuerca a este asunto. Para sumar mis dos centavos al foro, comento dos experiencias personales, ambas desde la perspectiva de la evaluación:

1) Hace varios años atrás me tocó estar cerca de la implementación y evaluación interna de una experiencia de desarrollo rural. La misma había resultado,por decirlo delicadamente, muy desequilibrada en sus efectos. Apenas una fracción muy menor de los participantes había implementado la propuesta técnica sugerida, mientras que en la enorme mayoría de los casos se detectaba abandono y desvinculación de la misma. Tras un tiempo de reflexión sobre la experiencia, pude  publicar mi visión de lo sucedido en este caso, procurando extraer algunas lecciones a futuro. El punto es que al momento de publicar mi reflexión, yo seguía siendo parte del mismo programa que analizaba en el artículo. Apenas el artículo vio la luz, una alta autoridad del programa elevó sus quejas, trajo a colación la conocida frase “los trapitos sucios se lavan en casa”, y presionó para mi despido. La intervención de otros funcionarios, así como la defensa que de mi caso hiciera mi jefe directo, disiparon esa posibilidad.

2) En el marco de la evaluación de un programa de desarrollo rural, el reporte final que presentamos con un colega tuvo que ser corregido varias veces -a pedido del Supervisor de la evaluación- a fin de “suavizarlo”. En sus comunicaciones nos decía lo siguiente:
Recuerden que estos informes, luego de aprobados por la coordinación nacional del programa, pueden ser vistos por distinta gente (del Banco Mundial, autoridades del Ministerio, otros consultores), y debemos enviarlos a las regiones evaluadas, en donde también lo pueden ver distintas personas. No existe una cultura del seguimiento y de la evaluación como un punto de reflexión para mejorar. En general, especialmente las autoridades, los toman como un “juicio” para castigar, por eso es que estoy pidiendo estos cambios.
Finalmente, acordamos una versión final del informe donde las ideas fundamentales que queríamos señalar estaban presentes. Sin embargo, sentimos también que las mismas habían perdido gran parte de su fuerza original al haberse eliminado las referencias comparativas tanto con con el Manual Operativo del programa, así como con la realidad de ejecución del programa en otras regiones. Si bien varias de nuestras recomendaciones iniciales se mantuvieron, aquellas que resultaban para el criterio del Supervisor como “potencialmente hirientes” fueron suprimidas.

Sin duda que estos ejemplos brevísimamente presentados pueden dar pie a múltimples reflexiones, muchas de ellas ajenas al propósito de esta entrada. Me interesa rescatar de ellos la fuerte dificultad en el reconocimiento de errores, fallas y problemas en la implementación de acciones de desarrollo, vinculada estrechamente con la ausencia de una cultura evaluativa, donde el énfasis mayor o único pasaría por la rendición de cuentas, y el factor de aprendizaje quedaría minimizado. Aquí está, me parece a mí, un nudo central a resolver en el movimiento del reconocimiento de los errores. Por un lado, es importante, necesario y bienvenido un movimiento que se oriente a dar cuenta de cómo las acciones de desarrollo… fallan. Pero al mismo tiempo, poco avanzamos si nos quedamos apenas en ese primer paso. Es necesario aprender de los errores, pues el simple reconocimiento de los mismos no pasaría de ser un acto de expiación personal/institucional, casi sin efecto alguno.

En tal sentido, el movimiento de Sistematización de experiencias, con fuerte raigambre en América Latina, ha venido planteando con claridad que hay un desafío no sólo metodológico o técnico en aprender de nuestras prácticas, sino fundamentalmente político.  La biblioteca virtual de Sistematización (alojada en la web del CEP Alforja, y perteneciente al Programa Latinoamericano de apoyo a la sistematización del CEAAL) es un buen lugar para indagar y conocer sobre el enfoque, al igual que el muy dinámico grupo de Sistematización y Evaluación de la ReLAC.  El interés por la Sistematización en foros extra-regionales ha tenido este año al menos dos ejemplos a marcarlar:  la ponencia de Esteban Tapella en la conferencia Systemic Approaches in Evaluation (GIZ, Enero de 2011), así como la presencia del maestro Oscar Jara en la Cesta de Aprendizaje en la Universidad Politécnica de Valencia (de cuyos frutos confiamos tener novedades pronto ;) ).

En todos los casos, la Sistematización asume que más allá de identificar buenas prácticas, el reconocer errores y dar cuenta de fallas, debe generar aprendizajes.  Aprender, a fin de cuentas, no es un acto de contrición…

Seguir

Recibe cada nueva publicación en tu buzón de correo electrónico.

Únete a otros 1.392 seguidores