Gestión del Conocimiento para el Desarrollo – #KM4dev & #Eval

(fragmento del EDITORIAL  del Número especial 2014 en castellano y portugués de la revista KM4Dev)

La revista KM4Dev es una revista sobre gestión del conocimiento para el desarrollo, de acceso abierto y revisada por pares. Es un producto de KM4Dev, una comunidad de práctica de profesionales que trabajan en el campo de la gestión del conocimiento para el desarrollo, en todo el mundo.

gestion conocimientoDesde 2013 la revista vuelve a publicarse de manera abierta y en línea para facilitar el acceso y la publicación de materiales inéditos a quienes trabajan en temas de desarrollo. Como parte de este esfuerzo, y considerando el crecimiento en la comunidad de miembros de países de habla hispana y portuguesa, la comunidad ha propuesto que este Número 1 del Volumen 10 de la revista sea una edición especial en estas lenguas, para favorecer la difusión, el intercambio y la reflexión de experiencias en estos dos idiomas, de manera abierta y participativa.

Por ello, y través de diversas redes, se hizo un llamado a profesionales en gestión del conocimiento (GC) para el desarrollo a contribuir con artículos, en español y portugués, que aporten al debate en esta disciplina. De 16 propuestas recibidas, este número especial de la revista presenta 10 contribuciones entre las que se incluyen dos artículos, seis estudios de caso y una historia personal. Nueve de las contribuciones son en castellano y una en
portugués.

Dada la riqueza, el dinamismo y la diversidad del continente, estas son cifras muy  modestas. Así es que estos 9 artículos son apenas una aproximación a lo que sucede en la región de Latinoamérica y el Caribe en este campo, pero es a la vez un llamado a promover más estudios y más análisis de lo que se viene realizando por diversos actores públicos y privados.

A partir de la breve reseña de cada uno de los elementos que conforman este ejemplar de la  revista KM4DEV, el lector y la lectora puede identificar la riqueza y diversidad de la discusión que se está generando en la región sobre el tema de la gestión de conocimiento.

——————————   —————- —————-

Pues bien, hasta aquí una parte del Editorial de esta revista, en la cual tuvimos junto a Esteban Tapella la oportunidad de participar con nuestro artículo Evaluación y Aprendizaje desde la práctica: la sistematización de experiencias.  En dicho trabajo,  “además de destacar brevemente las raíces de la sistematización de experiencias en América Latina, así como sus similitudes con ciertas tendencias en el campo de la gestión del conocimiento (KM) y la evaluación, el artículo presenta conceptos básicos y consideraciones metodológicas sobre la sistematización de experiencias de desarrollo. Reconociendo la existencia de  diversos enfoques metodológicos de la misma, el artículo presenta el método de  base que se ha aplicado en diferentes proyectos, basado tanto en la experiencia  de los autores como en el trabajo de otros practicantes.”

Quedan pues invitados e invitadas a leer en este número la diversidad de propuestas presentes.  Más allá de preferencias personales por un tema u otro, resulta sin dudas un número muy valioso que da cuenta del esfuerzo de trabajo en la Gestión de Conocimiento en la región de América Latina. 

Vaya también, y por supuesto, un agradecimiento especial para el equipo editorial, varios de ellos muy estimados colegas y amigos: Denise Senmartin, Sophie Alvarez, Viviana Palmieri, Dora Arévalo, Margarita Baena, Kemly Camacho, Caridad Camacho, Teobaldo Pinzás y Camilo Vila.

 

Hip-hop & cambio social: un trabajador social a la izquierda, por favor

Gracias a Jennifer Lentfer y su fantástico blog How Matters pude conocer a la familia Ayara y a su creador, Don Popo. El video ha sido realizado en Bogotá, Colombia, y apunta a mostrar la labor de trabajo social en el ámbito juvenil en dicho ambiente.

Mi mayor acercamiento al Hip-hop ha sido porque una de mis hijas se entusiasmó con el mismo, y alguna vez en algún colectivo en Chile tuve la experiencia cercana de este género urbano. El resto ha sido más bien mediático, y -por tanto- cargado de prejuicios y miradas entre despectivas e ignorantes. Estoy seguro que para much@s este  video será un gran reconciliador…

Reconciliador con dimensiones de la cultura urbana que nos son ajenas.

Reconciliador con el optimismo.

Reconciliador con sueños de cambio social.

HipHopLogoY por otro lado, da un lugar jerárquico a los “locales” y la intervención “externa” poco externa parece… cuando los jóvenes terminan haciéndose dueños de la misma.  Sin duda que también permite ver resultados e impacto en distintas facetas de la vida de estos jóvenes, y su sostenibilidad apunta a ser sospechosamente alta. Pues bien, esos son mis subjetivas impresiones tras ver este impactante video, que bien valen dedicarle un momento para aquellos que quieren y creen posible un cambio social -y si viene de la mano del arte, tanto mejor!- (¿podría ser de otro modo? :-) )

.

Entre conferencias…

Este fin de año viene completo de conferencias interesantes y relevantes en el mundo de la evaluación. Mientras la RedLacMe estará realizando su VIII Conferencia el próximo 3 al 5 de Diciembre en Costa Rica, y el CLAD tendrá su XVII Congreso Internacional en Colombia entre el 30 de Octubre y el 2 de Noviembre (con al menos cuatro paneles focalizados en temas de evaluación), también se suman otros eventos internacionales. Mientras que de al menos dos de ellos confío escribir pronto (me refiero a la conferencia de AEA 2012 y al foro de EvalPartners), en esta entrada apunto a compartir noticias sobre la reciente conferencia de la Sociedad Europea de Evaluación.

La décima conferencia bienal de la EES tuvo lugar en Helsinki, Finlandia, cuando el otoño europeo avanzaba con fuerza. Bajo la consigna “la evaluación en una sociedad de redes: nuevos conceptos, nuevos desafíos y nuevas soluciones”, el propósito central de la conferencia fue facilitar el debate en torno a los desafíos que enfrentan nuestras sociedades en el marco de a la crisis económica y financiera reciente, el incremento de la pobreza en algunos países europeos y la reducción del gasto público en muchas regiones.

Como en otras oportunidades, el generoso apoyo de los organizadores facilitó la participación unos setenta evaluadores no-europeos, y entre ellos se contaba mi colega y amigo Esteban Tapella (ya comenté anteriormente uno de nuestros trabajo conjuntos en un curso sobre Sistematización de Experiencias).   Esteban es, entre otras cosas (como por ejemplo andinista, fotógrafo, docente universitario e investigador social, etc.) un gran comunicador y un claro ejemplo del sharismo contemporáneo -vale decir, alguien que coloca el compartir como prioridad en sus acciones-. -. Habiendo participado en Helsinki con dos presentaciones de autoría compartida, una denominada “Aprendizaje compartido y evaluación participativa: en el enfoque de sistematización en programas de desarrollo” y otra  “La práctica de la evaluación en América Latina: el caso de la sistematización de experiencias”, se hizo tiempo también para entrevistar a algunos de los participantes en la misma y pedirles comentaran sobre qué trabajo habían presentado en la conferencia, qué están desarrollando actualmente en el campo de la evaluación, e incluso un mensaje o saludo para la comunidad de evaluadores de América Latina y el Caribe.

Entonces, sin más prolegómenos, los entrevistados de Esteban Tapella.

María Bustelo es Directora del Magíster en Evaluación de Programas y Políticas Públicas de la Universidad Complutense de Madrid, y Presidente de la Sociedad Europea de Evaluación. Ha trabajado en evaluación en las áreas de igualdad de género, promoción de la salud y drogodependencias, cooperación al desarrollo, servicios sociales, gestión cultural y desarrollo local.

.

Marco Segone, es oficial de evaluación de UNICEF y el co-chair de la iniciativa EvalPartners. Ha estado vinculado desde hace muchos años con la realidad de la evaluación a nivel global, y todavía extraña sus buenos años transcurridos en Colombia y Brasil.

.

Belen Sanz Luque, directora de la Oficina de Evaluación de UN Women, quien también brindó su apoyo al grupo de trabajo de Evaluación, Género y Derechos Humanos, de la ReLAC.

.

Colleen Duggan es especialista senior en la unidad de evaluación del IDRC (International Development Research Center), con una extensa experiencia en trabajos sobre derechos humanos, alerta temprana y prevención de conflictos, género y  evaluación de las iniciativas de construcción de paz. Su vinculación con América Latina parte del desarrollo de trabajos para Naciones Unidas en Colombia, Guatemala, y El Salvador.

.

Luis Soberón es  profesor principal del Departamento de Ciencias Sociales de la Pontificia Universidad Católica del Perú. Fue coordinador de la ReLAC, y trabajó activamente en el “Grupo de trabajo de universidades e instituciones de formación en evaluación”, tal como se reseña con mayor detalle en el Grupo de Trabajo de Formación y Evaluación de la ReLAC. También  escribe en su blog sobre sistemas, evaluación y desarrollo.

Evaluación, valoración, negociación: reflexiones hacia una cultura de la evaluación

En Octubre del 2011 compartí en este espacio una entrada titulada Por mi culpa, por mi culpa, por mi gran culpa,  en donde daba cuenta del crecimiento de una corriente de reflexión orientada a brindar un mayor espacio al reconocimiento de los errores que se cometen en las acciones de desarrollo, cooperación y ayuda humanitaria. También señalaba como expresión relevante de dicha tendencia lo que se mostraba en el sitio Admiting Failure, el cual ahora tiene en su portada una síntesis muy directa de sus propósitos:  la comunidad del desarrollo está fallando… en aprender del fracaso. En lugar de reconocer dichas experiencias como oportunidades de aprendizaje, las escondemos por miedo y vergüenza. 

En el mundo de la evaluación esta tendencia no ha resultado ajena. Mientras que en América Latina el enfoque de la Sistematización de experiencias ha venido planteando con claridad que hay un desafío no sólo metodológico o técnico en aprender de nuestras prácticas, sino fundamentalmente político, desde otros contextos también se ha acentuado la pertinencia y relevancia de aprender de los errores como componente clave de una evaluación genuina.

Más recientemente, y fruto del incansable trabajo como editora de Marie Gervais,  el Canadian Journal of Program Evaluation publicó un número especial para conmemorar su 25º aniversario. El foco del mismo estuvo puesto en cómo aprovechar y aprender de  evaluaciones que no resultaron “exitosas”, vale decir, no alcanzaron los resultados esperados. En la introducción del número se desarrolla la discusión sobre cómo entender la noción de “evaluación exitosa” , dando cuenta con cierto detalle de la razón del lema del número especial: How to Take Advantage of Less-Than-Successful Evaluation Experiences.  La motivación por este foco temático parte de reconocer la poca reflexión que los evaluadores suelen dar a su práctica (con la excepción de los aspectos metodológicos), y -peor aún- el poco aprendizaje realizado como colectivo sobre dichos errores. ¡Tremenda paradoja para la trans-disciplina!

Es interesante analizar cómo apenas un cuarto de los convocados para este número finalmente completaron la tarea, aceptando la invitación y presentando un artículo. Las razones para ello no obedecieron tanto  a dificultades de tiempo o demandas laborales, sino a lo incómodo que resultaba para distintos evaluadores el escribir sobre sus experiencias más problemáticas y menos “exitosas” en su quehacer evaluativo.  Esto es señalado y repensado también por los dos comentaristas de lujo con que contó el número especial,  Ross Conner (ex-presidente de la American Evaluation Asociation y de la IOCE) y  Michael Q. Patton (de quién hablamos antes aquí).

Pues bien, junto al colega y amigo Rafel Monterde-Díaz (bloguero de Evaluateca) preparamos un artículo que forma parte de este número, reflexionando sobre la cultura de la evaluación a partir de un caso  que sin duda fue “poco “exitoso”. Valga este espacio para compartir tanto la versión publicada en inglés, como así también su versión original en castellano. Queda abierta la sección comentarios para los ídem, mientras aprovechamos la visita de Rafael por estas australes comarcas (si bien la foto ilustra mi visita a su tierra, Valencia, momentos antes que nos invitaran a subir al patrullero que se asoma detrás… ;-) )

Experiencias virtuales y presenciales en el desarrollo de capacidades en evaluación

You can read this post in English here

En el marco de las redes, asociaciones, y profesionales de la evaluación,  se ha establecido ya un claro consenso sobre la pertinencia y necesidad de desarrollar capacidades de evaluación. Al mismo tiempo, se reconoce que estamos lejos de arribar a un consenso similar sobre el cómo hacerlo.

La Red de Seguimiento, Evaluación y Sistematización en América Latina -ReLAC- llevó a cabo hace un par de años un relevamiento exploratorio en 16 países de la región a fin de caracterizar la situación de los servicios de evaluación  (una presentación esquemática del estudio puede verse aquí). Algunos datos relevantes del mismo mostraron que los dos asuntos más importantes vinculados con la demanda de evaluación en el sector público eran:
(a) la capacidad de realizar evaluaciones de impacto, y
(b) la capacitación en monitoreo y evaluación.

El panorama en general para la región señalaba que la demanda de servicios de monitoreo y evaluación había crecido mucho más rápidamente que la capacidad de ser llevados adelante de manera competente, mientras que las instancias de formación más comunes resultaban ser las universidades y los consultores particulares.

El estudio en cuestión fue desarrollado en paralelo con un proceso muy interesante que, tanto por su novedad como por su escala, no llegó a ser reflejado en el mismo. Me refiero a las instancias de capacitación auto-generadas por las Asociaciones Voluntarias de Profesionales de la Evaluación (VOPEs por su sigla en Inglés, tal como las denomina la iniciativa EvalPartners). En este caso me refiero concretamente al grupo de trabajo sobre Sistematización y Evaluación, generado en la plataforma Ning de la ReLAC, el cual surgió a comienzos del año 2010 a partir de la articulación de las voluntades de integrantes de ReLAC, del Programa Latinoamericano de Apoyo a la Sistematización de Experiencias del CEAAL (PLAS-CEAAL), y de PREVAL. Partiendo del propósito común de desarrollar actividades conjuntas sobre la sistematización con la participación de las redes nacionales, instituciones y personas relacionadas con la temática, el grupo rápidamente creció en número de participantes como en intensidad y calidad de sus discusiones.

Una decisión que resultó muy acertada fue realizar las discusiones teniendo en vista el desarrollo en Julio del 2010 de la 3º Conferencia de ReLAC en San José de Costa Rica. De ese modo, a partir de su trabajo colectivo en el marco del grupo de trabajo, los participantes concretaron un panel en la inauguración de la conferencia, así como diversas ponencias individuales en la misma. Las instancias que hasta ese momento habían sido virtuales y sincrónicas en el marco del grupo de trabajo, dieron lugar a discusiones y aprendizajes presenciales en el marco de la conferencia, convertida en un escenario para la profundización de la metodología de la sistematización de experiencias, ese particular enfoque de evaluación orientado a generar y compartir aprendizajes sobre las prácticas de intervención en desarrollo y con una profunda raigambre latinoamericana.

Retomando el estudio mencionado antes sobre Demanda y Oferta de Evaluación en América Latina, ante la consulta sobre qué productos o metodología serían los más relevantes para fortalecer las capacidades de evaluación, el lugar de los medios virtuales ocupó siempre el último lugar en las preferencias. Esto marcó un contraste con la experiencia del grupo de trabajo en sistematización, posiblemente porque el mismo terminó siendo una experiencia no simplemente de e-learning (únicamente virtual) sino fundamentalmente b-learning (de blend, mezclado), combinando instancias presenciales y virtuales.

Esteban Tapella (amigo, colega del PETAS, y reciente PhD!), motivado por su compromiso personal con la temática de la sistematización, así como también por el interés que la misma generó en el marco del grupo de trabajo como en otras instancias internacionales no-latinoamericanas,  comenzó hace un año a dictar un curso presencial de Sistematización de Experiencias para estudiantes universitarios avanzados y graduados en la Facultad de Ciencias Sociales de la UNSJ (San Juan, Argentina). Generosamente me invitó este año a sumarme al curso, el cual también está teniendo una dimensión no-presencial más que interesante. Por un lado, un blog del curso de Sistematización de Experiencias que, abierto a todos los interesados,  no sólo va dando cuentas de los desarrollos del mismo y permitiendo la interacción entre los participantes, sino que también articula a quienes lo visiten con bibliotecas virtuales clave en el tema, a la vez que ordena material audiovisual muy valioso sobre sistematización.  Por otro lado, el acompañamiento en directo que vía Twitter y con la etiqueta #sistematizacion vamos realizando e invitando a que otros se sumen.   Con dos sesiones realizadas (de ocho totales) el curso presencial ha comenzado a movilizar no sólo a los físicamente presentes , sino que algunos colegas se están motivando en armar una instancia virtual del mismo.

La práctica (¡todavía no sistematizada!) parece mostrarnos que una vinculación estrecha entre oportunidades presenciales y virtuales puede ser un camino con muchas potencialidades para el fortalecimiento de las capacidades en evaluación.

El Desarrollo de Capacidades en Evaluación // Evaluation Capacity Development

(in English below)

Hoy tenemos como invitada a la amiga y colega Emma Rotondo,  coordinadora de PREVAL -Plataforma Regional de Desarrollo de Capacidades en Evaluación y Sistematización de América Latina y el Caribe.  Emma, quien es antropóloga, evaluadora y coach, trabaja en desarrollo de capacidades asociadas a procesos de gestión del conocimiento organizacionales.  Emma pone en común con nosotros pensares y preguntas a partir de la lectura de un relevante texto del Grupo de Desarrollo de Capacidades en Evaluación (fruto de un seminario internacional del cual dio buena cuenta Evaluateca  en una  primera y segunda entrega). El ECDG es uno de los socios de la iniciativa EvalPartners, la cual hace unos días también presentamos aquí.

Gracias Emma! 

……………………………….

Quiero compartir algunas reflexiones en torno al desarrollo de capacidades en evaluación a partir del texto “Un Acuerdo de Trabajo Internacional en Evaluación de Desarrollo de Capacidades” del Grupo de Desarrollo de Capacidades en Evaluación (Evaluation Capacity Development Group, ECDG). El texto surge del Seminario Internacional sobre Desarrollo de la Capacidad de Evaluación realizado del 17 al 21 de octubre pasado en Ginebra (Suiza).

El Seminario arribó a varias conclusiones, las principales precisan lo siguiente:

“existe una gran necesidad de desarrollar capacidades en evaluación sin un consenso acerca del cómo”

“generalmente se confunde desarrollo de la capacidad evaluativa  con entrenamiento”

“fuera de la asistencia financiada por donantes no habían sido capaces de desarrollar de manera adecuada y mantener la capacidad de evaluación”

El texto adelanta principios clave a tomar en cuenta tales como independencia, relevancia, utilidad, e integración.  Los participantes en el taller acordaron que el desarrollo de capacidades de evaluación involucra actividades y procesos que ayudan a crear, fortalecer y sostener la evaluación para individuos, equipos, grupos, redes, comunidades, organizaciones, sectores, países y regiones.

Al respecto, considero que no existe consenso en cómo desarrollar capacidades porque es una transdisciplina y profesión que se ha venido ejerciendo en diferentes contextos, con diferentes actores y procesos, y por tanto sus productos, tipos y usos son altamente situacionales. Puede tratarse de una evaluación interna o externa, temática o según el ciclo del programa/proyecto; incluyendo los sistemas de monitoreo y evaluación organizacionales, de proyectos o comunitarios, o también se puede facilitar procesos de valoración que alimenten sistemas de gestión del conocimiento.

El debate sobre cómo desarrollar capacidades tiene cierta antigüedad en la región de América Latina. Una aproximación sobre los enfoques, pasos y las competencias para desarrollar específicamente sistemas de Seguimiento y Evaluación fue construido por Preval y unos 25 evaluadores en el año 2005. En esa reflexión se precisaba que se requería no sólo de capacidades técnicas en herramientas de investigación económica y social, sino que también era fundamental desarrollar competencias en facilitación y coaching, entre otras. Resume esas reflexiones el texto de Preval (en Español) “Los sistemas de Seguimiento y Evaluación, enfoques y pasos para su diseño y factores de éxito”  y también en Inglés. La dimensión de evaluación asociada a procesos de aprendizaje social abre asimismo nuevas competencias. Es desde esa práctica o ejercicio de evaluación heterogénea, marcada por distintos usos, desde donde debemos partir para establecer principios, criterios y estándares de consenso, así como precisar las competencias necesarias de los evaluadores. La oferta de procesos de desarrollo de capacidades deberá pues ajustarse a estas competencias y habilidades necesarias para evaluar en la diversidad.

De hecho, en el año 2008 Preval abre las puertas a nuevos paradigmas del profesional de la evaluación al incluir en su propuesta formativa módulos relativos a herramientas de facilitación y de coaching con su “Programa de Formación de Facilitadores en metodologías Innovadoras de Evaluación”. Una experiencia de formación muy relevante y pionera ha sido el de Lùcia Calil en Brasil con la “Formación de Monitores”.  El enfoque en el que se enmarcan estas propuestas formativas conciben al profesional que actúa en procesos de Seguimiento y Evaluación como un facilitador de procesos participativos, capaz de catalizar aprendizajes y de contribuir a generar procesos sociales de construcción de conocimientos, a partir de la reflexión, el análisis y el intercambio en grupo o en comunidad con las y los actores, que promuevan aprendizajes y que movilicen la energía de los seres humanos y los sistemas sociales participantes.

Si bien no son las únicas competencias y habilidades a desarrollar, ni tampoco el Seguimiento y Evaluación es la única área de aplicación de la evaluación, quisiera comenzar la reflexión sobre el texto de ECDG haciendo una pregunta: ¿qué competencias son claves para el evaluador en sus diferentes roles y contextos? ¿Cuáles son prioritarias?

^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

Today we have as a guest blogger my friend and colleague Emma Rotondo, coordinator of PREVAL-the Regional Platform of Evaluation Capacity Building in Evaluation and Systematization of Latin America and the Caribbean. Emma, who is an anthropologist, evaluator and coach, is working on capacity development processes associated with organizational knowledge management. After reading a relevant text of the Evaluation Capacity Development Group (based on an international workshop that our blogger friend from Evaluateca made one and two posts), Emma is sharing with us her thoughts and questions. ECDG is one of the supporting partners of the EvalPartners initiative, which I presented in Spanish here

Thanks Emma!

……………………………….

I want to share some reflections on evaluation capacity development from the text “An International Workshop Agreement on Evaluation Capacity Development ” (Evaluation Capacity Development Group, ECDG). This text comes from the International Workshop on Evaluation Capacity Development held from October 17th to 21th 2011  in Geneva (Switzerland). The workshop arrived at several conclusions, the main being

“there is a great need for capacity building in evaluation without a consensus on how”.

“….stand alone, piece–meal and one¬off assistance funded by donors had not been able to adequately develop and sustain evaluation capacity. …”

“Many have considered ECD to be synonymous with training of individuals.”

Subsequent text on key principles takes into account independence, relevance, usefulness, and integration. Workshop participants determined that evaluation capacity development (ECD) involves activities and processes that help create, strengthen, and sustain evaluation for individuals, teams, groups, networks, communities, organizations, sectors, countries and regions.

In this regard, I believe that there is no consensus on how to develop it because of its multidisciplinary and heterogeneous practice in different contexts, actors, and processes. It may be an internal or external evaluation, thematic or according to the cycle of the program/ project, including monitoring and evaluation systems, organizational, or community projects. Also evaluators can facilitate assessment processes that feed into knowledge management systems. The evaluative dimension associated with social learning processes also provides new perspective in evaluation professional practice. Therefore their products, types and uses are highly situational.

It is from this heterogeneous nature, characterized by different uses, from which we must start to develop principles, criteria and standards of consensus and define the professional competences required. The tender process for capacity building must comply with these competencies and skills necessary to assess diversity.

The debate on how to develop capabilities has some background in the region of Latin America. A proposal with approaches, steps and skills to develop specific monitoring and evaluation systems was created by Preval and about 25 evaluators in 2005. This reflection expressed that evaluators require not only technical skills with economic and social research tools, but it is also essential to develop skills in facilitation and coaching, among others. The text of Preval”The monitoring and evaluation systems, approaches and steps for its design and success factors”   summarizes these considerations.

In fact Preval in 2008 opened to new paradigms of professional evaluation to include in its proposal training modules, facilitation tools and coaching with its “Facilitator Training Program in Innovative Assessment Methodologies“. A very relevant experience and training has been pioneered by Lucia Calil in Brazil with the “Formation of Monitors”  which aims to improve monitoring, how to ask questions, listen and interpret events and situations.

These courses on formative programmes are part of professional training designed to contribute to monitoring and evaluation systems as a facilitator of participatory processes capable of catalyzing learning and contributing to the generation of new social knowledge arising from critical reflection, analysis and sharing in groups mobilizing the energy of human beings and social systems involved.

These ideas are not the only skills and abilities to develop evaluation competences and to start reflection about the ECDG text of ECD. I invite others to ask some questions: what skills are key to the evaluator in their different roles and contexts? What are competences and formative priorities?

Developmental Evaluation: una breve introducción

En diversos ámbitos de las intervenciones de desarrollo ha venido teniendo mucha fuerza el trabajo sobre la noción de “mejores prácticas”. La misma refiere a determinadas iniciativas (proyectos, programas) que son identificadas como valiosas,  positivas, y dignas de ser replicadas.  De ese modo, dichas prácticas son rápidamente convertidas  en estándares, con la expectativa de alcanzar cierta escala e ir más allá de la “práctica” inicial.

Esto presenta diversos problemas, entre los cuales encontramos claramente que los estándares (como tales) tienden a desprenderse de su contexto de origen, y pasan a ser entendidos como cuasi-universales, vale decir, aplicables en todo ámbito y tiempo, por distante que sea con aquel que le dio origen.  Además de implicar que efectivamente sabemos cuál es la mejor manera de hacer las cosas, y de incluso desalentarnos a buscar otras maneras de hacerla, un punto crítico apunta a la complejidad: no siempre sabemos porqué algo funciona, aunque lo haga exitosamente.

 Ya comentamos anteriormente cómo la ciencia de la complejidad  puede aportar valiosos insumos y perspectivas enriquecedoras para entender el enmarañado proceso de cambio social y del desarrollo. La perspectiva de la complejidad facilita superar la visión de considerar a la pobreza, la vulnerabilidad, y la enfermedad como rompecabezas, y a las organizaciones de desarrollo como las piezas que faltan para completarlo. Esto, además de dar a las intervenciones externas una mayor importancia de la que tienen, distorsiona la naturaleza de los problemas que enfrentamos, presentando de manera simple el flujo del desarrollo. En lugar de abordar e involucrarnos con la complejidad, la misma es descartada o relegada a un lugar marginal, lo que es facilitado por las herramientas y técnicas que muchas veces usamos. El punto clave es que tratamos a las cosas complejas como si fueran simplemente complicadas.

Ante esto, recientemente han ido surgiendo enfoques y métodos de evaluación orientados a reconocer el carácter complejo de distintos contextos de implementación de programas y políticas. Entre ellos me parece que tres aportes infaltables son los siguientes: Purposeful Program Theory , de Sue Funnell y Patricia Rogers,  Systems Concepts in Action, de Bob Williams y Richard Hummelbruner, y Developmental Evaluation, de Michael Quinn Patton.

El enfoque de Patton (quien aquí comentó sobre tendencias actuales de la evaluación) está explícitamente orientado a articularse y apoyar procesos de desarrollo emergentes, innovadores y transformacionales. De algún modo, procura atender a la necesidad de evaluar un programa mientras el mismo se está desarrollando, en el sentido de que se está generando y configurando en su mismo desarrollo. Entonces, en ese contexto, aparece la necesidad de adecuar el enfoque de evaluación, respondiendo a diversas demandas: dar cuenta hacia los administradores y/o financiadores de resultados e impactos que se hubieran predeterminados, a la vez que requiere generar aprendizajes y lecciones de la experiencia en curso.  ¿Qué sugiere Patton que se puede hacer? Algo de lo siguiente:

  • Documentar los principios que impulsan el programa,  y utilizarlos  para organizar la puesta en acto en otros escenarios donde se va a desenvolver.
  • Identificar los factores que dan cuenta de que determinada área está lista para ejecutar el programa.
  • Compartir las lecciones aprendidas con los actores o interesados principales (los stakeholders)  en áreas de implementación posibles.

El punto es que la Developmental Evaluation no es solamente difícil de traducir (¿evaluación en desarrollo?), sino que es problemática en cuanto atiende a un conjunto complejo de condiciones y resultados que, en gran medida, desafían la ortodoxia en investigación y evaluación.  Patton es muy conocido por diversos aportes, entre los cuales resalta su proceso de evaluación focalizada en la utilización.  En este nuevo giro de tuerca, Patton hace uso de conceptos del paradigma de la complejidad para dar cuenta de situaciones de dinamismo y novedad, incertidumbre y construcción en proceso.  Y si bien en aquel enfoque brindó una guía o serie de pasos a seguir, estos ahora no están tan claramente estipulados. Justamente, no podría haber una “receta” para una metodología orientada a abordar la complejidad, con atención a la emergencia de nuevos patrones,  la tarea de darles sentido  para entenderlos en el contexto de su aparición, así como a rescatar al contexto de generación de los descubrimientos. Estos elementos caracterizan y distinguen a la Developmental Evaluation de otros enfoques de investigación y evaluación.

Valgan estas pocas líneas para una primera aproximación a este enfoque. La presentación in-extenso de Developmental Evaluation puede estudiarse en el libro homónimo. Y si quieren ver y escuchar un par de presentaciones del mismo Patton dando cuenta del enfoque y su articulación con los contextos de complejidad, pueden visitar My M&E y tendrán acceso a la grabación de dos video-conferencias y sus respectivas presentaciones:  la primera de ellas es (justamente) sobre la Developmental Evaluation, mientras que la segunda apunta a  How to evaluate interventions in complex dynamic environments.

Una inquietud final que me surge, la cual seguramente valdría la pena explorar, es cuáles son los puntos de contacto y distancia entre el enfoque de Patton y los aportes que el movimiento de la sistematización ha realizado en América Latina? Quizás algun@ de los amig@s del grupo Sistematización y Evaluación pueda darnos algunas pistas en los comentarios…

 

ACTUALIZACION:

Michael Q. Patton tuvo la gentileza de leer este post, y me envió la siguiente comunicación:

Pablo,
 
Thank you for sharing your posting.  I had a colleague translate it for me over the phone.  Very impressive and useful.
 
Mucho gracias,
 
Michael
Michael Quinn Patton
Utilization-Focused Evaluation
Saint Paul, MN
Seguir

Recibe cada nueva publicación en tu buzón de correo electrónico.

Únete a otros 1.522 seguidores