Herramienta para Medir el Nivel de Participación en una #Evaluación. #eval

bouton_evalJunto a las colegas Rosa Parés Canela y Julia Brandiarán tuvimos recientemente la oportunidad de colaborar en la traducción al Español de la Herramienta para Medir el Nivel de Participación en una Evaluación (ya existía versión en Inglés y Francés de la misma) . Esta herramienta fue desarrollada y validada empíricamente por  Pierre-Marc  Daigneault y Steve Jacob a fin de medir el nivel de participación de distintos stakeholders en una evaluación dada.

participaciones En sus trabajos analíticos, los autores sostienen que la ontología de la evaluación participativa no ha sido lo suficientemente analizada, por lo que el concepto resulta ambiguo y pobremente teorizado, por lo que se explica la ausencia de instrumentos para su valoración. Por tanto, esta herramienta de medición del nivel de participación surge como respuesta a ese vacío, y como expresión de una interesante discusión conceptual. 

Me ha parecido un acercamiento valioso y profundo, el cual procuraré integrar en un nuevo curso sobre Seguimiento y Evaluación Participativa, como el que preparamos con la colega Gloria Vela en el marco de la iniciativa EvalPartners

La herramienta ya está disponible para su consulta y uso en la página de PerƒEval, laboratorio de investigación de l´Université Laval acerca del desempeño y evaluación de la acción pública. 

Quedan tod@s invitados a visitarla y utilizarla…

Gestión del Conocimiento para el Desarrollo – #KM4dev & #Eval

(fragmento del EDITORIAL  del Número especial 2014 en castellano y portugués de la revista KM4Dev)

La revista KM4Dev es una revista sobre gestión del conocimiento para el desarrollo, de acceso abierto y revisada por pares. Es un producto de KM4Dev, una comunidad de práctica de profesionales que trabajan en el campo de la gestión del conocimiento para el desarrollo, en todo el mundo.

gestion conocimientoDesde 2013 la revista vuelve a publicarse de manera abierta y en línea para facilitar el acceso y la publicación de materiales inéditos a quienes trabajan en temas de desarrollo. Como parte de este esfuerzo, y considerando el crecimiento en la comunidad de miembros de países de habla hispana y portuguesa, la comunidad ha propuesto que este Número 1 del Volumen 10 de la revista sea una edición especial en estas lenguas, para favorecer la difusión, el intercambio y la reflexión de experiencias en estos dos idiomas, de manera abierta y participativa.

Por ello, y través de diversas redes, se hizo un llamado a profesionales en gestión del conocimiento (GC) para el desarrollo a contribuir con artículos, en español y portugués, que aporten al debate en esta disciplina. De 16 propuestas recibidas, este número especial de la revista presenta 10 contribuciones entre las que se incluyen dos artículos, seis estudios de caso y una historia personal. Nueve de las contribuciones son en castellano y una en
portugués.

Dada la riqueza, el dinamismo y la diversidad del continente, estas son cifras muy  modestas. Así es que estos 9 artículos son apenas una aproximación a lo que sucede en la región de Latinoamérica y el Caribe en este campo, pero es a la vez un llamado a promover más estudios y más análisis de lo que se viene realizando por diversos actores públicos y privados.

A partir de la breve reseña de cada uno de los elementos que conforman este ejemplar de la  revista KM4DEV, el lector y la lectora puede identificar la riqueza y diversidad de la discusión que se está generando en la región sobre el tema de la gestión de conocimiento.

——————————   —————- —————-

Pues bien, hasta aquí una parte del Editorial de esta revista, en la cual tuvimos junto a Esteban Tapella la oportunidad de participar con nuestro artículo Evaluación y Aprendizaje desde la práctica: la sistematización de experiencias.  En dicho trabajo,  “además de destacar brevemente las raíces de la sistematización de experiencias en América Latina, así como sus similitudes con ciertas tendencias en el campo de la gestión del conocimiento (KM) y la evaluación, el artículo presenta conceptos básicos y consideraciones metodológicas sobre la sistematización de experiencias de desarrollo. Reconociendo la existencia de  diversos enfoques metodológicos de la misma, el artículo presenta el método de  base que se ha aplicado en diferentes proyectos, basado tanto en la experiencia  de los autores como en el trabajo de otros practicantes.”

Quedan pues invitados e invitadas a leer en este número la diversidad de propuestas presentes.  Más allá de preferencias personales por un tema u otro, resulta sin dudas un número muy valioso que da cuenta del esfuerzo de trabajo en la Gestión de Conocimiento en la región de América Latina. 

Vaya también, y por supuesto, un agradecimiento especial para el equipo editorial, varios de ellos muy estimados colegas y amigos: Denise Senmartin, Sophie Alvarez, Viviana Palmieri, Dora Arévalo, Margarita Baena, Kemly Camacho, Caridad Camacho, Teobaldo Pinzás y Camilo Vila.

 

Entonces, finalmente, ¿qué es “#evaluación”?

La invitación hecha por el colega y amigo Fidel Arévalo para dictar un curso sobre “Principios epistemológicos de la Evaluación”, en el marco del Diplomado en  Monitoreo y Evaluación de Políticas Públicas (SEGEPLAN y Universidad de San Carlos de Guatemala) me permitió volver a la cuestión fundamental de la conceptualización de la evaluación.  Y el término fundamental no es caprichoso, sino que apunta al corazón de la disciplina (o transdiciplina, al decir de Michael Scriven).

En el muy recomendable libro Fundamentals issues on Evaluation, sus editores comentan que en el campo de la evaluación existen temas recurrentes, problemas y asuntos que periódicamente emergen de nuevas maneras para llamar nuestra atención.  Estos asuntos fundamentales son las preocupaciones subyacentes, los problemas o las elecciones que continuamente re-aparecen bajo distintas apariencias a lo largo de los trabajos de evaluación. Por su misma naturaleza, son cuestiones que nunca terminan de ser resueltas completamente, sólo son “cerradas” de modo temporal.

Algunas de las preguntas que estructuran el libro, y que ejemplifican esta cuestión de los asuntos fundamentales de la evaluación, son las siguientes:

  • ¿Para qué se debe realizar la evaluación? ¿Para mejorar los programas? ¿Para influir en la toma de decisiones? ¿Para proteger al público? ¿Para resolver problemas sociales? ¿Para promover la diversidad social?
  • ¿Cuál es el rol social (o los roles sociales) adecuado(s) para el evaluador? ¿Cómo profesional? ¿Cómo investigador? ¿Cómo profesor? ¿Cómo defensor? ¿Cómo facilitador? ¿Cómo juez?
  • ¿Cómo pueden los actores que son parte interesada (los stakeholders) involucrarse  en los estudios de evaluación? ¿Cómo clientes, participantes, colaboradores, como ciudadanos empoderados?
  • ¿Qué debemos considerar como pruebas aceptable para elaborar decisiones evaluativas?
  • ¿Cómo se llega a la comprensión más válidas de calidad en la evaluación? ¿Vía los experimentos controlados? ¿Vía la deliberación moral? ¿Vía interpretaciones fenomenológicas?
  • ¿Cuál es la forma más efectiva para garantizar la calidad de la práctica de la evaluación?

Interrogantes que, como tales, merecieron su indagación en un volumen extenso y profundo.

Evaluacion vs Investigacion

Para el curso “Principios epistemológicos en evaluación” me detuve particularmente en el capítulo de @SandraMathison “¿Cuál es la diferencia entre Evaluación e Investigación -Y porqué nos importa?” No pretendo reproducir el desarrollo que hace Sandra en su capítulo, pero sí marcar una idea-fuerza que ella trabaja muy bien: muchas veces, para señalar las diferencias entre investigación y evaluación, apelamos a caricaturas de las mismas.  Esto sucede del mismo modo que aquel personaje de la empleada pública que hacía el cómico argentino Antonio Gasalla, que antes las críticas por el perfil extremo en mal humor, irresponsabilidad y vagancia que había dado a la misma, se defendía diciendo: Es que exagero para fijar la idea ;-)

Pues bien, algo de eso existe también en nuestros acercamientos para diferenciar investigación y evaluación. Con el riesgo de que no siempre somos conscientes del factor “exageración”, lo cual puede ser entendido como polarización e incluso como caricaturización. En tal sentido, uno puede preguntarse hasta qué punto nos sirve simplemente (o nos alcanza con) recitar la  clásica definición de evaluación del maestro Scriven:

Scriven definition EVAL La puerta de entrada que tomé para abordar la conceptualización de la evaluación fue, justamente, su contraste con la investigación social. Para ello le dedicamos un buen tiempo a discutir las siguientes proposiciones:

  • La evaluación particulariza, la investigación generaliza.
  • La evaluación está diseñada para mejorar algo, mientras que la investigación está diseñada para demostrar algo.
  • La evaluación proporciona las bases para la toma de decisiones, la investigación proporciona la base para elaborar conclusiones.
  • La evaluación:-¿y qué?; La investigación:-¿qué es eso?
  • La evaluación-¿qué tan bien funciona?; La investigación- ¿cómo funciona?
  • La evaluación es acerca de lo que es valioso, la investigación es sobre lo que es.

La discusión fue sumamente enriquecedora, y sobre el final la conclusión fue… que así son las cosas, nomás :-) Volvimos al punto inicial de entender la conceptualización de la evaluación como uno de esos asuntos fundamentales (recurrentes, polémicos, sólo temporalmente resueltos) de la disciplina. Apoyando esta “fragilidad?”, comenté el reciente trabajo liderado por Michael Quinn Patton referido a la definición de evaluación, encargado por la Asociación Americana de Evaluación. Dice Patton que han arribado “a un documento vivo, en constante revisión y actualización, pero nunca convertido en un dogma o en una declaración oficial de toma de posición”. Además, comenta que el trabajo de la comisión se vio constantemente tensionado por comentaristas diversos que consideraban que había elementos de más, o de menos, en los avances de la definición de evaluación. Y la discusión de algún modo continúa, por supuesto. La misma  @SandraMathison en su blog E-Valuation  hace su descargo de aspectos que a su ver no deberían estar ausentes.

Entonces, ¿en qué quedamos sobre QUÉ es (y no es) finalmente la evaluación? Pues que lo seguimos pensando, reflexionando, y debatiendo. Y esto no atenta, sino que consolida, la seriedad de la práctica evaluativa. Es posible que refleje su juventud (¿mi edad, justamente? :-) ), pero con seguridad es muestra de su vitalidad. Brinda de algún modo un ímpetu especial a los involucrados en el campo de la evaluación para reflexionar teórica y empíricamente sobre qué hacemos y porqué.

Para pensarlo desde otro lugar, sumo en esta entrada los geniales aportes de @ChrisLysy, quien desde su blog FreshSpectrum nos hace reír y pensar (y viceversa) sobre el mundo de la evaluación. Chris es el generador (también!) de EvalCentral  una plataforma que captura y canaliza todo blog sobre evaluación que ande dando vueltas por ahí. Y como Chris gentilmente me permitió usar sus dibujos y textos, vaya desde aquí mi público agradecimiento ;-)

Yo sé que nuestro proyecto funciona Un millon de views en Youtube

Había una vez….. Evaluación y narración de historias

Publicado originalmente en
Evaluations That Make A Difference

La Verdad , desnuda y fría , había encontrado cerrada todas las puertas de la aldea.
Su desnudez asustaba a la gente.
Cuando la Parábola la encontró,
ella se acurrucó en un rincón, temblando y con hambre.
Compadeciéndose de ella, la Parábola la protegió y la llevó a su casa.
Allí, vistió  a la Verdad con la Narración , la calentó y la envió de nuevo.
Vestida con la Narración , la Verdad volvió a llamar a las puertas de los aldeanos
y fue recibida fácilmente en sus casas. Ellos la invitaron a comer en su mesa
y a calentarse junto al fuego.

Historia judía de enseñanza ( Annette Simmons, The Story Factor )

Las historias o narraciones son  auténticas expresiones humanas que nos transportan a la esencia de la experiencia. ¿Por qué las historias son tan poderosas? Hay varias razones para ello:

Las historias son una forma esencial de comunicación. Durante siglos, el intercambio de experiencias a través de historias ha sido un método fundamental de la comunicación humana. Historias populares y cuentos de hadas se transmiten de generación en generación a fin de compartir costumbres e ideas.

storytellingLas historias conllevan conexiones. Cuando escuchamos historias, nuestra imaginación añade imágenes y detalles que nos conectan con la historia. Nos solidarizamos con los personajes y situaciones de la historia porque entendemos los detalles de sus vidas.

Las historias son nuestra forma de pensar. Las historias son nuestro medio de explicar cómo funcionan las cosas. Ellas nos ayudan a entender nuestro lugar en el mundo, a crear nuestra identidad, y a definir y enseñar valores sociales.

Las historias proporcionan orden. Podría decirse que cada vez que se describe una experiencia (por ejemplo, un proyecto o un programa), estamos narrando una historia. Por tanto, es lógico utilizar la narración para transmitir cómo la evaluación ha “marcado la diferencia”. A través de una hábil narración, podemos aprender y aplicar las enseñanzas de los buenos evaluadores.

Nos conectamos a través de historias. La narración de historias es una de las mejores formas de enganchar a un público. La información se transmite aparentemente sin esfuerzo, a la vez que se refuerzan la comprensión y el aprendizaje. Los seres humanos somos realmente buenos en contar historias y aprender de ellas.

Las historias involucran a nuestro hemisferio cerebral derecho, y disparan nuestra imaginación. Al igual que al leer un buen libro o ver una película conmovedora, las historias dejan una marca en nosotros que dura mucho más tiempo que cualquier informe de hojas de cálculos o asignación de activos.

En el proyecto Evaluaciones que Marcan la Diferencia (en Inglés, con botón de traducción al Español), nos proponemos explorar cómo las narrativas y el relato de historias pueden facilitar la transferencia de conocimientos y el aprendizaje. Creemos que la narración puede tener un profundo impacto en los diferentes actores o partes interesadas en los procesos de evaluación. La narración de historias permite a los análisis  cobrar vida en un contexto emocional que resulta relevante para los tomadores de decisiones.

Creo que el campo de la evaluación ha subestimado el poder de una buena historia. Tendemos a hablar de estrategias, números y puntos de referencia, en lugar de interacciones humanas, experiencias y vida de actores clave. Este proyecto -subtitulado Historias de Evaluación de Todo el Mundo- tiene como objetivo profundizar en el poder de las historias al interior del campo de la evaluación.

En una entrada en el blog del proyecto , Ramón Crespo preguntó: ¿Qué pasa si las evaluaciones que marcan la diferencia son aquellas que crean las condiciones para el cambio? Ésta es una pregunta importante, por cierto. Justamente, cuando Ramón elabora su respuesta, hace referencia a elementos centrales de la narración de historias . Él escribió :

Las evaluaciones pueden crear las condiciones para el cambio de muchas maneras diferentes :
Al dar voz a los que normalmente no tienen la oportunidad de expresar sus puntos de vista ;
Al desafiar a los responsables de programas con preguntas incómodas, conduciéndolos hacia la próxima etapa de su desarrollo organizacional ;
Al alentar la discusión de los resultados entre las partes interesadas, utilizando un formato abierto (por ejemplo, taller ) dirigido a promover el cambio en lugar de presentar un informe cerrado basado en las interpretaciones de un solo “experto”.

.
Voz , preguntas , discusiones … Elementos clave que seguramente tendremos presente al describir y narrar las evaluaciones que marcan la diferencia. ¡Los tendremos al tanto!

Viernes Light: primer cumpleaños de Better Evaluation (@BetterEval)

 

 

 

 

 

 

 

Mafalda_torta

Hace un año ya le dábamos la bienvenida aquí a la plataforma Better Evaluation. Desde entonces, no ha dejado de crecer cuanti y cualitativamente. Si yo debiera optar -entre tantos existentes- por algún espacio de información y formación en temas de Evaluación, sin duda que Better Evaluation estaría entre mis top five

El sitio está en estos días trabajando en un importante re-diseño que lo hará aún más amigable, permitiéndonos navegar con más claridad y certeza entre tanta oferta que regularmente presenta. Particularmente interesante para estar atento cada semana son los envíos de 52 weeks of Better Evaluation. Bien arriba y casi al centro, el botón amigo de Google Translator Captura de pantalla 2013-11-01 a la(s) 10.08.42nos permite traducciones dignas de la mayor parte de sus contenidos.

Por lo pronto, junto a la torta de cumpleaños que le hace llegar mi compatriota Mafalda, vaya también para todos la completa infografía que da cuenta de los hitos más importantes de la plataforma.

Feliz Cumpleaños, Better Evaluation,  ¡y qué cumplas muchos más!!!

 

 

52 weeks of BetterEvaluation  Week 43  Celebrating one year of BetterEvaluation   Better Evaluation

2015: Año Internacional de la Evaluación (#EvalYear)

Evalyear Logo Spanish PNG_300dpiHace pocas semanas atrás participé en la 3º Conferencia Internacional de Capacidades Nacionales de Evaluación, la que tuvo lugar en la enorme ciudad de Sao Paulo, Brasil. Entre diversas presentaciones y paneles, un lugar particularmente especial para mí fue la declaración por el conjunto de evaluadores y participantes de la conferencia del año 2015 como el Año Internacional de la Evaluación (vaya tarea…). El propósito clave de este movimiento es abogar y promover tanto la evaluación como las políticas informadas por la evidencia en los planos internacional, regional, nacional y local. Como ya muchos saben, esta idea ha sido un norte claro desde el nacimiento de la iniciativa EvalPartners, la cual ya reseñé antes aquí y aquí, y a la cual volveré seguramente durante un buen tiempo, máxime cuando tiene tantas acciones interesantes dando vueltas.

Ahora en particular quería centrarme un poco más en este llamado a potenciar el año 2015 como el Año Internacional de la Evaluación, para lo cual ya hay una página web directamente dedicada al tema, de la cual extraigo (y traduzco con cierta libertad ;-) ) algunas de sus ideas:

2015 es el año en que los Objetivos de Desarrollo del Milenio ( ODM) serán reemplazados por un nuevo conjunto de objetivos acordados a nivel internacional, con probabilidades de ser llamados Objetivos de Desarrollo Sostenible (SDG). Si bien los ODM impulsaron una visión global sobre el desarrollo humano y facilitaron su aplicación y seguimiento, una evaluación completa de lo que se ha logrado no se ha llevado a cabo hasta ahora.  En parte, esto se debe a que la información a nivel de los países para dicho examen no estaba disponible. En la actualidad se reconoce que las políticas y programas nacionales de desarrollo deben basarse en la evidencia generada por los sistemas de seguimiento y evaluación orientados por los mismos países (country-led), antes que dirigido por los donantes, asegurando al mismo tiempo la coherencia política a nivel regional y global.
Pero otras tendencias también son importantes. Las demandas ciudadanas por evidencia y una mayor rendición de cuenta de los gobiernos crece en movimientos de todo el mundo . Hay una oleada de abajo hacia arriba por dicha mayor rendición de cuentas, lo que está dando lugar a nuevas innovaciones para fortalecer y mantener a los hacedores de políticas como responsables. Esta respuesta de abajo hacia arriba (y sus herramientas de evaluación participativa , auditorías sociales , tarjetas de calificación de los ciudadanos , etc ) se está uniendo con otros enfoques a nivel internacional , incluyendo los  Objetivos de Desarrollo Sostenible y otros procesos, para crear espacios muy interesantes y con posibilidades. La creciente participación ciudadana en el monitoreo y la evaluación, sus demandas y su lucha por la transparencia, la rendición de cuentas , el cambio y la justicia , también justifican convertir al 2015 en el año de la evaluación.

Creo que es un paso más, e importante, para las instancias de la sociedad civil (y las organizaciones y redes de evaluación en particular) de fortalecer el trabajo en el campo de la evaluación, tal como se planteó en la Declaración de Chiang Mai, hace casi un año atrás.

Por tanto, me sumo a esta iniciativa desde el humilde lugar de este blog, situando en su lateral derecho el ícono del año internacional de la evaluación (#EvalYear para Twitter).

Reserved for #EvalYear spanish

A la vez, los invito a utilizar intensa y creativamente este ícono, colgándolo, compartiéndolo, imprimiendo y difundiendo por doquier (bueno, no exageremos tampoco… :-)El archivo gráfico para ello pueden encontrarlo  aquí.

 

A participação no V Seminario de Monitramento e Avaliaçao (Brasil)

rede BrasileiraA riesgo de que se me note en demasía cuánto me gusta Brasil, luego de haber presentado hace unos días a la Rede Brasileira de Monitramento e Avaliaçao, quiero hacer una breve mención a su muy próximo V Seminário Nacional. Continuando con la fantástica práctica de darle regularidad a los mismos, a fines de Septiembre de este convulsionado 2013, se reunirán en la bella ciudad de Campinas, y más concretamente en las fantásticas instalaciones de la Unicamp.

Y por si el entorno en sí mismo no fuera suficiente, el programa preliminar (en español, portugués e inglés) se convierte en el gancho que hacía falta. Finalmente podré participar en este Seminario, e intentaremos que las bellezas antes nombradas sirvan de incentivo (antes que de distracción ;-) ) para poder mandar novedades vía Twitter. Para los duros de oído -como un servidor- habrá traducción al español, como si faltara más para sumar incentivos.

Por tanto, amigas y amigos de tudo el mundo, será un placer encontrarnos por ahí!

Vseminario

Seguir

Recibe cada nueva publicación en tu buzón de correo electrónico.

Únete a otros 1.522 seguidores