Entonces, finalmente, ¿qué es “#evaluación”?

La invitación hecha por el colega y amigo Fidel Arévalo para dictar un curso sobre “Principios epistemológicos de la Evaluación”, en el marco del Diplomado en  Monitoreo y Evaluación de Políticas Públicas (SEGEPLAN y Universidad de San Carlos de Guatemala) me permitió volver a la cuestión fundamental de la conceptualización de la evaluación.  Y el término fundamental no es caprichoso, sino que apunta al corazón de la disciplina (o transdiciplina, al decir de Michael Scriven).

En el muy recomendable libro Fundamentals issues on Evaluation, sus editores comentan que en el campo de la evaluación existen temas recurrentes, problemas y asuntos que periódicamente emergen de nuevas maneras para llamar nuestra atención.  Estos asuntos fundamentales son las preocupaciones subyacentes, los problemas o las elecciones que continuamente re-aparecen bajo distintas apariencias a lo largo de los trabajos de evaluación. Por su misma naturaleza, son cuestiones que nunca terminan de ser resueltas completamente, sólo son “cerradas” de modo temporal.

Algunas de las preguntas que estructuran el libro, y que ejemplifican esta cuestión de los asuntos fundamentales de la evaluación, son las siguientes:

  • ¿Para qué se debe realizar la evaluación? ¿Para mejorar los programas? ¿Para influir en la toma de decisiones? ¿Para proteger al público? ¿Para resolver problemas sociales? ¿Para promover la diversidad social?
  • ¿Cuál es el rol social (o los roles sociales) adecuado(s) para el evaluador? ¿Cómo profesional? ¿Cómo investigador? ¿Cómo profesor? ¿Cómo defensor? ¿Cómo facilitador? ¿Cómo juez?
  • ¿Cómo pueden los actores que son parte interesada (los stakeholders) involucrarse  en los estudios de evaluación? ¿Cómo clientes, participantes, colaboradores, como ciudadanos empoderados?
  • ¿Qué debemos considerar como pruebas aceptable para elaborar decisiones evaluativas?
  • ¿Cómo se llega a la comprensión más válidas de calidad en la evaluación? ¿Vía los experimentos controlados? ¿Vía la deliberación moral? ¿Vía interpretaciones fenomenológicas?
  • ¿Cuál es la forma más efectiva para garantizar la calidad de la práctica de la evaluación?

Interrogantes que, como tales, merecieron su indagación en un volumen extenso y profundo.

Evaluacion vs Investigacion

Para el curso “Principios epistemológicos en evaluación” me detuve particularmente en el capítulo de @SandraMathison “¿Cuál es la diferencia entre Evaluación e Investigación -Y porqué nos importa?” No pretendo reproducir el desarrollo que hace Sandra en su capítulo, pero sí marcar una idea-fuerza que ella trabaja muy bien: muchas veces, para señalar las diferencias entre investigación y evaluación, apelamos a caricaturas de las mismas.  Esto sucede del mismo modo que aquel personaje de la empleada pública que hacía el cómico argentino Antonio Gasalla, que antes las críticas por el perfil extremo en mal humor, irresponsabilidad y vagancia que había dado a la misma, se defendía diciendo: Es que exagero para fijar la idea ;-)

Pues bien, algo de eso existe también en nuestros acercamientos para diferenciar investigación y evaluación. Con el riesgo de que no siempre somos conscientes del factor “exageración”, lo cual puede ser entendido como polarización e incluso como caricaturización. En tal sentido, uno puede preguntarse hasta qué punto nos sirve simplemente (o nos alcanza con) recitar la  clásica definición de evaluación del maestro Scriven:

Scriven definition EVAL La puerta de entrada que tomé para abordar la conceptualización de la evaluación fue, justamente, su contraste con la investigación social. Para ello le dedicamos un buen tiempo a discutir las siguientes proposiciones:

  • La evaluación particulariza, la investigación generaliza.
  • La evaluación está diseñada para mejorar algo, mientras que la investigación está diseñada para demostrar algo.
  • La evaluación proporciona las bases para la toma de decisiones, la investigación proporciona la base para elaborar conclusiones.
  • La evaluación:-¿y qué?; La investigación:-¿qué es eso?
  • La evaluación-¿qué tan bien funciona?; La investigación- ¿cómo funciona?
  • La evaluación es acerca de lo que es valioso, la investigación es sobre lo que es.

La discusión fue sumamente enriquecedora, y sobre el final la conclusión fue… que así son las cosas, nomás :-) Volvimos al punto inicial de entender la conceptualización de la evaluación como uno de esos asuntos fundamentales (recurrentes, polémicos, sólo temporalmente resueltos) de la disciplina. Apoyando esta “fragilidad?”, comenté el reciente trabajo liderado por Michael Quinn Patton referido a la definición de evaluación, encargado por la Asociación Americana de Evaluación. Dice Patton que han arribado “a un documento vivo, en constante revisión y actualización, pero nunca convertido en un dogma o en una declaración oficial de toma de posición”. Además, comenta que el trabajo de la comisión se vio constantemente tensionado por comentaristas diversos que consideraban que había elementos de más, o de menos, en los avances de la definición de evaluación. Y la discusión de algún modo continúa, por supuesto. La misma  @SandraMathison en su blog E-Valuation  hace su descargo de aspectos que a su ver no deberían estar ausentes.

Entonces, ¿en qué quedamos sobre QUÉ es (y no es) finalmente la evaluación? Pues que lo seguimos pensando, reflexionando, y debatiendo. Y esto no atenta, sino que consolida, la seriedad de la práctica evaluativa. Es posible que refleje su juventud (¿mi edad, justamente? :-) ), pero con seguridad es muestra de su vitalidad. Brinda de algún modo un ímpetu especial a los involucrados en el campo de la evaluación para reflexionar teórica y empíricamente sobre qué hacemos y porqué.

Para pensarlo desde otro lugar, sumo en esta entrada los geniales aportes de @ChrisLysy, quien desde su blog FreshSpectrum nos hace reír y pensar (y viceversa) sobre el mundo de la evaluación. Chris es el generador (también!) de EvalCentral  una plataforma que captura y canaliza todo blog sobre evaluación que ande dando vueltas por ahí. Y como Chris gentilmente me permitió usar sus dibujos y textos, vaya desde aquí mi público agradecimiento ;-)

Yo sé que nuestro proyecto funciona Un millon de views en Youtube

Viernes Light: África por Noruega

En el año 1985, Michael Jackson y Lionel Richie escribieron  y luego grabaron -junto a decenas de artistas que conformaron el grupo USA for Africa-el super éxito We are the World, We are the Children. El propósito de la iniciativa fue acompañar la campaña de apoyo contra la hambruna en Etiopía de ese tiempo.  La canción y su video fueron un éxito  sin parangón, y junto a ello… reforzaron estereotipos sobre África y sus problemas.

Más recientemente, la sensibilidad de algunos oriundos de África les hizo pensar que otros también sufrían penas y dolores, y que algo se debía hacer. Y para ello, lanzaron la campaña “África para Noruega“, la cual les comparto a continuación (subtitulada en Inglés, una de ellas se puede subtitular en castellano ubicando el botón rectangular con dos líneas adentro).  Luego de ver estos videos, pueden visitar la página oficial detrás de esta campaña (Radi-Aid -¡fantástico nombre!), y leer la reflexión sobre el porqué de esta iniciativa:

Imaginen si cada persona en África viera este video “África para Noruega”, y que esa fuera la única información que pudieran tener acerca de Noruega. ¿Qué pensarían ellos de Noruega?

.

¿Qué es lo realmente imprescindible en esta #Navidad?

De los amigos de la Fundación Khanimambo, #regalosimprescindibles

 

Viernes Light: la perspectiva es todo

Fuente: Εσύ που ήσουν [Facebook]

Viernes light: evaluando el programa de ayuda “Regalos de Navidad”

Desde hace algunos años ha ganado terreno un renovado interés por la evaluación de impacto de proyectos y programas, tanto por aquellos generados desde el ámbito público como desde instancias no gubernamentales. Al mismo tiempo, dicho interés ha estado acompañado de cierta polémica  (todavía en curso) sobre la pertinencia y los alcances de la metodología de prueba controlada aleatoria -RCT- (algo de ello reflexionamos hacia el final de otra entrada de este blog).

En esta última entrada del año 2011 les comparto una reflexión irónica sobre los problemas que aparecieron al tener que evaluar un (ficticio) programa de ayuda denominado “Regalos de Navidad”. Los créditos por la humorada corresponden al NYU Development Research Institute.

-

Problemas en la evaluación del programa Regalos de Navidad

  • Falta de una metodología rigurosa: Lamentablemente, la evaluación hubo de llevarse a cabo sin la necesaria prueba de control aleatoria de  los regalosde Navidad, la que no se completó según lo previsto. Los gerentes de proyecto hicieron un mal trabajo explicando las ventajas de la participación en la prueba aleatoria al grupo control.
  • Falta de focalización: El programa de  ayuda “Regalos de Navidad”  no estaba suficientemente bien dirigido a los pobres. Los destinatarios de regalos de la Navidad incluyeron de manera indiscriminada a regiones acomodadas, grupos, géneros, e individuos.
  • Falta de modalidades eficientes: los regalos de Navidad parecían consistir en gran medida en ayuda en especie. Esto contradice la abundante evidencia existente sobre las  mejores prácticas de la Ayuda, las que hacen hincapié en las transferencias de dinero efectivo como modalidad superior a la ayuda en especie. Hubo algunos casos de # SWEDOW (“cosas que no quiero”) en las transferencias en especie,  el peor tipo posible de ayuda, que incluyeron por lo general  pasteles de frutas.
  • Falta de sincronización eficiente: Al contrario de la recomendación de que la Ayuda debe consistir en un flujo uniforme y predecible, el programa de Navidad se concentra mayormente  en un solo día, con algunos pocos retrasos impredecibles que van desde unos pocos días (“retrasos en las entregas”) hasta meses (“regalos hechos a mano “).
  • Falta de flujos netos: Los evaluadores encontraron en los beneficiarios de los regalos de Navidad una conducta que frustra el propósito del programa de ayuda, pues  los receptores  actúan como donantes de sus propios donantes, lo que reduce su consumo de la ayuda neta. Este comportamiento contraproducente fue explicado por los  beneficiarios con conceptos no estandarizados tales como “Hay más dicha en dar que en recibir”.

Felices fiestas, y nos leemos nuevamente en el 2012!

Viernes Light: Cambiar el mundo…

“Cuando uno tiene 18 años claro que quiere cambiar todo el mundo!”, me dijo un cura amigo hace mil años (bueno, poco más de 25 ) . La frase no era nada original, pero de alguna manera quedó resonando en mi cabeza por mucho tiempo y por diversos caminos, adquiriendo matices particulares con cada vuelta dada alrededor del sol.

Luego, el trabajo y el estudio de iniciativas de desarrollo, la práctica de la evaluación, la docencia y la capacitación, hicieron que esa frase nunca fuera recuerdo, activándose de distintas maneras. Descubrí en mí y  en tantos colegas y amigos trabajando en estos temas, los riesgos de la ingenuidad, los alertas del escepticismo, y la ambigüedad del cinismo.

Quizás por eso el dibujo del genial Quino me hizo sonreír con una mueca amarga…

-

Viernes light: ¡Dad a los pobres todo lo que tengáis!

Las intervenciones de desarrollo (en sus múltiples presentaciones) se insertan en procesos sociales en curso, pretendiendo  transformarlos. Le toca a la evaluación dar cuenta de la transformación realizada. Ciertas perspectivas evaluativas parecen conformarse con realizar un chequeo de aquello planificado con lo efectivamente realizado. Sin embargo, como ya lo marcaba hace varias décadas Albert Hirschman, no se debe descuidar analizar los efectos no deseados de la intervención social planificada (en sintonía con la evaluación, hay aportes muy valiosos de Michael Scriven al respecto).

En estrecha relación con ello, algunos blogs vienen trabajando recurrentemente en señalar que las buenas intenciones no alcanzan, a la vez que es necesaria una reflexión sobre el voluntariado y el trabajo amateur.  Para sumarnos a esa reflexión con una sonrisa, les comparto hoy una historia publicada por el brillante blog Saturday Morning Breakfast Cereal , la cual me he permitido traducir artesanalmente.

Que la disfruten!

 

Viernes Light: Donar y Apadrinar -sorpresas nos da la vida-

(english subtitles in the second video ;) )

El valor de donar y apadrinar se explica solo en este video…

La Fundación Khanimambo nos pregunta si a veces nos  cuesta estar de buen humor… Como seguramente es así, nos invitan a asociarnos a ellos (qué buena frase!) y nos harán llegar sus donativos de felicidad.

Los podemos seguir en Facebook, Twitter, y YouTube. Y si te hicieron sonreir y pensar, te invito a que compartas en tus redes esta idea fresca y cuestionadora. #dejateayudar

 

-

Viernes light: el Think Tank de Ghana para el 1º mundo

De acuerdo a (la tía) Wikipedia, Think tank es una expresión inglesa muy utilizada en castellano, traducible literalmente como “tanque de pensamiento“, la cual se ha intentado adaptar con distintas expresiones que no han alcanzado un uso extenso («laboratorio de ideas», «fábrica de ideas», «centro de pensamiento», «depósito de ideas», etc.).  La expresión refiere por lo general a institutos de investigación de las ciencias sociales, con vínculos explícitos o implícitos hacia partidos políticos y grupos de presión, y cuya actividad clave consiste en la reflexión intelectual sobre asuntos estratégicos de política y economía.  Una reflexión sobre su historia y características puede verse también aquí.

Algunos ejemplos interesantes son los trabajos que hace el ODI en el blog On Think Tanks (en este caso, con una artículo sobre complejidad), la reflexión sobre los escasas instituciones que trabajan en el campo de lo social en España, y demás.

Pues bien, uno podría preguntarse qué sentimos si el Think Tank viene del Sur global, como por ejemplo de Ghana…

El ThinkTank Unidad Móvil de Ghana es un trailer con forma de lágrima, construido y diseñado para viajar al llamado “Primer Mundo”, donde recoge temas de interés de varias comunidades locales. Los problemas recogidos son luego enviados a centros de investigación en Ghana, Cuba, El Salvador, México, Serbia, Irán, Afganistán  y/u otros países, donde  se desarrollan estrategias de acción. El trailer regresa entonces a las comunidades antes visitadas anteriormente, esta vez como una estación de trabajo, colaborando con los miembros de la comunidad para aplicar las estrategias recibidas de esta red mundial de grupos Think Tak -ya sea que parezcan poco práctico o bien brillantes para las comunidades afectadas.  Ghana ThinkTank  invierte el flujo habitual de los conocimientos técnicos de países “desarrollados” a los “en desarrollo” de una manera lúdica y provocadora.

El brillante texto y la iluminadora  fotografía vienen del blog Africa is a Country.  Y en un ejercicio similar de Ciencia Ficción (¿o no tanto?), los amigos de 3.500 millones se preguntan ¿Y si España empezase a recibir ayuda al desarrollo?

Buen finde!

ACTUALIZACION:

Luego de publicar el post me encontré con la página oficial de Ghana Think Tank, su cuenta en twitter (@GhanaThinkTank), y un video imperdible!

Viernes light: apuntándole a los Objetivos del Milenio

Hoy estamos a 4 años y 78 días del 2015, fecha para la cual las Naciones Unidas (UN) se propuso alcanzar los Objetivos de Desarrollo del Milenio.  El conteo lo va llevando el sitio MDG Monitor, el cual presenta varias herramientas para ir siguiendo de cerca los avances (o retrocesos) que se van dando respecto a los ocho grandes objetivos establecidos.

Una visión alternativa la brinda Gado Mwampembwa, humorista gráfico:

(recibido vía Aid on the Edge of Chaos)

Seguir

Recibe cada nueva publicación en tu buzón de correo electrónico.

Únete a otros 1.465 seguidores