La invitación hecha por el colega y amigo Fidel Arévalo para dictar un curso sobre “Principios epistemológicos de la Evaluación”, en el marco del Diplomado en  Monitoreo y Evaluación de Políticas Públicas (SEGEPLAN y Universidad de San Carlos de Guatemala) me permitió volver a la cuestión fundamental de la conceptualización de la evaluación.  Y el término fundamental no es caprichoso, sino que apunta al corazón de la disciplina (o transdiciplina, al decir de Michael Scriven).

En el muy recomendable libro Fundamentals issues on Evaluation, sus editores comentan que en el campo de la evaluación existen temas recurrentes, problemas y asuntos que periódicamente emergen de nuevas maneras para llamar nuestra atención.  Estos asuntos fundamentales son las preocupaciones subyacentes, los problemas o las elecciones que continuamente re-aparecen bajo distintas apariencias a lo largo de los trabajos de evaluación. Por su misma naturaleza, son cuestiones que nunca terminan de ser resueltas completamente, sólo son “cerradas” de modo temporal.

Algunas de las preguntas que estructuran el libro, y que ejemplifican esta cuestión de los asuntos fundamentales de la evaluación, son las siguientes:

• ¿Para qué se debe realizar la evaluación? ¿Para mejorar los programas? ¿Para influir en la toma de decisiones? ¿Para proteger al público? ¿Para resolver problemas sociales? ¿Para promover la diversidad social?
• ¿Cuál es el rol social (o los roles sociales) adecuado(s) para el evaluador? ¿Cómo profesional? ¿Cómo investigador? ¿Cómo profesor? ¿Cómo defensor? ¿Cómo facilitador? ¿Cómo juez?
• ¿Cómo pueden los actores que son parte interesada (los stakeholders) involucrarse  en los estudios de evaluación? ¿Cómo clientes, participantes, colaboradores, como ciudadanos empoderados?
• ¿Qué debemos considerar como pruebas aceptable para elaborar decisiones evaluativas?
• ¿Cómo se llega a la comprensión más válidas de calidad en la evaluación? ¿Vía los experimentos controlados? ¿Vía la deliberación moral? ¿Vía interpretaciones fenomenológicas?
• ¿Cuál es la forma más efectiva para garantizar la calidad de la práctica de la evaluación?

Interrogantes que, como tales, merecieron su indagación en un volumen extenso y profundo.

Para el curso “Principios epistemológicos en evaluación” me detuve particularmente en el capítulo de @SandraMathison “¿Cuál es la diferencia entre Evaluación e Investigación -Y porqué nos importa?” No pretendo reproducir el desarrollo que hace Sandra en su capítulo, pero sí marcar una idea-fuerza que ella trabaja muy bien: muchas veces, para señalar las diferencias entre investigación y evaluación, apelamos a caricaturas de las mismas.  Esto sucede del mismo modo que aquel personaje de la empleada pública que hacía el cómico argentino Antonio Gasalla, que antes las críticas por el perfil extremo en mal humor, irresponsabilidad y vagancia que había dado a la misma, se defendía diciendo: Es que exagero para fijar la idea 😉

Pues bien, algo de eso existe también en nuestros acercamientos para diferenciar investigación y evaluación. Con el riesgo de que no siempre somos conscientes del factor “exageración”, lo cual puede ser entendido como polarización e incluso como caricaturización. En tal sentido, uno puede preguntarse hasta qué punto nos sirve simplemente (o nos alcanza con) recitar la  clásica definición de evaluación del maestro Scriven:

La puerta de entrada que tomé para abordar la conceptualización de la evaluación fue, justamente, su contraste con la investigación social. Para ello le dedicamos un buen tiempo a discutir las siguientes proposiciones:

• La evaluación particulariza, la investigación generaliza.
• La evaluación está diseñada para mejorar algo, mientras que la investigación está diseñada para demostrar algo.
• La evaluación proporciona las bases para la toma de decisiones, la investigación proporciona la base para elaborar conclusiones.
• La evaluación:-¿y qué?; La investigación:-¿qué es eso?
• La evaluación-¿qué tan bien funciona?; La investigación- ¿cómo funciona?
• La evaluación es acerca de lo que es valioso, la investigación es sobre lo que es.

La discusión fue sumamente enriquecedora, y sobre el final la conclusión fue… que así son las cosas, nomás 🙂 Volvimos al punto inicial de entender la conceptualización de la evaluación como uno de esos asuntos fundamentales (recurrentes, polémicos, sólo temporalmente resueltos) de la disciplina. Apoyando esta “fragilidad?”, comenté el reciente trabajo liderado por Michael Quinn Patton referido a la definición de evaluación, encargado por la Asociación Americana de Evaluación. Dice Patton que han arribado “a un documento vivo, en constante revisión y actualización, pero nunca convertido en un dogma o en una declaración oficial de toma de posición”. Además, comenta que el trabajo de la comisión se vio constantemente tensionado por comentaristas diversos que consideraban que había elementos de más, o de menos, en los avances de la definición de evaluación. Y la discusión de algún modo continúa, por supuesto. La misma  @SandraMathison en su blog E-Valuation  hace su descargo de aspectos que a su ver no deberían estar ausentes.

Entonces, ¿en qué quedamos sobre QUÉ es (y no es) finalmente la evaluación? Pues que lo seguimos pensando, reflexionando, y debatiendo. Y esto no atenta, sino que consolida, la seriedad de la práctica evaluativa. Es posible que refleje su juventud (¿mi edad, justamente? 🙂 ), pero con seguridad es muestra de su vitalidad. Brinda de algún modo un ímpetu especial a los involucrados en el campo de la evaluación para reflexionar teórica y empíricamente sobre qué hacemos y porqué.

Para pensarlo desde otro lugar, sumo en esta entrada los geniales aportes de @ChrisLysy, quien desde su blog FreshSpectrum nos hace reír y pensar (y viceversa) sobre el mundo de la evaluación. Chris es el generador (también!) de EvalCentral  una plataforma que captura y canaliza todo blog sobre evaluación que ande dando vueltas por ahí. Y como Chris gentilmente me permitió usar sus dibujos y textos, vaya desde aquí mi público agradecimiento 😉 …

Desde hace algunos años ha ganado terreno un renovado interés por la evaluación de impacto de proyectos y programas, tanto por aquellos generados desde el ámbito público como desde instancias no gubernamentales. Al mismo tiempo, dicho interés ha estado acompañado de cierta polémica  (todavía en curso) sobre la pertinencia y los alcances de la metodología de prueba controlada aleatoria -RCT- (algo de ello reflexionamos hacia el final de otra entrada de este blog).

En esta última entrada del año 2011 les comparto una reflexión irónica sobre los problemas que aparecieron al tener que evaluar un (ficticio) programa de ayuda denominado «Regalos de Navidad». Los créditos por la humorada corresponden al NYU Development Research Institute.

–

Problemas en la evaluación del programa Regalos de Navidad

• Falta de una metodología rigurosa: Lamentablemente, la evaluación hubo de llevarse a cabo sin la necesaria prueba de control aleatoria de  los regalosde Navidad, la que no se completó según lo previsto. Los gerentes de proyecto hicieron un mal trabajo explicando las ventajas de la participación en la prueba aleatoria al grupo control.
• Falta de focalización: El programa de  ayuda «Regalos de Navidad»  no estaba suficientemente bien dirigido a los pobres. Los destinatarios de regalos de la Navidad incluyeron de manera indiscriminada a regiones acomodadas, grupos, géneros, e individuos.
• Falta de modalidades eficientes: los regalos de Navidad parecían consistir en gran medida en ayuda en especie. Esto contradice la abundante evidencia existente sobre las  mejores prácticas de la Ayuda, las que hacen hincapié en las transferencias de dinero efectivo como modalidad superior a la ayuda en especie. Hubo algunos casos de # SWEDOW («cosas que no quiero») en las transferencias en especie,  el peor tipo posible de ayuda, que incluyeron por lo general  pasteles de frutas.
• Falta de sincronización eficiente: Al contrario de la recomendación de que la Ayuda debe consistir en un flujo uniforme y predecible, el programa de Navidad se concentra mayormente  en un solo día, con algunos pocos retrasos impredecibles que van desde unos pocos días («retrasos en las entregas») hasta meses («regalos hechos a mano «).
• Falta de flujos netos: Los evaluadores encontraron en los beneficiarios de los regalos de Navidad una conducta que frustra el propósito del programa de ayuda, pues  los receptores  actúan como donantes de sus propios donantes, lo que reduce su consumo de la ayuda neta. Este comportamiento contraproducente fue explicado por los  beneficiarios con conceptos no estandarizados tales como «Hay más dicha en dar que en recibir».

Felices fiestas, y nos leemos nuevamente en el 2012!

En distintos sitios y blogs se encuentran  referencias a un listado de razones realmente esgrimidas para justificar la no realización de evaluaciones.  La versión que les comparto hoy refiere que dichas razones fueron incluidas en un informe de UNESCO dando cuenta de las respuestas de los directores de proyectos a las propuestas de evaluación de la institución.

El comentario que acompaña dicha referencia dice “Al parecer no somos los únicos que nos encontramos en esta situación”, a lo cual uno no sabe si aportar con “en todas partes se cuecen habas…” o bien “mal de muchos, consuelo de tontos…”

Que las disfruten!

• Nuestro proyecto es diferente. 
• Figúrate el jaleo que ocasionaría.
• El proyecto es demasiado limitado.
• Siempre hemos trabajado así.
• A la organización no le gustaría.
• Ya hemos sido evaluados.
• No es necesaria una evaluación
• Nuestro calendario se ha retrasado por dificultades financieras.
• No es asunto nuestro.
• Es un proyecto experimental.
• No está incluida en el presupuesto.
• Aún no instalamos el equipamiento.
• ¿Intenta enseñarme mi trabajo?
• El proyecto todavía no está listo para ser evaluado.
• Es una trampa.
• Estamos en la estación de las lluvias.
• El cambio altera las cosas demasiado.
• No tenemos tiempo.
• Hemos hecho lo que pusimos.
• No la hemos hecho nunca antes.
• Ha habido cambios en el gobierno.
• No es responsabilidad mía.
• Es un proyecto piloto.
• Seamos realistas.
• El equipamiento aún no ha llegado.
• Aún no estamos listos para hacerla.
• El director ha cambiado.
• Debe haber un motivo oculto.
• Es fiesta nacional.
• No estoy convencido de que sirva.

¿ Algunas más?