La invitación hecha por el colega y amigo Fidel Arévalo para dictar un curso sobre “Principios epistemológicos de la Evaluación”, en el marco del Diplomado en Monitoreo y Evaluación de Políticas Públicas (SEGEPLAN y Universidad de San Carlos de Guatemala) me permitió volver a la cuestión fundamental de la conceptualización de la evaluación. Y el término fundamental no es caprichoso, sino que apunta al corazón de la disciplina (o transdiciplina, al decir de Michael Scriven).
En el muy recomendable libro Fundamentals issues on Evaluation, sus editores comentan que en el campo de la evaluación existen temas recurrentes, problemas y asuntos que periódicamente emergen de nuevas maneras para llamar nuestra atención. Estos asuntos fundamentales son las preocupaciones subyacentes, los problemas o las elecciones que continuamente re-aparecen bajo distintas apariencias a lo largo de los trabajos de evaluación. Por su misma naturaleza, son cuestiones que nunca terminan de ser resueltas completamente, sólo son “cerradas” de modo temporal.
Algunas de las preguntas que estructuran el libro, y que ejemplifican esta cuestión de los asuntos fundamentales de la evaluación, son las siguientes:
- ¿Para qué se debe realizar la evaluación? ¿Para mejorar los programas? ¿Para influir en la toma de decisiones? ¿Para proteger al público? ¿Para resolver problemas sociales? ¿Para promover la diversidad social?
- ¿Cuál es el rol social (o los roles sociales) adecuado(s) para el evaluador? ¿Cómo profesional? ¿Cómo investigador? ¿Cómo profesor? ¿Cómo defensor? ¿Cómo facilitador? ¿Cómo juez?
- ¿Cómo pueden los actores que son parte interesada (los stakeholders) involucrarse en los estudios de evaluación? ¿Cómo clientes, participantes, colaboradores, como ciudadanos empoderados?
- ¿Qué debemos considerar como pruebas aceptable para elaborar decisiones evaluativas?
- ¿Cómo se llega a la comprensión más válidas de calidad en la evaluación? ¿Vía los experimentos controlados? ¿Vía la deliberación moral? ¿Vía interpretaciones fenomenológicas?
- ¿Cuál es la forma más efectiva para garantizar la calidad de la práctica de la evaluación?
Interrogantes que, como tales, merecieron su indagación en un volumen extenso y profundo.
Para el curso “Principios epistemológicos en evaluación” me detuve particularmente en el capítulo de @SandraMathison “¿Cuál es la diferencia entre Evaluación e Investigación -Y porqué nos importa?” No pretendo reproducir el desarrollo que hace Sandra en su capítulo, pero sí marcar una idea-fuerza que ella trabaja muy bien: muchas veces, para señalar las diferencias entre investigación y evaluación, apelamos a caricaturas de las mismas. Esto sucede del mismo modo que aquel personaje de la empleada pública que hacía el cómico argentino Antonio Gasalla, que antes las críticas por el perfil extremo en mal humor, irresponsabilidad y vagancia que había dado a la misma, se defendía diciendo: Es que exagero para fijar la idea 😉
Pues bien, algo de eso existe también en nuestros acercamientos para diferenciar investigación y evaluación. Con el riesgo de que no siempre somos conscientes del factor “exageración”, lo cual puede ser entendido como polarización e incluso como caricaturización. En tal sentido, uno puede preguntarse hasta qué punto nos sirve simplemente (o nos alcanza con) recitar la clásica definición de evaluación del maestro Scriven:
La puerta de entrada que tomé para abordar la conceptualización de la evaluación fue, justamente, su contraste con la investigación social. Para ello le dedicamos un buen tiempo a discutir las siguientes proposiciones:
- La evaluación particulariza, la investigación generaliza.
- La evaluación está diseñada para mejorar algo, mientras que la investigación está diseñada para demostrar algo.
- La evaluación proporciona las bases para la toma de decisiones, la investigación proporciona la base para elaborar conclusiones.
- La evaluación:-¿y qué?; La investigación:-¿qué es eso?
- La evaluación-¿qué tan bien funciona?; La investigación- ¿cómo funciona?
- La evaluación es acerca de lo que es valioso, la investigación es sobre lo que es.
La discusión fue sumamente enriquecedora, y sobre el final la conclusión fue… que así son las cosas, nomás 🙂 Volvimos al punto inicial de entender la conceptualización de la evaluación como uno de esos asuntos fundamentales (recurrentes, polémicos, sólo temporalmente resueltos) de la disciplina. Apoyando esta “fragilidad?”, comenté el reciente trabajo liderado por Michael Quinn Patton referido a la definición de evaluación, encargado por la Asociación Americana de Evaluación. Dice Patton que han arribado “a un documento vivo, en constante revisión y actualización, pero nunca convertido en un dogma o en una declaración oficial de toma de posición”. Además, comenta que el trabajo de la comisión se vio constantemente tensionado por comentaristas diversos que consideraban que había elementos de más, o de menos, en los avances de la definición de evaluación. Y la discusión de algún modo continúa, por supuesto. La misma @SandraMathison en su blog E-Valuation hace su descargo de aspectos que a su ver no deberían estar ausentes.
Entonces, ¿en qué quedamos sobre QUÉ es (y no es) finalmente la evaluación? Pues que lo seguimos pensando, reflexionando, y debatiendo. Y esto no atenta, sino que consolida, la seriedad de la práctica evaluativa. Es posible que refleje su juventud (¿mi edad, justamente? 🙂 ), pero con seguridad es muestra de su vitalidad. Brinda de algún modo un ímpetu especial a los involucrados en el campo de la evaluación para reflexionar teórica y empíricamente sobre qué hacemos y porqué.
Para pensarlo desde otro lugar, sumo en esta entrada los geniales aportes de @ChrisLysy, quien desde su blog FreshSpectrum nos hace reír y pensar (y viceversa) sobre el mundo de la evaluación. Chris es el generador (también!) de EvalCentral una plataforma que captura y canaliza todo blog sobre evaluación que ande dando vueltas por ahí. Y como Chris gentilmente me permitió usar sus dibujos y textos, vaya desde aquí mi público agradecimiento 😉 …
Al Borde del Caos 