Evaluación de Políticas Públicas: Encuentro de trabajo ARGENTINA – BOLIVIA. #eval

Insertando esta acción en el marco de la Semana de la Evaluación en Argentina (y también en la Semana de la Evaluación en América Latina y el Caribe), tendrá lugar en unos días más en la ciudad de Córdoba (Argentina) el encuentro gestado entre la Red Argentina de Evaluación -Red EvaluAR-, y la Red de Monitoreo y Evaluación Bolivia -Red MeBol-.  Los objetivos del evento son los siguientes:

  • Poner en práctica un “modelo de trabajo entre pares”, que fortalezca los lazos entre las VOPEs de Argentina y Bolivia, en perspectiva de promover la institucionalización de la evaluación de políticas públicas a partir de un análisis de situación conjunto, la identificación de buenas prácticas, el intercambio de aprendizajes y la complementación de fortalezas y necesidades.
  • Desarrollar de manera conjunta, una agenda binacional de institucionalización de la evaluación de políticas públicas.
  • Establecer compromisos y acuerdos operativos para implementar y hacer seguimiento a la Agenda Binacional, así como para sistematizar la experiencia.

El programa completo aquí. Y los mejores augurios, también!!

Evaluación y profesionalización: ¿extraña pareja? (parte 2)

En la entrada anterior presenté algunos aspectos generales de la profesionalización de la evaluación, tema cuyo derrotero puede rastrearse a lo largo de los últimos 25 años, donde los méritos y limitaciones de distintos sistemas de acreditación y de credencialización han sido discutidos tanto en artículos de revistas como en presentaciones en conferencias de Evaluación. Se observa en la actualidad un interés renovado por la temática, a la vez que un “clima” donde el debate respecto a la profesionalización es abordado con menor efervescencia que hace unos años atrás. Colegas que en el pasado fueron escépticos (sino directamente negativos) respecto a la profesionalización de la evaluación como una dirección positiva a seguir, se muestran ahora abiertos a explorar este camino. Junto a ello, se actualizan esfuerzos en pos de dar una más profunda comprensión a las cuestiones teóricas y conceptuales involucradas en la profesionalización, aspecto clave ya que su mismo entendimiento comprende a una amplia gama de significados (desde “mejorar la práctica de evaluación” a “establecer una profesión”).  

Resulta claro que al interior del campo evaluativo, son las VOPEs (redes, sociedades, asociaciones de evaluación) las que se vienen posicionando como actores clave para encarar estos procesos colectivos de discusión sobre evaluación y profesionalización. En tal sentido, existen distintos procesos liderados por VOPEs, los que sucintamente presento a continuación.

La
Sociedad Canadiense de Evaluación (CES), generalmente entendida como la VOPE pionera en el proceso de profesionalización, adoptó un enfoque basado en competencias, llamado Professional Designation Program, basado en tres pilares: un código de ética, estándares y competencias. Este esquema, lanzado oficialmente en junio de 2009, otorga la designación de Credentialed Evaluator a los miembros de la CES que proporcionan evidencia convincente respecto a la formación y experiencia requerida para ser considerado un evaluador competente.

La Sociedad Europea de Evaluación (EES), junto con la Sociedad de Evaluación del Reino Unido (UKES), están llevando a cabo en estos meses
un proceso de evaluación por pares, llamado
Voluntary Evaluator Peer Review (VEPR), el que utiliza la autorreflexión apoyada por colegas,  centrándose en áreas de práctica seleccionadas por el practicante de la evaluación -evaluador, gerente, comisionado o educador / formador- que emprende dicha revisión. Este esquema implica un proceso de revisión basado en la práctica reflexiva, donde los evaluadores se presentan ante su sociedad de evaluación a fin de someterse a una revisión sistemática de sus capacidades, con el objetivo de alcanzar planes concretos de superación o mejora profesional.

La Sociedad Americana de Evaluación (AEA), la mayor de todas las VOPEs, adoptó los Guiding Principles for Evaluators, desarrollados y aprobados en 1994, y revisados ​​diez años después. Sus miembros aprobaron los Joint Committee’s Program Evaluation Standards, así como una Declaración de Competencias Culturales en 2011. En 2015, la Junta Directiva de la AEA comisionó a un Grupo de Trabajo el desarrollo para la asociación de una serie de competencias de los evaluadores.

Otras VOPEs también han utilizado las
Joint Committee’s Program Evaluation Standards para desarrollar sus propios sistemas de estándares de evaluación, como es el caso de DEGEVAL (Alemania) y SEVAL (Suiza), asícomo los recientemente desarrollados Estándares de Evaluación para América Latina y el Caribe, presentados por la Red de Seguimiento, Evaluación y Sistematización de América Latina y el Caribe.  La Sociedad de Evaluadores de Nueva Zelanda, ANZEA, presentó en 2011 los  Estándares de Evaluación para Aotearoa New Zealand, , y  la Sociedad de Evaluación de Australasia (AES), publicó en 2013 la Guías éticas para el
desarrollo de evaluaciones
.


 

 

Si bien parece que la Asociación Africana de Evaluación no ha desarrollado actividades concretas en este ámbito, la Asociación Sudafricana de Monitoreo y Evaluación(SAMEA) ha participado recientemente junto con el Departamento de Planificación, Seguimiento y Evaluación de la Oficina de la Presidencia de Sudáfrica en un estudio que explora opciones para la profesionalización de la evaluación en el contexto sudafricano.

A nivel mundial, la Asociación Internacional de Evaluación del Desarrollo (IDEAS) ha desarrollado su Código de Ética como uno de sus documentos fundacionales, así como uno referido a  Competencies for development evaluation evaluators, managers and commissioners. Ambos documentos fueron desarrollados por grupos de trabajo multiculturales y con una perspectiva fuertemente global. Otro producto en materia de habilitación profesional está planificado, atendiendo a la identificación de un conjunto mínimo de competencias relevantes para los evaluadores en contexto de desarrollo.

Revisar estos diferentes esfuerzos por parte de las VOPEs muestra que la mayoría de los impulsores o drivers de la profesionalización han sido principalmente internos al campo, surgidos principalmente ​​por las aspiraciones de los propios practicantes (vale decir, el lado de la oferta de la evaluación). Si bien no existe un consenso entre las VOPE sobre cómo proceder con la profesionalización de los evaluadores, si hay un acuerdo más claro sobre la necesidad de fortalecer a los evaluadores y la evaluación, a fin de ampliar el grupo de evaluadores competentes. ¿Implicaría ello transitar el camino de la profesionalización? A explorar dicho interrogante estará destinada la tercera (y última) entrada de esta serie.

Evaluación y profesionalización: ¿extraña pareja? (parte 1)

La Agenda de Evaluación Global 2020, que
presenta una visión del campo evaluativo para el corto y mediano plazo, fue gestada y validada a través de un proceso de consulta a nivel internacional que involucró a las sociedades de evaluación y a evaluadores individuales. En dicha Agenda, la profesionalización es caracterizada como una de las prioridades para la comunidad global de evaluación. De ese modo, se sumó a la conversación, debate o disputa sobre la vinculación de dichos términos: profesionalización y evaluación.  Posiblemente dicha conversación, debate o disputa sobre este binomio esté dando cuenta de una de esas
cuestiones fundamentales del campo evaluativo, en cuanto implican temas  y problemas que periódicamente en él  reaparecen bajo nuevos formatos.

Hasta donde he podido conocer, este (recurrente) debate ha tenido lugar principalmente en el contexto norteamericano (EE.UU y Canadá), seguido por el europeo. Si sumamos al mismo a los colegas de Australasia, podríamos decir que ha sido una polémica prioritariamente anglófona.  Me interesa entonces reflexionar  en castellano sobre este tema, a fin de sumar voces y perspectivas latinoamericanas, las que creo han sido minoritarias en la discusión. Para ello, confío dedicar tres entradas del blog a esta ¿extraña pareja? de la evaluación y la profesionalización.

En esta primera entrada, además de introducir la problemática, apunto a presentar brevemente algunas de las características de la agenda en torno a la profesionalización de la evaluación, explicitando ciertas preocupaciones que parecen estar vinculadas a ese debate.

A su vez, la profesionalización es un tema estrechamente vinculado al colectivo de evaluadores, es decir, a las sociedades, asociaciones y redes de evaluación, recientemente identificadas como VOPEs -Organizaciones Voluntarias para la Evaluación Profesional-. Ha sido al interior de las VOPEs (y a veces entre ellas) que la profesionalización ha sido discutida, argumentada y construida, por lo que la segunda entrada de esta serie va a presentar dichos esfuerzos.

En la tercera y última entrada, me interesa aportar algunas ideas respecto a cómo sería un proceso deseable hacia la profesionalización de la evaluación, atendiendo a su cariz colaborativo y generado desde sus  bases (bottom up).

La agenda por la profesionalización

Junto a una mayor conciencia global respecto a la relevancia de la evaluación como herramienta clave para apoyar la mejora y/o el desarrollo de políticas públicas, existen también preocupaciones importantes sobre su práctica y legitimidad. En primer lugar, existe una percepción generalizada en cuanto existen demasiadas evaluaciones de baja calidad, un punto fuertemente vinculado con cuestiones de competencias, es decir, garantizar que los que realizan trabajos de evaluación estén calificados para ello. En segundo lugar -y en algunos contextos- se vislumbra un creciente desplazamiento de la evaluación por parte de otros esfuerzos, junto a la “invasión” del campo evaluativo por parte de otras empresas profesionales (analistas de negocios, analistas de big data, etc.). En tercer lugar, hay un déficit en cuanto credenciales y estándares establecidos que identifiquen el correcto obrar de los evaluadores.

Estos son los temas que periódicamente han dado lugar a debates sobre la profesionalización de la evaluación. En ellos puede identificarse, por un lado, la posición que la profesionalización es una vía pertinente y relevante para superar aquellos problemas, capaz de otorgar a la evaluación un mayor estatus, reconocimiento y, en última instancia, una mayor cuota de mercado. Por otro lado, encontramos una posición agnóstica que, aún reconociendo la gravedad de los problemas anteriores, duda o cuestiona si la profesionalización es el camino que la evaluación debería seguir en este tiempo.

Así como la profesionalización ha sido un tema controvertido en el campo de la evaluación, la sociología de las profesiones ilustra que ese ha sido el caso para todas las profesiones establecidas. El proceso real hasta adquirir el estatus profesional les ha llevado varias décadas (o siglos), siempre siendo un proceso altamente discutido y negociado, desarrollado a través de una serie de complejas interrelaciones de múltiples actores: los practicantes del oficio, los actores del estado y del mercado, las comunidades de práctica, etc.

Bob Picciotto, desde el marco de la sociología de las profesiones, sintetiza algunas de las características que debe construir una agenda para la profesionalización de evaluación: el reconocimiento público que la ocupación promueve el interés general; procesos reconocidos de desarrollo disciplinar (educación especializada, exposición continua a la práctica de expertos); autonomía profesional (la propia profesión controla la contratación, la calidad de la formación, la aprobación de directrices profesionales, la aplicación de normas éticas, etc.); el acceso a la práctica (la institucionalización de la experiencia profesional mediante la educación terciaria de alta calidad y una amplia gama de posibles restricciones sobre el acceso a la práctica profesional: designación, acreditación, certificación, licencias).

La relevancia de este marco es que no señala a un atributo o característica particular como suficiente y necesario para la profesionalización de una ocupación. En lugar de eso, da cuenta que se necesita una masa crítica de todos esos atributos, en estrecha articulación con sus contextos particulares de desarrollo. Este es un punto fundamental, ya que muchas veces la discusión de la profesionalización dentro de la comunidad evaluadora se ha centrado principalmente en los atributos de acceso a la práctica, enfatizando las diferentes categorías de designación que restringen el acto profesional o el uso del título. Este limitado enfoque ha implicado, por tanto, subrayar inmediatamente la necesidad del campo evaluativo de avanzar hacia esquemas de certificación, acreditación o designación.

Este énfasis en los atributos de acceso a la práctica ha sido probablemente el desencadenante de la aparición de diferentes reacciones, expresadas como preocupaciones respecto a lo que se presenta como tendencias exclusivistas de la práctica evaluativa. Junto a ello, la cuestión de la identidad del evaluador -quién es y quién no es “realmente” evaluador-, ha estado también presente. Esto no sólo se ha vinculado con preocupaciones sobre la cuota de mercado (definición de quién puede hacer evaluaciones), sino también con temores de que la profesionalización del campo evaluativo pueda crear barreras a la innovación y creatividad, condicionando o limitando los temas, áreas o enfoques considerados legítimos.

Incluso aquellos que entienden a la profesionalización como una respuesta pertinente y relevante a la falta  de calidad de las evaluaciones, señalan sus precauciones si el camino para convertirse en evaluador y definir sus competencias fuera a emerger como un resultado de la imposición de comportamientos particulares de parte de una organización “externa”, por fuera del control de la comunidad evaluadora, y sin un proceso de discusión democrática.

En el campo de la evaluación, la respuesta más clara a esta preocupación ha implicado considerar a las VOPEs -las sociedades, asociaciones y redes de evaluación- como los actores clave para llevar a cabo procesos legítimos y colectivos de discusión de aquello que está implícito en una evaluación profesional. A las VOPEs estará dedicada entonces la segunda entrada de esta serie.

Viernes light: My dear anglo friends… It´s Colombia, not Columbia!!!

This post deserves to be written in English… surely you´ll agree with that. 

cafe-colombianoThis year I had the chance to visit for a couple of weeks that fantastic country called Colombia, and to fall in love with its people, its music, its food, its culture.

And I also realised how many times the name of the country is misspelled (abroad), changing it for Columbia… My friends, the only correct spelling is Colombia! Columbia is the North-American river which “rising in the Rocky Mountains and flowing through British Columbia” in Canada, the name of a city in South Carolina (USA), and Columbia County (and Columbia University) in New York.

I´m not sure if this has anything to do that for some Colombia is the most misunderstood country for USA, more than Irak or Afghanistan… or that many famous made that same mistake (Richard Nixon, Paris Hilton, Justin Bieber and Starbucks have all made the mistake). But, hey, we are talking about the country of the year, at least for The Economist. And Adidas had to learn this in a “memorable” way…

its-colombiaWell,
that misspelling that pisses off Colombians, also gave place for two of them to launch a campaign and merchandise company in 2013 to remind people that “It’s Colombia Not Columbia” (and to make around $15,000 a month off of their merch).  And I found a fabulous Facebook page with that name, too…

So, remember, it’s Colombia not Columbia, in spite of being named after Christopher Columbus who discovered the Americas. Give a look to this great album in Pinterest (called, obviously, It´s Colombia not Columbia), or better… visit ColOmbia!!!

#AfterEval: El Enfoque de Sistemas en Evaluación, por @PabloVidueira desde @AproevalIbero . #eval & #SystemsThinking

Entre varias cuestiones interesantes que están sucediendo en el campo de la Evaluación, quería señalar brevemente el desarrollo de aquellos encuentros temáticos que realizan las redes de evaluación de manera presencial, junto con su respectiva transmisión online y la posibilidad de poder consultarlas posteriormente. Un ejemplo valioso en este sentido lo realiza la Asociación Ibérica de Profesionales por la Evaluación (AproEval)  en sus #AfterEval, instancias de reunión y encuentro para reflexionar sobre temas de Evaluación. Los mismos son presentados del siguiente modo:

Os recordamos que la iniciativa AfterEval está pensada para el intercambio directo, cercano y distendido de experiencias de evaluación. Tras unos 20 minutos de exposición, se abre turno para preguntas y respuestas que nos permitan adentrarnos en la “cocina” de la evaluación: decisiones sobre la marcha, dificultades y aprendizajes reales, qué podría haberse hecho mejor, etc. Y como “efecto indirecto”, siempre hay un hueco para charlar con otros(as) colegas y socios(as) y hacer contactos.

pensamiento-sistemicoEl último evento tuvo lugar el pasado Martes 28 de Febrero, con el título “El Enfoque de Sistemas en Evaluación“, y estuvo a cargo del colega Pablo Vidueira (@PabloVidueira en Twitter). De la página de AproEval reseño lo siguiente:

Hemos programado un nuevo AfterEval en Febrero. Esta vez, nos acompañará Pablo Vidueira, investigador del grupo de Planificación y Gestión del Desarrollo en la Universidad Politécnica de Madrid, entidad desde la que desarrolla su labor como consultor, docente e investigador en el área de evaluación de programas y proyectos, especialmente a través de enfoques mixtos, participativos y de sistemas.

Pablo tratará el enfoque de sistemas, algo originariamente externo al ámbito de la evaluación, pero que va ganando popularidad en nuestro campo en los últimos años. Durante el AfterEval tendremos la oportunidad de comentar estos ámbitos de expansión del enfoque de sistemas, sus fundamentos, y algunos recursos para profundizar en ello.

Para aquellas personas que estéis interesados o interesadas en conocer más sobre campo, os dejamos una buena primera aproximación aquí.

Una iniciativa valiosa, y digna de ser imitada allende los mares. Felicitaciones a los amigos de Aproeval, y seguimos compartiendo experiencias y aprendizajes en la lengua cervantina… Debajo, la grabación del #AfterEval…

.

Enlaces que me enlazaron: evaluación, desarrollo, y complejidad (#eval III)

links-gif

 

Enlaces y links que me interesaron de la última semana (o un poco más)…

 

* Echo Rivera desarrolla el secreto en 4 fases para realizar una presentación sin estrés. Sugiere preparase una taza de café y contar con un bloc de notas, pues va a compartir algunos de sus muy buenos tips con nosotros.

* Tom Archivald nos acerca un manual con definiciones, términos, e importancia de las líneas de base. De un modo claro y directo explora cuestiones de oportunidad, planificación, y actores relevantes para llevarla adelante, e ideas para la presentación de resultados. Muy interesante la sección sobre Reconstrucción de la Línea de Base…

* El Overseas Development Institute desarrollará pronto un evento sobre “Tomar decisiones basadas en la evidencia en un mundo complejo”. Si no puedes estar en Londres ese día, lo puedes seguir online…

* La colega Mónica Ballesca nos comparte desde su experiencia en el gobierno de Jalisco (México) cinco consejos para evaluar políticas públicas.

* Cerrando los enlaces de hoy, el informe anual de seguimiento a los ministerios de la Agencia de Evaluación y Calidad de España (¿el video será parte del informe??)
 

 

– – – – – –

– – – – – –

– – – – – –

– – – – – –

Estándares de Evaluación para América Latina y el Caribe

A mediados del 2016 vieron la luz los Estándares de Evaluación para América Latina y el Caribe, fruto del trabajo colectivo de muchos colegas para quienes el tema resultó importante y relevante para el momento actual del campo de la evaluación en la región. Reproduzco debajo la nota de presentación en sociedad de estos estándares,  dada a conocer en la página de la ReLAC – Red de Seguimiento, Evaluación y Sistematización de América Latina y el Caribe

logo02estandares

La evaluación cada día tiene mayor importancia en América Latina. La demanda profesional por parte de las instituciones es respondida a través de enfoques y prácticas muy diversas en cuanto a calidad y profundidad. Las diferencias que evidencia el campo de la evaluación afecta la profesionalización y la utilidad de las mismas para la toma de decisiones, para los aprendizajes, la rendición de cuentas y la deliberación pública sobre las políticas y las acciones sociales.

Para enfrentar esta diversidad de realidades, la experiencia internacional demuestra la importancia de contar con estándares que actúen como referentes orientadores del trabajo profesional de los evaluadores. Estas definiciones han sido realizadas por distintas organizaciones, asociaciones profesionales y agencias de cooperación. Han definido estándares, por ejemplo, las instituciones del sistema de Naciones Unidas, las asociaciones de evaluación de USA (AEA), Europa (EES), África (AFREA) y asociaciones o redes nacionales tales como las de Alemania, Canadá, Francia y Suiza, entre otras. Todas ellas tienen un núcleo común de definiciones y que dan cuenta del sentido compartido del ejercicio profesional de la evaluación cualquiera sea el contexto social y cultural en el cual se lleve a cabo.

Dado el desarrollo que ha tenido el campo de la evaluación en América Latina es muy importante contar con un marco orientador común como el que se ha definido en otras regiones. Estas deben recoger el núcleo común compartido y, al mismo tiempo, considerar otras dimensiones que son propias y pertinentes para nuestra rica y diversa realidad latinoamericana.

La ReLAC en el año 2014 decidió organizar un Grupo de Trabajo para abordar el tema y desarrollar una primera propuesta a presentar en la III conferencia de la Red realizada en Lima 9 y 13 de marzo del 2015. Para ello contó con el apoyo de FOCEVAL y Instituto alemán de evaluación de la cooperación para el desarrollo (DEval) quienes contribuyeron en la animación y desarrollo de las actividades programadas. Entre ellas, la revisión documental de experiencias internacionales; consulta a expertos en la región, Norteamérica y Europa; desarrollo de taller y mesa de trabajo en III conferencia de ReLAC, foro virtual, y presentación de propuestas preliminares en distintos eventos regionales con alta participación de evaluadores y evaluadoras.

logo ReLACEn síntesis, el método de trabajo se basó en un diálogo permanente entre profesionales de diferentes países y con distintas trayectorias que fue ampliándose progresivamente en función de los avances y documentos elaborados.

Con mucha alegría ofrecemos a la comunidad de evaluadores y evaluadoras de la región esta primera publicación de los Estándares de Evaluación para América Latina y el Caribe. La misma está disponible en español, portugués e inglés. Es el fruto del trabajo colectivo de muchas personas que contribuyeron con sus ideas en las opciones y orientaciones que se presentan en este documento.

Confiamos que su conocimiento oriente la práctica y también la formación especializada en el campo profesional. Estas experiencias permitirán, a la vez, el desarrollo y la incorporación permanente de nuevas ideas y orientaciones fruto de los avances conceptuales, metodológicos y de los requerimientos de nuestras sociedades.

Les invitamos a conocer y a considerar estos estándares en su trabajo y, a partir de su experiencia, le invitamos a contribuir a su desarrollo y construcción. Adjuntamos la nota de presentación institucional y agradecemos la participación activa y el apoyo financiero de todo el equipo de DEval.

Saludos cordiales!

Ana Luisa Guzmán Hernández (Coordinadora ReLAC, Costa Rica)
Sergio Martinic Valencia (Coordinador del proyecto, Pontificia Universidad Católica de Chile)
Luis Soberón Alvarez (Pontificia Universidad Católica del Perú)
Pablo Rodríguez Bilella (CONICET, Argentina)
Sarah Desirée Klier (DEval, Alemania)
Esteban Tapella (Universidad Nacional de San Juan, Argentina).

poster-estandares