Compromiso internacional para el impacto en un mundo cambiante, por Bonnie Koenig

bonnie-koenigConocí a Bonnie Koenig como suele conocerse la gente en estos tiempos, por algún canal de internet,
Twitter
en su momento. Compartimos diversos chats, y también alguna conversación telefónica (entiéndase Skype😉 ). Hace tiempo tuvo la amabilidad de solicitarme revisara el borrador de un pequeño libro que estaba escribiendo,  donde  compartía reflexiones sobre la base de su intenso y extenso trabajo en la cooperación al desarrollo internacional. El libro aborda muy sugestivos pensamientos sobre el tipo de impacto que las intervenciones de desarrollo persiguen, la centralidad de los procesos, el rol de la ambigüedad en nuestras vidas en el contexto de estas interevenciones, el pensamiento sistémico y la complejidad, etc., etc.  Poco después el libro estuvo listo, y tenía pendiente presentarlo por aquí.  Por ahora sólo está en Inglés y accesible completo en el interesante blog de Bonnie, Going International (concretamente aquí). Pero me he permitido una traducción libre de su introducción, la que comparto a continuación, para cerrar el post luego con una novedad de su cosecha
.

I. Introducción
El mundo está cambiando, y muchos de nosotros en nuestras organizaciones y redes -así también como individuos- tratamos de encontrar conexiones y enfoques que nos ayuden a atender mejor y de formas efectivas nuestro nuevo ambiente. En una era de ‘palabras de moda’ que van y vienen, o que bien toman muchos significados diferentes (casi como un test de Rorschach -todos podemos ver la misma cosa diferentemente),  he elegido con cuidado la palabra “efectiva”. Nuestras palabras son importantes. ¿Por qué ‘formas efectivas ” y no formas nuevas o innovadoras? Necesitamos identificar una amplia gama de enfoques con el fin de encontrar aquellos que funcionarán para nosotros y nuestras organizaciones, y no pueden ser todos “nuevos” pero pueden reconfigurar o reconceptualizar nuestros enfoques de diferentes maneras. Y el concepto de “innovación” viene con connotaciones pesadas. Me gusta la definición de innovación que se centra en el desarrollo de diferentes enfoques (incluso si algunas de las partes componentes no son necesariamente nuevas), si bien muchos piensan en la innovación como algo puramente “nuevo”.
¿Y por qué la palabra “impacto” en el título? Nos hemos convertido en complaciente acerca de los resultados como cosas que se pueden medir – ¿cuánto de esto o de aquello? Tenemos que esforzarnos para mirar el impacto en cómo están siendo cambiadas ciertas vidas de manera positiva a través de nuestros esfuerzos. Tenemos que luchar individualmente y dentro de nuestras organizaciones y redes con el concepto de impacto y lo que significa para nosotros. ¿Por qué hacemos lo que hacemos? Es en la misma batalla o en el lidiar con los conceptos que empezamos a entender su significado para nuestras situaciones específicas, y a nutrir un compromiso colectivo con estos conceptos y objetivos.
¿Cómo pueden nuestros esfuerzos  acercarnos a los cambiantes impactos de  la vida que visualizamos? Necesitamos regularmente seguir haciendo las conexiones entre nuestras visiones y los desafíos de la implementación, y adaptar y modificar a medida que aprendemos – a través de nuestros éxitos, e igualmente importante, de nuestros fracasos. En una época en que a veces puede sentirse caótica, este libro es mi pequeña contribución para ayudar a las organizaciones y redes que están participando internacionalmente a encontrar su camino hacia enfoques que aumentarán su impacto. Ojalá nos ayude a todos a movernos un poco más cerca del futuro que imaginamos.

Después de cada sección podrás ver algunos ejemplos de preguntas. Estas preguntas son para ayudarlo en su propio pensamiento y proceso de descubrimiento, idealmente generando preguntas adicionales que lo ayudarán a lo largo de su viaje.

En resumidas cuentas, los invito a darle una mirada a este pequeño libro, grande en contenido y en su capacidad de hacernos pensar sobre el compromiso internacional y las realidades del desarrollo. Y si les entusiasma, pueden también prestar atención a una Internship Position con la posibilidad de trabajar con Bonnie Koening desde la comodidad de su hogar… Muy interesante, sin duda alguna!!! Buena suerte!

De la evaluación influyente a la evaluación con impacto: evaluaciones que marcan la diferencia (2). #eval

La Verdad ,
desnuda y fría,
había encontrado cerrada
todas las puertas de la aldea.
Su desnudez asustaba a la gente.
Cuando la Parábola la encontró, ella se
acurrucó en un rincón, temblando y con hambre.
Compadeciéndose de ella, la Parábola la protegió y la llevó a su casa.
Allí, vistió  a la Verdad con la Narración , la calentó y la envió de nuevo.
Vestida con la Narración , la Verdad volvió a llamar a las puertas de los aldeanos
y fue recibida fácilmente en sus casas. Ellos la invitaron a comer en su mesa y
a calentarse junto al fuego.

Historia judía de enseñanza ( Annette Simmons, The Story Factor )
¿Cuál es el valor real de la evaluación?pen-blue-feather-ink-old-paper-wall_18115
¿Qué factores contribuyen, suman, y aportan para convertir en valiosa a una evaluación en particular?
¿Cuáles son los beneficios de la evaluación, y cómo se expresan o se miden?
¿Cómo pueden ser descriptos dichos beneficios de manera tal que tengan sentido para los ciudadanos y para los hacedores de políticas?
¿Pueden ser las historias o narrativas una buena manera de comunicar los resultados de la evaluación?

Estos interrogantes motivaron el desarrollo del proyecto –Evaluaciones que marcan la diferencia: historias de todo el mundo–, el cual he presentado aquí anteriormente (aquí, aquí, y aquí también).

El proyecto encontró al menos ocho factores facilitadores que contribuyen a que las evaluaciones tengan impacto en las personas y en la mejora social.  Sucintamente, los factores identificados fueron los siguientes:

1. Dar voz a los sin voz: en una evaluación todas las voces deben ser escuchadas, pero los que menos poder tienen a menudo son los menos escuchados;

2. Proporcionar evidencia creíble sobre la base de un diseño y metodologías de alta calidad;

3. Utilizar un enfoque positivo que enfatice las fortalezas, oportunidades, aspiraciones y resultados;

4. Sumar activamente a la evaluación a usuarios y beneficiarios a través de un proceso centrado en la utilización, que facilita la adopción de la evaluación a medida que ella progresa;

5. Insertar a la evaluación al interior de la iniciativa evaluada desde el inicio de la misma, si es posible, con el fin de contar con información de línea de base y promover el pensamiento evaluativo;

6. Manifestar una  sincera preocupación por el desarrollo y resultados de la evaluación, de tal manera que quienes la solicitan, los usuarios, y los evaluadores, trabajen en coordinación a fin de asegurar evidencia creíble;

7. Abogar por la evaluación – los evaluadores necesitan trabajar con los agentes de la intervención y los usuarios para ayudarles a entender cómo la evaluación puede contribuir a la toma de decisiones;

8. Concentrarse en el impacto de la evaluación: desde el inicio de la evaluación, los evaluadores deben pensar en el efecto potencial de la misma sobre el programa y sus participantes.

Estos factores fueron identificados a partir de las historias de evaluación seleccionadas, las que durante los últimos meses han sido presentadas en castellano en este blog, y en inglés y francés en el blog Evaluations that make a difference.

A continuación, los títulos y enlaces para las historias aquí desarrolladas:

Además de las publicaciones en blogs, estas historias y el proceso de su selección y construcción estará siendo presentado en eventos y conferencias de evaluación. La más cercana será en Maastricht (Holanda), en el marco de la 12da  Conferencia de la Sociedad Europea de Evaluación. ¡Bienvenidos a sumarse quienes pasen por ahí!😉

maastricht

Escuchar a los oyentes: una evaluación con impacto en Nepal (#Eval Stories VIII)

Evaluaciones que marcan la diferencia” es una colección de 8 historias de evaluación recogidas en distintos lugares del mundo, y una de las primeras investigaciones sistemáticas sobre los factores que contribuyen a que las evaluaciones de alta calidad sean utilizadas por las partes interesadas para mejorar los programas y proyectos, y mejorar así la vida de las personas. Estas historias reflejan no sólo el punto de vista de los evaluadores, sino también de quienes comisionan y de quienes usan las evaluaciones. Esta historia es la final de las ocho historias desarrolladas en el marco del proyecto. Para compartirlas en Inglés y Francés, visitar el Blog Evaluations that make a difference.

——–

Captura de pantalla 2016-06-28 a las 8.20.00 a.m.Justo antes del amanecer, Ashish espera nervioso a Rama en la parada de autobús del pueblo. Tan pronto como llega su novia, toman con cautela el autobús hacia la ciudad, mientras planean su futuro como pareja. Pero sus planes se ven frustrados cuando un agente de policía interrumpe su viaje y empieza a interrogarlos.

Sólo queremos casarnos,’ le dice Ashish al oficial. ‘Los padres de Rama la estaban obligando a casarse con un extraño.

No hemos hecho nada malo,’ añade Rama.

El oficial de policía se dirige entonces a los adolescentes, ambos de 16 años, quienes no dejan de solicitarle que les deje continuar.

Esto es un delito‘, dice. ‘Deben tener por lo menos 20 años para casarse. El matrimonio infantil es un delito penal. Tus padres pueden ser procesados si te están obligando a casarte a tu edad, y ustedes dos también pueden ser procesados si se casan ahora‘.

La edad legal para contraer matrimonio en Nepal es de 20 años -sin consentimiento de los padres-, y de 18 años con su consentimiento.

Aunque Rama y Ashish son personajes de ficción en una radionovela semanal transmitida en más de 40 estaciones de radio por todo Nepal, su historia describe una imagen cruda y exacta de la realidad del matrimonio infantil que prevalece en todas las aldeas remotas del país. Según las estadísticas nacionales, casi 3 de cada 10 niñas entre los 15 y 19 años están actualmente casadas, y 4 de cada 10 se casaron antes de cumplir los 18 años.

Radionovelas como esta reflejan el ethos y el pathos de la sociedad nepalí. Un programa semanal en particular, llamado Saathi Sanga Man Ka Kura (SSMK) que significa “Charlando con mi mejor amigo”, se ha estado transmitiendo durante los últimos 15 años pensando en la audiencia juvenil. SSMK educa a los jóvenes sobre temas que generalmente se mantienen silenciados en la conservadora sociedad de Nepal. El programa comenzó en el año 2001 con el apoyo del Fondo de las Naciones Unidas para la Infancia (UNICEF) y ha sido gestionado por Equal Access Nepal durante la última década. Con una duración de 45 minutos, SSMK cuenta con 7,2 millones de leales oyentes y recibe más de 1.200 cartas y 2.000 mensajes de texto cada mes.

Enfocando mejor

Captura de pantalla 2016-06-28 a las 8.20.13 a.m.Antes de la llegada de los medios electrónicos, las obras de teatro callejero y los espectáculos teatrales eran muy populares en todo Nepal. Estas representaciones emergieron como una forma importante de entretenimiento en las aldeas, presentadas en los dialectos locales, tratando principalmente parodias mitológicas y a veces satíricas.

Ghanshyam Kumar Mishra, un productor de radio de Janakpur, una ciudad del sur de Nepal en el distrito Dhanusa, considera que si bien en las ciudades puede haber disminuido esta tendencia, los dramas en idioma local siguen siendo muy populares en los parajes rurales de Nepal. La mayoría de la población de estas áreas son agricultores de bajos ingresos, con pocos antecedentes educativos y sin ninguna fuente de información que no sea la radio, que es también una de las formas más baratas de entretenimiento. Según Mishra, los programas de radio son uno de los mejores medios de comunicación a través de la cuales informar a las masas.

Durante 2013, SSMK realizó una evaluación utilizando el método de Investigación Acción Etnográfica a fin de valorar y evaluar las preferencias de sus oyentes, así como el impacto del programa en su público objetivo. Evaluadores ubicados en las comunidades de los distritos rurales de Nepal realizaron encuestas y grupos de discusión con distintos miembros de la comunidad y otras partes interesadas.

Una de las principales conclusiones de la evaluación fue la necesidad de contar con un programa de radio en el idioma local.

La encuesta realizada en el proceso de evaluación destacó el conflicto lingüístico entre los oyentes de SSMK; el show central no estaba siendo capaz de captar plenamente el espíritu de las comunidades locales. Siendo éste producido en idioma nepalí, los oyentes en otras regiones del país -como Dhanusa, donde el maithali es ampliamente hablado-, se sentían muchas veces desconectados. Además, los temas de interés varían de región en región, por lo que un programa nacional que abordaba temas en un nivel macro, carecía de un discurso sobre los problemas específicos de la comunidad. Ayush Joshi, oficial superior del programa Equal Access Nepal, recuerda como el equipo de SSMK quería promover la participación social de los jóvenes de todo el país, a través de involucrarlos en el desarrollo de versiones locales del programa

Captura de pantalla 2016-06-28 a las 8.20.55 a.m.Era importante empezar una versión local a fin de sostener a SSMK en el largo plazo”, dice Joshi. “Los oyentes estaban exigiendo un programa en un lenguaje local.”

A fin de capacitar a los jóvenes rurales con los conocimientos y habilidades necesarios para participar en el desarrollo de políticas locales y nacionales, SSMK lanzó versiones locales del programa en 15 distritos marginales. Además, y de forma igualmente prioritaria, el programa pretendía proporcionar a los jóvenes los conocimientos necesarios para que pudieran incrementar el control que tienen sobre sus vidas mediante la aplicación de lo aprendido.

Para facilitar que el público se conecte con los temas que prevalecen en su comunidad, los programas locales se diseñan con contenidos a la medida y de forma personalizada en base a su audiencia. Mishra sostiene que la versión local de SSMK fue rápidamente eficaz en poner de relieve cuestiones que, como el matrimonio y el trabajo infantil, están socialmente aceptadas en muchas comunidades rurales. Además de haber jugado un papel fundamental en la educación del público, los programas de radio en idiomas locales han abierto un canal de discusión y comunicación no formal entre las autoridades locales y distintas partes interesadas. A su vez, han facilitado también la rendición de cuentas de las autoridades responsables sobre distintos temas.

Creando conciencia sobre el trabajo infantil

En Radio Mithila en Dhanusa, Sangi Sang Manat Baat se convirtió en una extensión de SSMK. Estaba dirigido a las personas de habla maithali que viven en los 90 Comités de Desarrollo de las aldeas del distrito. Según Mishra, un espectáculo en nepalí simplemente no resonaría entre los lugareños, mientras que un programa en maithali llegaría directamente a los oyentes interesados en los problemas que prevalecen en su región.

Cuando te estás comunicando con la gente en su propio idioma, la audiencia se siente como una socia más del programa“, dice Mishra.”También es más sencillo hacerles entender el tema. Cuando el programa es estrictamente en nepalí, puede resultar que simplemente piensen que no es para ellos “.

En los 26 episodios de la rama local de SSMK, el programa planteó cuestiones en áreas tales como el matrimonio infantil, los problemas relacionados con la dote y la violencia contra las mujeres.

Mishra dice que el equipo también incorporó a expertos y a autoridades de la comunidad a fin de hacer los episodios relevantes a nivel local. Considera que esto le añade una credibilidad adicional y hace al programa más digno de confianza.

Tras escuchar el programa sobre trabajo infantil transmitido en maithali, Mishra comenta que muchas personas se volvieron vacilantes respecto al reclutamiento de niños. Dicho episodio también hizo que las autoridades enviaran una advertencia a las empresas que emplean niños. “Se necesita tiempo para que estas prácticas desaparezcan“, dice Mishra. “Pero estoy seguro de que nuestro programa de radio ha comenzado una conversación muy necesaria. Es una pequeña revolución de clases “.

Cambiando actitudes respecto a temas de la mujer

Los evaluadores de SSMK señalaron que los programas locales ayudan a representar a los problemas de la comunidad con mayor precisión y, la adaptación local de SSMK llamada Manauda Ka Kura, está haciendo precisamente eso en el distrito más occidental de Accham.

A través de la radionovela, utilizando un enfoque informativo y emocional, el programa ha llamado la atención respecto al fenómeno del matrimonio infantil, que es todavía predominante en el distrito.

Captura de pantalla 2016-06-28 a las 8.21.17 a.m.Sarita, uno de los personajes de la radionovela, en una edad muy temprana fue casada contra su voluntad. A raíz de ello, se ve privada de su deseo de estudiar y muere de complicaciones en el embarazo. Por otra parte, su amiga Renuka, quien estaba en contra de la boda de Sarita, termina la escuela y le da continuidad a su formación para convertirse en una enfermera.

Mi hija nunca me perdonará,’ le dice el padre de Sarita a Renuka a modo de disculpa. Él no hizo caso a su sugerencia de postergar la boda al menos unos años.

Manauda Ka Kura recibe considerable retroalimentación y comentarios de sus oyentes, unos pocos son críticos, mientras que la mayoría aplaude los esfuerzos del programa. Según el productor del programa en Radio Ramaroshan, Bidhutma Auji, las cartas y mensajes de texto los motivan a continuar a la vez que también les muestran el impacto del programa.

Una de las cartas recibidas en el programa después del episodio sobre el matrimonio infantil resume el grado de efectividad de Manauda Ka Kura. Una joven de 16 años de edad escribe:

Mis padres son muy conservadores, y me estaban obligando a casarme. Un día yo estaba escuchando el programa de radio, y los locutores estaban hablando de los peligros del matrimonio infantil. Les pedí a mis padres que escucharan también el programa, y después eso tomaron conciencia por primera vez acerca de las realidades del matrimonio infantil. Luego, decidieron no obligarme a contraer matrimonio. El programa de radio en idioma local no sólo ayudó a educarlos, sino también les ayudó a empatizar conmigo.

Auji dice que su programa en lengua Acchameli ha aumentado la participación y el nivel de interacción con los miembros de la comunidad. También ha hecho que sea más fácil difundir información en su lengua nativa sobre los temas que más importan.

‘Cuando el programa está en una lengua local, los oyentes sienten que alguien a quien conocen y confían está hablando de sus problemas “, dice Auji. ‘Es más fácil comunicarse con palabras locales y metáforas, que pueden resultar difíciles de transmitir si se hacen en nepalí.’

Conectando a los jóvenes, los viejos, y a los hacedores de políticas

Durante casi tres años, para la familia de Sagar Bhandari en la aldea Mangalsen de Accham, escuchar a SSMK y luego a su versión local se ha convertido en una práctica habitual. Cada semana, la familia se sienta junto al aparato de radio en la sala de estar y escuchan el programa.

Con la mayor penetración de la telefonía móvil y de Internet, los jóvenes cuentan ahora con medios alternativos para acceder a la información. Bhandari, de 18 años, dice “Los adolescentes tienen muchos problemas que no pueden compartir con sus padres, y son temas que siempre les son ocultados. Pero si los padres escuchan un programa de radio que habla de esos problemas, les ayuda a entender lo que sus hijos están pasando. “

De todos modos, las estadísticas muestran que la radio sigue siendo la opción más popular de comunicación masiva para las personas de 15 a 19 años de edad, y SSMK es el programa de radio más importante para ese público. De acuerdo con la Encuesta Nacional de Demografía y Salud del 2011, el 58,5% de los hombres y 49,7% de mujeres en la población encuestada escuchan a SSMK con regularidad.

Captura de pantalla 2016-06-28 a las 8.21.32 a.m.Si bien los programas locales han roto el silencio entre las dos generaciones, la evaluación de SSMK también mostró que estos actúan como una herramienta de educación de los adolescentes en sus derechos – la edad legal para contraer matrimonio, el uso de anticonceptivos, y la legislación relativa al trabajo infantil. Los programas también han ayudado a iniciar conversaciones entre los responsables políticos y los jóvenes locales.

En los clubes de las aldeas y en las reuniones dirigidas por los jóvenes de la comunidad, estos episodios ayudan a iniciar conversaciones sobre temas importantes. Bhandari dice:

En nuestras reuniones mensuales del Club de Jóvenes se discuten las cuestiones planteadas en el programa de radio. La información no se limita al programa de radio. Las radionovelas sirven como catalizadores. Una vez que se introducen los temas, son entonces discutidos y compartidos continuamente en los lugares de trabajo, en las escuelas y en el hogar.

Prem Bahadur Buda, oficial de los Derechos del Niño del distrito de Accham, también hizo hincapié en la influencia y el impacto de los programas de radio en idioma local, sobre todo cuando estos llegan a zonas inaccesibles a los grandes medios de comunicación. ‘Cuando el programa está en un idioma local, la gente adquiere un sentido de apropiación – piensan que es un programa por y para ellos. ¡Y tienen razón!

Buda añadió que los programas en idiomas locales como Manauda Ka Kura en Acchameli también arrojan resultados positivos para los proyectos administrados por el gobierno. “Nuestros programas [de gobierno] solamente están dirigidos a ciertos grupos, por lo que no podemos incorporar todos. Pero programas como SSMK son para todos. Nadie queda fuera cuando se trata de acceder a la información.

Los jóvenes como Auji y Mishra creen que la educación y el acceso a la información son las claves para cambiar actitudes sociales. En distritos como Accham y Dhanusa, los jóvenes están en la vanguardia de este lento pero significativo cambio – haciendo a la gente consciente de los problemas y ayudando a prevenir algunos de los aspectos negativos de las prácticas del pasado a través de la información que reciben vía los programas de radio.

Programas como Manauda Ka Kura y Sangi Sang Manak Baat han demostrado ser muy relevantes en destacar los asuntos y problemas específicos de la comunidad. Son programas de la comunidad y para la comunidad.

Esto ha contribuido al crecimiento de la audiencia de SSMK en muchas áreas de difícil acceso’, dice Joshi de Equal Access Nepal. ‘SSMK está construyendo una fuerte relación con las comunidades rurales como una plataforma de medios incluyente y centrada en las personas, que escucha a sus oyentes.

Captura de pantalla 2016-06-28 a las 8.21.53 a.m.

Yvette Shirinianes, oficial de desarrollo de negocios para Equal Access.

Ayush Joshifue, el oficial superior del programa Equal Access Nepal.

Narrador: Bibek Bhandari

Lo que uno no se pregunta, simplemente, ¡no lo ve!: el programa Oportunidades, en México (#Eval Stories VII)

Evaluaciones que marcan la diferencia” es una colección de 8 historias de evaluación recogidas en distintos lugares del mundo, y una de las primeras investigaciones sistemáticas sobre los factores que contribuyen a que las evaluaciones de alta calidad sean utilizadas por las partes interesadas para mejorar los programas y proyectos, y mejorar así la vida de las personas. Estas historias reflejan no sólo el punto de vista de los evaluadores, sino también de quienes comisionan y de quienes usan las evaluaciones. Esta historia es la septima de las ocho historias desarrolladas en el marco del proyecto. Para compartirlas en Inglés y Francés, visitar el Blog Evaluations that make a difference.

——–

Captura de pantalla 2016-06-08 a las 6.55.38 a.m. Contemplar a las mujeres indígenas de la Sierra de Tarahumara, una zona de montaña en el estado de Chihuahua en el norte de México, evoca escenas bucólicas de la época de la conquista española. Estas comunidades se han mantenido durante siglos alejadas de las ciudades, agrupadas en pequeñas aldeas y grupos familiares dispersos, cultivando unos pocos productos estacionales y dedicados a la cría de pollos, cabras y ganado. Prácticamente todos sus miembros viven en la pobreza, y en muchos casos son semi-nómadas.

El acceso a la Sierra de Tarahumara es complicado, y a veces se necesitan varios días para llegar a los asentamientos. Por tanto, es muy difícil de hacer contacto con ellos para entrevistar y seleccionar las familias candidatas para el Programa de Desarrollo Humano Oportunidades.Pero el esfuerzo vale la pena porque el programa es realmente notable.

El nombre de este programa, originalmente llamado Progresa, fue cambiado posteriormente a Oportunidades, y más tarde a Prospera, nombre con que se lo conoce actualmente. Este programa, implementado en México desde el año 1997, tiene como objetivo nada menos que romper el ciclo aparentemente interminable de pobreza que caracteriza a muchas comunidades rurales. Lo hace mediante el uso de un enfoque de transferencias monetarias condicionadas (TMC), donde las familias reciben pagos condicionados a la realización de determinadas actividades, tales como asegurar la asistencia regular de sus hijos a la escuela o el cumplimiento con ciertos servicios de salud. Estos incentivos ayudan al logro de mejores niveles de educación, salud y nutrición, y proporcionan también un apoyo necesario para los habitantes de la Sierra de Tarahumara para emprender actividades económicas que les permitan aumentar sus ingresos familiares y su calidad de vida.

Captura de pantalla 2016-06-08 a las 6.55.24 a.m.Las comunidades indígenas fueron beneficiarias del programa desde su creación, a la vez que participaron también en las distintas evaluaciones realizadas entre 1999 al 2006. Sin embargo, aunque dichas evaluaciones confirmaban que los indígenas estaban participando efectivamente en el programa, no resultaba claro si estaban logrando los objetivos fijados en materia de salud, educación y, en última instancia, desempeño económico. De acuerdo con Mercedes González de la Rocha, antropóloga y directora de la evaluación cualitativa de impacto del programa Oportunidades, la ausencia de un enfoque que hiciera explícita la indagación en las comunidades indígenas había dejado un punto ciego en la base de conocimientos del programa. O, como ella dice, Lo que uno no se pregunta, simplemente, ¡no lo ve!

Esta afirmación significó un claro punto de partida para aumentar la influencia de la variable etnicidad en la nueva evaluación cualitativa desarrollada el año 2008. Para entonces, el programa tenía ya una década de experiencia en su implementación en México, lo que favoreció la realización de una evaluación exhaustiva. Los evaluadores diseñaron una estrategia para el trabajo de campo que comprendía 11 regiones indígenas interculturales en los estados de Chiapas, Chihuahua, Oaxaca y Sonora. En cada región fue analizada la cobertura y las operaciones del programa. La evaluación identificó también los principales obstáculos en la implementación del mismo, con especial atención a la relación entre los promotores y las mujeres representantes de las comunidades indígenas, las vocales.

Lo que los evaluadores encontraron fue bastante inesperado: existían serios problemas de comunicación a partir de las diferencias de lengua. Prácticamente ninguno de los promotores, y apenas unas pocas de las vocales, eran bilingües. Aunque el programa había estado operando desde el año 1997 con un mayor impacto en las zonas indígenas que en las no indígenas (como había sido documentado por evaluaciones anteriores), el importante problema de la comunicación no había sido suficientemente abordado. Por ejemplo, la evaluación encontró que las mujeres indígenas jóvenes – la mayoría de las cuales eran bilingües, aunque su castellano era a menudo muy limitado – no entendían con precisión al personal de Oportunidades y la información técnica que proporcionaban. Esta situación se agravaba en el caso de las mujeres mayores, quienes no hablaban castellano en absoluto. Los promotores asignados a la región habían hecho todo lo posible a fin de superar la barrera idiomática, pero los resultados no habían sido satisfactorios.

Captura de pantalla 2016-06-08 a las 6.55.11 a.m.En algunas áreas, la mayoría de las mujeres indígenas no comprendían qué propósito perseguía el programa. No entendían tampoco qué beneficio había en pasar horas escuchando a especialistas médicos, quienes hablaban sobre temas que ellas no entendían en un idioma que apenas podían descifrar. Algunas veces la información que se comunicaba entraba en conflicto con sus costumbres tradicionales. Por ejemplo, cuando las mujeres indígenas participaron en la capacitación sobre la importancia del examen físico para detectar un posible cáncer de mama, las hacía sentir muy incómodas la idea de un extraño tocándolas en sus partes íntimas. ¡Estas mujeres ni siquiera se desnudan delante de sus maridos! Por lo tanto, una práctica destinada a salvar sus vidas resultaba así totalmente inaceptable por razones culturales.

La evaluación encontró también que, si bien la cobertura del programa había mejorado en diversas zonas indígenas, en la Sierra de Tarahumara, un 30% de la población había quedado fuera del programa. Resultaba claro que la falta de acceso a los servicios de salud y educación que brindaba Oportunidades había sido provocado por la situación de monolingüismo, que impedía que las mujeres indígenas pudieran beneficiarse de la información escrita y oral transmitida por el personal del programa.

Era urgente tomar medidas para resolver este grave problema, y eso fue lo que hizo Oportunidades. La evaluación cualitativa sugirió que fueran reclutados jóvenes indígenas ya egresados de la escuela como promotores bilingües, a fin de contribuir a la mejora de las comunicaciones y operaciones en las mismas comunidades indígenas. Esta disposición también dio lugar a un impacto positivo adicional al proporcionar empleos y salarios a los jóvenes en su espacio vital, permitiéndoles compartir el aprendizaje adquirido con sus propias comunidades.

El entonces Coordinador General del programa Oportunidades, Dr. Salvador Escobedo, recuerda:

Logramos hacer el cambio en las reglas de operación para incluir a los promotores bilingües, y ese fue el primer paso. Luego estuvimos trabajando de manera paralela un programa de capacitación con el Instituto Nacional de Lenguas Indígenas (INALI) para generar un mecanismo para que pudieran evaluar a los jóvenes indígenas que nosotros queríamos contratar como promotores sociales que hablen una lengua indígena. Nos abocamos a trabajar con las trece lenguas más habladas, el Tzotzil, el Maya, el Totonaco, etc. Y en eso nos ayudó el INALI, porque queríamos que fueran lenguas que los indígenas pudieran entender.

Captura de pantalla 2016-06-08 a las 6.56.20 a.m.
Para ello, comenzaron capacitando en el INALI a un grupo de 15 jóvenes, hombres y mujeres, quienes se diplomaron como capacitadores de programas sociales en lengua indígena. Ellos fueron los primeros en desplazarse a las zonas más alejadas del país para llevar la voz del Programa de manera adecuada en los idiomas que las comunidades requerían. “El proyecto contemplaba preparar a 350 promotores para lograr la cobertura casi total de poblaciones indígenas monolingües, en Yucatán, Oaxaca, Chiapas, Jalisco y la Sierra de Tarahumara. Hasta que yo dejé el programa, se habían capacitado a 250 jóvenes, y estaba pendiente una nueva evaluación para saber cómo había resultado esta implementación”, sostiene Salvador Escobedo.

Finalmente, el proceso de incorporación de los promotores bilingües se desarrolló sin prisa y sin pausa durante los dos años siguientes. Esto favoreció una mayor participación e interacción de las mujeres indígenas en cada reunión, quienes fueron profundizando su entendimiento sobre la importancia de enviar a sus hijos a la escuela, alimentarlos correctamente, utilizar los recursos básicos, etc. En algunas zonas llegaron a conformar grupos de estimulación temprana para sus hijos más pequeños. El rol jugado por la evaluación cualitativa con su señalamiento sobre la marginación parcial que causaba el monolingüismo resultó clave en esta transformación.

Otro aspecto importante que fue señalado por la evaluación cualitativa del año 2008 abordaba la práctica de encuestar a cada hogar para evaluar si era o no elegible para el programa. En el caso de las comunidades de la Sierra Tarahumara, esto era redundante (además de ineficiente e incluso absurdo), ya que cada hogar era incuestionablemente pobre – por no hablar de la dificultad y el costo de llegar hasta dichas comunidades sólo para realizar la encuesta.

Escobedo, quien conocía de cerca la realidad de las comunidades indígenas de México, hizo suyo aquel señalamiento y puso en marcha la aplicación de las propuestas que le daba la evaluación cualitativa.

Captura de pantalla 2016-06-08 a las 6.55.55 a.m.La primera medida fue convencer a los funcionarios responsables y a las entidades internacionales como el Banco Interamericano de Desarrollo (BID) y el Banco Mundial, quienes colaboraban con el Programa Oportunidades, sobre la necesidad de cambiar las reglas de focalización y cobertura a fin de favorecer la implementación del programa en las zonas indígenas aisladas. Esto implicaba un desafío importante para los gerentes del proyecto pues, más allá de estar convencidos de lo oportuno de esa recomendación, debían realizar los cambios sin que pareciera desvirtuarse el espíritu del Programa Oportunidades, el cual hacía foco en situaciones de pobreza (identificadas por la encuesta de hogares), a la vez que exigía determinadas corresponsabilidades de los beneficiarios (como los controles de salud y la asistencia escolar de los niños).

A finales del 2011 y comienzos del 2012, una grave sequía afectó a la zona de la Sierra de Tarahumara, y se corrió el rumor, luego desmentido, que los indígenas se estaban suicidando por falta de alimentos. La Dra. Iliana Yaschine, quien fuera Directora de Evaluación del Programa Oportunidades en el período 2002-2006, y quien posteriormente coordinó un estudio en la Sierra de Tarahumara documentando el trabajo de Oportunidades ante la crisis generada por la sequía, recordaba lo siguiente:

Esto se publicó en un diario de Chihuahua y generó una respuesta inmediata por parte del Gobierno Federal, y por eso decidió intervenir en distintas regiones con la Secretaría de Desarrollo Social. Fue entonces que comunicaron la decisión de que Oportunidades intervenga para solucionar el problema justamente en la zona de la Sierra de Tarahumara.

La importante movilización y atención prestada a la zona permitió detectar que hubo 8 mil familias (40 mil indígenas) a quienes se había dado de baja pues no habían cumplido con las corresponsabilidades, tales como mandar a los hijos a la escuela o asistir a las charlas de salud (por diversos factores, entre ellos la barrera idiomática, como lo señaló la evaluación cualitativa). La cifra era preocupante, y su reincorporación iba a resultar difícil, por no decir, imposible dadas las reglas de operación del programa. Esto lo reafirma Escobedo cuando dice que:

El Banco Mundial y el BID se oponían a eliminar el requisito de las corresponsabilidades en esas zonas, en parte, porque no querían desvirtuar el Programa, y que se generara un nuevo Programa; pero eso no se podía hacer de la noche a la mañana. Las reglas de operación así lo indican; y es triste, doloroso, pero real.

Captura de pantalla 2016-06-08 a las 6.57.00 a.m.Sin embargo, dada la magnitud del problema en el contexto de la grave sequía que afectaba a los indígenas de la Sierra de Tarahumara, la situación pudo resolverse a partir de la intervención del mismo Presidente de la República, Felipe Calderón quien ordenó la inmediata reincorporación de 8 mil familias. Esto pudo hacerse reincorporándolas al Programa de Apoyo Alimentario, programa de transferencias que no exige el cumplimiento de corresponsabilidades, operado también por la Coordinación Nacional del Programa Oportunidades. Los promotores indígenas llevaron la buena nueva a sus comunidades, a la vez que se impulsó una renovada capacitación de promotores bilingües a fin de atender de inmediato a las familias indígenas.

Adicionalmente, se cambiaron las reglas del programa Oportunidades a fin de instrumentar la estrategia de cobertura total –recomendada por la evaluación cualitativa-, la cual permitía en localidades pequeñas y distantes la incorporación de familias al programa sin el requisito de la encuesta de hogar. Esta modificación ayudó a ampliar la cobertura del Programa, lo cual sumado a la reincorporación de las familias comentada antes, permitió a partir de entonces atender a toda la población indígena de la Sierra de Tarahumara.

Según Yaschine:

Sin la evaluación cualitativa, no hubiera sido posible hacer el cambio, aun con la crisis de la sequía, esa es mi percepción. Yo vi en el terreno la implementación de esta decisión en el momento de la crisis, donde se hizo un esfuerzo adicional para implementar el apoyo a las familias afectadas, ya no en los hogares sino en los Centros de Atención y Registro donde se entregaban las despensas. Recuerdo que se mencionó mucho lo que las evaluaciones cualitativas dijeron sobre este tema, y que eso había impulsado los cambios durante la crisis.

Las conclusiones y recomendaciones de la evaluación cualitativa realizada en las comunidades indígenas resultaron fundamentales para la toma de decisiones, siendo un insumo clave para que los directivos del programa pudieran realizar cambios que impactarían directamente en los participantes del programa. En el caso de los promotores bilingües, la evaluación señaló una dimensión de adecuación cultural que había sido desatendida en el diseño original de la intervención, la cual -una vez contemplada- permitió potenciar el efecto de la misma. En cuanto a la implementación de la estrategia de cobertura total en la Sierra de Tarahumara, la coyuntura de la sequía favoreció implementar una recomendación de la evaluación para la mejor atención de sus comunidades indígenas.

La historia de la evaluación cualitativa muestra la relevancia de la sensibilidad cultural en la evaluación de los proyectos sociales. En palabras de Gonzalez de la Rocha:

Lo que uno no se pregunta, simplemente, ¡no lo ve!


Captura de pantalla 2016-06-08 a las 6.56.41 a.m.

Mercedes González de la Rocha y Agustín Escobar Latapí fueron co-autores de esta historia, y dirigieron la evaluación cualitativa externa del programa Oportunidades, haciendo las recomendaciones que llevaron a mejoras importantes en la vida de los beneficiarios.

Iliana Yaschine fue Directora de Evaluación en el programa Oportunidades desde el año 2002 al año 2006.

Salvador Escobedo (Director del programa en aquel  tiempo) brindó valiosas ideas para esta historia.

Pablo Rodríguez-Bilella y Omar Zevallos contribuyeron a perfilar la historia. Las fotografías fueron tomadas por Agustín Escobar Latapí e Iliana Yaschine.

Página oficial del programa, con abundante información general sobre el mismo.

Sitio web de la Universidad de Texas que concentra información sobre las evaluaciones externas del programa.

El poder de los datos en las manos de la comunidad: Naciones Originarias en Manitoba, Canadá (#Eval Stories VI)

Evaluaciones que marcan la diferencia” es una colección de 8 historias de evaluación recogidas en distintos lugares del mundo, y una de las primeras investigaciones sistemáticas sobre los factores que contribuyen a que las evaluaciones de alta calidad sean utilizadas por las partes interesadas para mejorar los programas y proyectos, y mejorar así la vida de las personas. Estas historias reflejan no sólo el punto de vista de los evaluadores, sino también de quienes comisionan y de quienes usan las evaluaciones. Esta historia es la sexta de las ocho historias desarrolladas en el marco del proyecto. Para compartirlas en Inglés y Francés, visitar el Blog Evaluations that make a difference.

——–

Captura de pantalla 2016-06-02 a las 4.49.15 p.m.
Emily Chesne, una enfermera de salud comunitaria en Changing River, no se atribuye el mérito de las mejoras en los servicios de salud prenatal de su comunidad que ella ayudó a implementar.
 Durante años, las madres aborígenes tuvieron que viajar largas distancias para hacerse los chequeos prenatales. Además, el sistema de atención sanitaria mantenía con muchas deficiencias los registros de esas prácticas. Pero gracias a un proyecto piloto denominado “Asistencia oportuna garantizada” (Patient Wait Times Guarantee) y a gente como Chesne que se toman muy en serio su trabajo, la situación ha mejorado radicalmente.

Es cierto que Chesne está satisfecha con el éxito alcanzado por su equipo en transformar, a través de dicho proyecto, los servicios de salud prenatal de su comunidad. Sin embargo, ella le resta importancia a su papel como agente de cambio. Chesne considera que su participación en la recogida de datos, el desarrollo de herramientas y las actividades de mapeo de procesos – todos componentes claves de la iniciativa – simplemente forman parte de su ocupado y exigente trabajo: ‘Soy una enfermera de salud comunitaria,’ dice ella, ‘y esto se remonta a mi formación en enfermería -. Cuando inicias un proyecto, tienes que terminarlo.’

Entre los socios de Chesne en esta innovadora iniciativa se incluyeron colegas, gerentes, líderes de la comunidad y personas investigadoras de Health Canada. Dichas personas fueron responsables de coordinar y evaluar un total de 19 estudios piloto en las comunidades aborígenes de todo Canadá.

El equipo de investigación incluía a la líder del proyecto, Judy Watson, una veterana con 30 años de experiencia en programas gubernamentales sanitarios y de investigación con Health Canada; Samir Khan, investigador senior y principal persona de contacto de Chesne; y Stephanie Potter, del Grupo Whetstone, responsable de evaluación del programa.

Colaborando y apoyando a estos investigadores, Chesne, sus colegas y las enfermeras de otras comunidades aborígenes participantes fueron capaces de usar los datos recogidos en el marco de esta iniciativa para hacer más accesibles y efectivos los servicios de salud. Disponer de esos datos era importante, y Chesne sabía que si ella y sus colegas contaban con información de primera mano, podrían desarrollar mejores servicios para sus clientes prenatales.

La cuestión es que las necesidades de atención de salud materno-infantil en Changing River son apremiantes. Por un lado, la población de la comunidad es muy joven, con una edad media de apenas 21 años y en rápido crecimiento. Por otra parte, el acceso a la atención sanitaria es un problema mayor dado que la comunidad se encuentra a 3 horas del centro urbano más cercano.

La iniciativa – y de manera importante, su fuerte componente evaluativo – dio lugar a una hallazgo que cambiaría el curso de los acontecimientos para las mujeres embarazadas de Changing River. La evaluación permitió a Chesne y sus colegas descubrir que la razón de la ausencia de datos era porque las mujeres no estaban asistiendo a sus citas prenatales del tercer trimestre.

No fue difícil entender los motivos. Anteriormente, las mujeres podían realizar sus consultas prenatales así como sus partos en un hospital situado a unos 45 kilómetros de la comunidad. Sin embargo, dicho hospital no renovó su licencia para efectuar partos y, a consecuencia de ello, todos los terceros controles trimestrales y partos habían sido derivados a un hospital ubicado a unos 80 km – casi el doble de distancia.

Chesne sabía que muchas mamás locales eran jóvenes, pobres, y se sentían incómodas en ambientes poco familiares. Sospechaba que estas circunstancias convertían en un desafío el viaje de 90 minutos a aquel distante hospital: Tenemos una gran cantidad de madres jóvenes en nuestra comunidad, que son tímidas y no se sienten cómodas rodeadas de profesionales y médicos.

Pero no fue hasta que se inició la recolección de datos, que el equipo de salud comunitaria tuvo forma de saber si las mujeres estaban asistiendo a sus citas una vez derivadas al hospital más grande. Involucrándose en la evaluación, descubrieron que muchas madres en situación de riesgo llegaban al momento del parto sin haber tenido atención prenatal durante varios meses.

Usando la evidencia disponible

Captura de pantalla 2016-06-02 a las 4.49.33 p.m.Armado con la evidencia que necesitaba, el equipo inició una acción inmediata mediante la implementación de visitas médicas en la misma comunidad para las pacientes embarazadas. Chesne comenta: Conseguimos inicialmente que uno de los médicos del hospital atendiera en nuestra clínica. Tener el doctor aquí funcionó muy bien y ayudó mucho con la recopilación de datos .

La mejora de las tasas de atención prenatal del tercer trimestre condujo a la identificación de brechas adicionales entre la atención y los riesgos de salud no reconocidos en las pacientes. Un mejor acceso a los archivos del médico ayudó al equipo a darse cuenta de que muchas pacientes embarazadas no se estaban realizando análisis de sangre, incluyendo la prueba de tolerancia a la glucosa para la diabetes gestacional. Dice Chesne, Tratamos de educar mejor a nuestras embarazadas respecto a qué pruebas necesitan y por qué.

Mejorar el cumplimiento de los análisis llevó también a descubrir que las tasas de diabetes eran mucho mayores de lo que podían sospechar. Éste es un asunto sanitario grave que, de acuerdo con Chesne, podría tener repercusiones en el largo plazo. Al facilitar el diagnóstico precoz, estos problemas pueden ser identificados y subsanados.

El equipo continuó utilizando los datos de la iniciativa para reformar la atención sanitaria prenatal y perinatal de la comunidad, preparando el escenario para un futuro más saludable. Por primera vez, la clínica fue gestionada a partir de una cultura centrada en el paciente. Según Chesne, Ahora las mamás vienen y aprenden a realizar algunas de sus propias pruebas prenatales. Logramos que nuestro médico anime un grupo para compartir información con los pacientes, a la vez que mantiene sesiones individuales .

Chesne reflexiona, Aprendimos que las cosas no estaban sucediendo como creíamos. Debido a este proyecto, realizamos cambios.

Y esos cambios tuvieron un efecto inmediato y sustancial en la vida de las personas. Los líderes de la iniciativa, especialmente Watson, optaron por priorizar la participación comunitaria. Los agentes de salud de terreno como Chesne fueron verdaderos colaboradores en la evaluación, facilitando la apropiación comunitaria de los datos y la realización de los cambios necesarios. Una vez realizados estos cambios, muchas de las mujeres de Changing River que habían estado en riesgo de sufrir complicaciones vinculadas con el embarazo, tenían ahora acceso a diagnóstico y tratamiento.

La comunidad de Chesne no fue la única en apropiarse de los datos de la iniciativa. Watson recuerda una reunión del año 2009 con las enfermeras de una comunidad de Manitoba, aún más remota y con menos recursos que la clínica del Chesne en Changing River. En aquel momento, la crisis de la gripe porcina se encontraba en su apogeo y estaba siendo abrumadora para la comunidad. Watson se preguntaba si las enfermeras tendrían el tiempo o la motivación para continuar con la evaluación. Pero sus temores se disiparon cuando todas ellas llegaron a su reunión.

Watson se conmovió: “Dos enfermeras llevaban los archivos del estudio debajo del brazo; ni siquiera tenían maletines. Una enfermera había perdido a un miembro de su familia durante el proceso, pero aún así logró mantener los archivos del estudio en orden. Realmente querían mantener esa forma de trabajar, no sólo por ellas y por nosotros, sino también por la comunidad. Eso es una muestra de lo importante que es la comunidad. Contar con la evaluación, y ser parte de la misma, fue muy importante para todas ellas.

Potter recuerda otra comunidad donde las enfermeras fueron capaces de utilizar datos para efectuar cambios. Quedó impresionada por la transformación de un grupo de enfermeras durante la evaluación, ya que en un primer momento encontró aprensión, como si las cosas hubieran ido mal con investigaciones anteriores. Pero hacia el final de la iniciativa, las agentes de salud le habían mostrado a Potter que incluso las personas sin una sólida formación en investigación podían conseguir que sus comunidades obtuvieran el máximo provecho de los datos a los que tenían acceso. Recuerda:

No tenían bases de datos informatizadas, apenas tenían pedazos de papel. Pero hacia el final del proyecto, hicieron que esos pedazos de papel significaran algo. Siempre recordaré lo que decían entonces: Los datos son buenos. Eso aprendieron. Podían ver patrones y hacer cambios en sus comunidades, incluso sin estadísticas sofisticadas.

Empoderamiento comunitario a través de la colaboración de los actores relevantes

Captura de pantalla 2016-06-02 a las 4.49.46 p.m.
En cada nivel de participación, los diferentes actores involucrados describen la iniciativa “Asistencia oportuna garantizada” como un ejemplo especialmente potente de programación comunitaria financiada por el gobierno y orientada a capacitar a los agentes de campo para lograr cambios. Pero, ¿qué la hizo diferente de otras iniciativas? Tradicionalmente, la investigación en salud en las comunidades aborígenes se ha caracterizado por tener un enfoque de arriba hacia abajo. Khan explica que por lo general este tipo de investigaciones se llevan a cabo por científicos externos a la comunidad, que solicitan excepcionalmente una retroalimentación. Según Potter,
La dinámica histórica entre el gobierno federal y las comunidades de pueblos originarios no ha sido positiva. Ese es el contexto general donde este trabajo se desarrolla, por lo que no podemos pretender que no existe. Este proyecto, sin embargo, fomentó un espíritu de verdadera colaboración. En palabras de Khan, Por lo general es difícil que la gente de diferentes áreas colabore. Pero ese no fue el caso en este proyecto. Watson está de acuerdo. Ella caracteriza a Health Canada y a su socio en el liderazgo del proyecto, la Asamblea de los Pueblos Originarios, como verdaderos socios desde el principio hasta el fin. Watson y Khan coinciden en que lo mismo puede decirse del equipo de evaluación, haciendo hincapié en que fueron capaces de formar una verdadera alianza con Potter y sus colegas, apoyándose entre sí para informarse mutuamente. Potter se refiere a la iniciativa como su piedra de toque. De hecho, su propio enfoque de evaluación se fue moldeando en base a las observaciones del trabajo de Watson en la adopción de la misión de Health Canada de empoderamiento de la comunidad y su disposición a tomar riesgos. Potter encontró que el trabajo con Watson y su equipo fue estimulante, informativo y educativo, en la medida que se sintieron … cómodos con la idea de no saber necesariamente lo que iba a suceder. Dieron vía libre a los evaluadores para hacer preguntas y encontrar las respuestas.

Preguntas y respuestas – de ambos lados

Por lo que respecta a la comunidad, las herramientas y los procedimientos de recogida de datos se perfeccionaron en base a los resultados de la evaluación y a la retroalimentación directa de los agentes de terreno. Tanto Watson como Khan tuvieron la sensación que las comunidades se sentían muy cómodas de contactarlos con preguntas y sugerencias. Según Khan, esta retroalimentación fue vital para el éxito de la iniciativa: “Recibíamos datos a lo largo de todo el proceso. Tratábamos de alcanzar explicaciones en Ottawa, pero podíamos hacer preguntas directamente a las personas que proporcionaban los datos. De este modo, podíamos trabajar juntos para encontrar las respuestas mucho más rápida y fácilmente. Obteníamos las explicaciones de la gente que tenía las respuestas”.

Captura de pantalla 2016-06-02 a las 4.50.40 p.m.Aún más importante, para Khan esta metodología demostró que si las comunidades llevan la iniciativa, y los investigadores encuentran el modo de apoyarlas, se alcanzan logros relevantes en las investigaciones patrocinadas por el gobierno. Khan sostiene que las reuniones grupales entre evaluadores y participantes al finalizar la recolección de datos resultaron una experiencia de aprendizaje especialmente potente.

Tan importante como escuchar de primera mano acerca de los desafíos – viajar en invierno, conseguir el reembolso por los viajes, la rotación de personal – fue también de vital importancia obtener explicaciones reales de lo que se estaba aprendiendo. La verdadera innovación resultó descubrir cómo favorecer que las comunidades aborígenes lideraran el proceso, y a partir de ahí encontrar la forma de apoyarlos.

A su vez, las enfermeras que recopilaron los datos encontraron que su trabajo se vio facilitado por el apoyo del equipo de investigación del programa. Según Chesne:

Mantener reuniones y hablar con los investigadores, especialmente con Khan, te motivaba a regresar a las comunidades y a hacerlo mejor. Fue un proceso muy largo y podía resultar frustrante. Yo iba a las reuniones o mantenía teleconferencias, y ellos me comentaban lo que estaba pasando y me inspiraban para terminar el programa. Es importante contar con una buena comunicación para ser capaz de hablar con la gente que realizar el procesamiento de los datos.

Este apoyo refleja el espíritu de colaboración que marcó el proyecto, el auspicio del liderazgo ejercido por Watson y la facilitación del equipo de evaluación.

Dándole la vuelta – para bien


Captura de pantalla 2016-06-02 a las 4.50.10 p.m.La evaluación del programa “Asistencia oportuna garantizada” tuvo un impacto duradero en todos los actores relevantes: los pacientes, los profesionales de salud comunitarios, los investigadores del gobierno y el equipo de evaluación. De hecho, Watson, Khan, y Potter coinciden en afirmar que la evaluación va a tener una marcada influencia en cómo van a participar los distintos actores en futuras investigaciones con comunidades en situación de riesgo.

Khan hace hincapié en que las lecciones que él tomó de esta iniciativa, incluyendo la importancia de ayudar a las comunidades a apropiarse de su propio cuidado de la salud, van a moldear decisivamente el resto de su carrera.

En palabras de Potter, el proyecto le ayudó a aprender que la evaluación exitosa …tiene que ver con la construcción de relaciones y trabajar de esa manera el desarrollo comunitario indígena: dirigido por la comunidad, al ritmo de la comunidad. ¿De quién es el proyecto? ¿De quiénes son los datos? Tiene que haber espacio para las personas afectadas. No es sólo la historia del gobierno.

La iniciativa “Asistencia oportuna garantizada” ilustra que una evaluación puede ser una historia acerca de todos los actores relevantes trabajando juntos para realizar cambios positivos en los individuos y las comunidades – siempre que los investigadores no obstaculicen el camino y permitan a las comunidades tomar la iniciativa.

Nota: Los eventos descritos en esta historia son verdaderos. Sin embargo, a petición de los involucrados, se han cambiado los nombres de personas y lugares. Basta con decir que los acontecimientos ocurrieron en una comunidad de Naciones Originarias (nativos americanos) en el norte de Manitoba.

————-

Stephanie Ptter, responsable de evaluación del programa, SP Consulting y Grupo Whetstone

Samir Khan, anterior investigador analista senior, First Nations Inuit Health Branch, Health Canada

Judy Watson, anterior líder del proyecto, First Nations Inuit Health Branch, Health Canada

Sara Pederson condujo entrevistas y bosquejó la historia de la evaluación

Captura de pantalla 2016-06-02 a las 4.50.26 p.m.

Aprendizaje e ingresos: capacitaciones que funcionan (#Eval stories V)

Evaluaciones que marcan la diferencia” es una colección de 8 historias de evaluación recogidas en distintos lugares del mundo, y una de las primeras investigaciones sistemáticas sobre los factores que contribuyen a que las evaluaciones de alta calidad sean utilizadas por las partes interesadas para mejorar los programas y proyectos, y mejorar así la vida de las personas. Estas historias reflejan no sólo el punto de vista de los evaluadores, sino también de quienes comisionan y de quienes usan las evaluaciones. Esta historia es la quinta de las ocho historias desarrolladas en el marco del proyecto. Para compartirlas en Inglés y Francés, visitar el Blog Evaluations that make a difference.

——–

Captura de pantalla 2016-05-22 a las 7.17.03 a.m.Al igual que muchos países, Kenia tiene una enorme población de jóvenes desempleados. Dependiendo de la perspectiva que uno asuma, esto resulta o bien una bomba de relojería, o bien una oportunidad para la formación profesional: una formación pertinente que permita a los jóvenes encontrar trabajo, ganar y ahorrar dinero, y salir de la pobreza.

El Instituto Comunidad y Progreso de Empoderamiento Juvenil (CAP YEI) abrió su primer centro de formación en Nairobi en el año 2011. En la India, el CAP ya había alcanzado un cierto éxito en brindar a jóvenes vulnerables la oportunidad de adquirir habilidades de trabajo útiles a través de la formación técnica y profesional. Ahora, el CAP YEI estaba dispuesto a aprender cómo este enfoque podría funcionar en Kenia. Financiado por la Fundación MasterCard en el marco de su iniciativa Aprende, Gana y Ahorra, el CAP YEI en colaboración con la Universidad de Minnesota, evalúa el desempeño de su trabajo para hacer cambios tanto en el corto como en el largo plazo y aprender sobre lo que funciona y lo que no. Las evaluaciones en curso han ayudado a dotar a los participantes de Kenia con habilidades técnicas y psicológicas para conseguir un trabajo o bien para iniciar su propio negocio.

Douglas Moseti, coordinador regional de la CAP YEI de Nairobi, ha estado vinculado al programa desde que éste comenzó. “Nos dirigimos a personas entre 18 y 25 años de edad que puedan demostrar que proceden de entornos vulnerables. En general, son personas huérfanas o provienen de familias monoparentales o de familias numerosas, donde un alto número de personas dependen de un único sostén de la familia.

Moseti sabe lo que significa necesitar una mano amiga en la vida. Él creció en la pobreza y se vio obligado a abandonar la escuela varias veces cuando su madre no pudo pagar las cuotas escolares. Acabó pudiendo finalizar la escuela secundaria gracias a un afortunado encuentro en su iglesia. Sin embargo, con un diploma de escuela secundaria sólo podía aspirar a un trabajo con una remuneración equivalente a US $1 al día. Un curso de capacitación profesional de 2 años estaba fuera de su alcance, al menos por el momento.

Captura de pantalla 2016-05-22 a las 7.17.17 a.m.CAP YEI ofrece 3 meses de capacitación adaptada a la demanda del mercado laboral. Para determinar qué cursos ofrecer, el personal de la CAP YEI explora el mercado local, y contacta a empresas y a empresarios a fin de identificar qué puestos de trabajo de nivel inicial o de entrada están disponibles. Con su primer centro en Nairobi – donde ahora tienen nueve – descubrieron que muchos hoteles requieren personal y guardias de seguridad, y que las empresas de construcción necesitan constructores y electricistas. Aprovechando que CAP YEI se vincula con los potenciales empleadores para identificar qué puestos de trabajo podrían ofrecer a sus graduados, también les pide opinión acerca del contenido de los cursos de capacitación, les anima a que ofrezcan tutorías personalizadas para los estudiantes de CAP YEI así como pasantías en su empresa una vez éstos se hayan graduado en el programa.

Es importante destacar que el ciclo de capacitación no termina con las clases, como ocurre en la mayoría de los programas de capacitación profesional. Cada ciclo culmina una vez cada graduado se ha ubicado en una pasantía o un empleo, o bien ha comenzado su propio negocio. Moseti describe lo que sucedió con el primer grupo de alumnos.

Había 141 estudiantes en esa primera cohorte, atendidos por 6 personas de CAP YEI -quienes éramos muy nuevos. Nos dijeron que deberíamos ubicar en empleos por lo menos al 80% de ellos. Esa vez no alcanzamos la meta, pues la industria no creía que un nuevo empleado pudiera ser entrenado en apenas 3 meses, y no teníamos manera de mostrar a los posibles empleadores que los alumnos sí podían hacer el trabajo que se les encomendaba. Pero nos las apañamos para ubicar laboralmente al 67% de los alumnos, incluyendo a un 5% que iniciaron sus propios negocios.

Luego pasa a describir la evaluación que se lleva a cabo una vez se ha conseguido ubicar laboralmente a cada grupo que se gradúa.
Captura de pantalla 2016-05-22 a las 7.17.54 a.m.Una vez que una cohorte ha completado todo, repasamos la instancia que hemos terminado antes de comenzar con un nuevo grupo. Los facilitadores, el coordinador regional, y el director del programa describen todo el proceso. Nosotros hacemos preguntas: ¿Tenemos las personas adecuadas en las clases? ¿Les transmitimos las habilidades adecuadas? Nos fijamos también en la asistencia del estudiante a las capacitaciones y en el trabajo, y nos preguntamos si su ubicación laboral resultó positiva. ¿Qué curso brindó la mejor oportunidad de una buena ubicación laboral? Cuando la capacitación no conduce a puestos de trabajo, realizamos cambios y procuramos conseguir más gente de la industria que nos ayude y nos diga qué falta, y así ofrecemos eso. En un centro donde los estudiantes tenían dificultades para conseguir trabajo en el área de electricidad y electrónica, llevamos a cabo un nuevo análisis de mercado y diseñamos un plan de estudios para ofrecer capacitación en la construcción. En otro lugar, la confección de prendas de vestir se sustituyó por la capacitación en sistemas de seguridad y de gestión.

James Chepyegon, director del proyecto CAP YEI, utiliza un sistema de información de gestión desarrollado por CAP YEI para recoger datos sobre las inscripciones en los cursos, sobre los graduados por cohorte, la tasa de ubicación de los egresados en el mercado de trabajo, y los cambios en las actitudes y formas de vida de los estudiantes después del entrenamiento.

Los estudiantes son encuestados antes y después de la capacitación para ver cómo sus actitudes han cambiado, cómo realizaron la transición hacia al empleo, cómo han creado sus propias empresas, cómo sus puntos de vista sobre la vida han cambiado como resultado de la formación y el empleo, y cuán bien comprenden las relaciones laborales con los empleadores.

Estos datos relacionados con el proyecto se combinan con datos recogidos anualmente por un equipo de la Universidad de Minnesota, quien viaja hasta Kenia para estudiar a las principales partes interesadas del proyecto, incluyendo por tanto a los participantes y a los empleadores. Sus datos se compilan en un estudio longitudinal para ver cómo la capacitación cambia la trayectoria de vida y modos de vida de los participantes. Esta evaluación de impacto está diseñada para enfatizar el componente de aprendizaje en el monitoreo, la evaluación y la dimensión educativa del programa, a fin de ayudar a CAP YEI a aprender durante la implementación misma de sus acciones y responder a las necesidades de los jóvenes destinatarios.

Uno de los hallazgos más sorprendentes de las evaluaciones ha sido el importante rol que juegan las habilidades para la vida en la preparación de los jóvenes para su inserción en el mundo del trabajo. La profesora Joan Dejaeghere, que lidera el equipo de la Universidad de Minnesota, comenta respecto a las visitas anuales de su equipo, donde realiza encuestas y entrevistas con los participantes.

Año tras año, CAP YEI brinda habilidades para la vida, generando confianza en sí mismos, enseñándoles a ser asertivos, formándolos en la realidad de los mercados de trabajo y su funcionamiento, ubicándolos respecto a dichos mercados y lo que pueden esperar de ellos, y sumando conocimientos de educación financiera. Los jóvenes dicen que esa preparación para la vida es lo que marca la diferencia. Dicen: ahora puedo insertarme en algún trabajo, empezar algo, moverme a algo nuevo y administrar las finanzas.

Captura de pantalla 2016-05-22 a las 7.17.32 a.m.La Dra. Heidi Eschenbacher, otro miembro del equipo, viene a reafirmar esa idea: “Nuestros hallazgos sugieren que la preparación para la vida, combinada con habilidades técnicas, ayudan a los jóvenes a adquirir la confianza suficiente para sentir que ellos pueden utilizar esas habilidades técnicas. En otras palabras, necesitan habilidades para la vida para alcanzar la confianza que les permita ser eficaces en sus habilidades técnicas.

El trabajo que se lleva a cabo sobre las habilidades para la vida va desde tutorías con hombres de negocios exitosos (muchos de los cuales comenzaron con poco pero lograron tener éxito), a la capacitación en educación financiera y la capacitación para jóvenes emprendedores que buscan iniciar su propio negocio. Chepyegon confirma que las evaluaciones muestran claramente que los vínculos que se establecen entre graduados y empleadores, así como el trabajo sobre habilidades para la vida, son elementos que funcionan muy bien en el programas. ‘Son’, dice, ‘el aspecto más relevante para el éxito del CAP YEI en su objectivo de conseguir oportunidades de acceso para los jóvenes.’

Su fuerza reside, en parte, en la forma como el módulo de habilidades para la vida ha ido cambiando en respuesta a las evaluaciones que han hecho los participantes a lo largo del tiempo. Chepyegon añade:

El departamento de iniciativa empresarial se hizo más fuerte, capaz de dar cuenta de las actividades desde el momento en que se identificaron los potenciales emprendedores individuales para ayudarles a poner en marcha sus pequeños negocios, incluyendo la creación y registro de grupos de iniciativa empresarial, y el apoyo para el éxito de sus pequeños negocios. Alrededor de 200 empresarios están actualmente funcionando en trabajos de tiempo completo y parcial.

Moseti comprende bien el incremento de confianza que brinda el hecho de tener un mentor, ya que él mismo lo experimentó. Recuerda:

Una persona prominente me encargó el trabajo de la instalación eléctrica en un edificio muy grande. Dios me concedió el favor del jefe. Siempre que existía la necesidad de un chofer -y dado que yo estaba calificado-, yo era convocado para comprar materiales y hacer recados que requerían de un conductor. Me convertí en su hombre clave en la obra y terminé por convertirme en el capataz de su edificio con responsabilidades eléctricas y en otros sectores de la construcción.

Más tarde Moseti se vinculó a la empresa de Tecnologías de Comunicación e Información de su jefe, fue promovido y consiguió un buen aumento de sueldo. Recientemente, Moseti se reunió con la primera cohorte de graduados en Nairobi que fue seguida por la Universidad de Minnesota para su estudio longitudinal, y tuvo la oportunidad de valorar en qué medida el proyecto puede considerarse un éxito:

Setenta y ocho de los 141 estudiantes asistieron a esa reunión. Todos, menos uno de ellos, estaban trabajando. Descubrí que la mayoría de estos jóvenes (casi el 40%) habían comenzado con auto-empleo en grandes empresas. Una señora se había convertido en una agente para grandes bancos interesados en extender sus servicios a las zonas rurales. Ella dice estar ganando 30.000 chelines al mes a partir de estos servicios de banca móvil, los que incluyen Mpesa, Equity Agent, y Cooperative Bank Agent. Otro graduado importa ropa y zapatos de Dubai, y los vende en Kenia.

La alianza entre aprendizaje y evaluación en CAP YEI está contribuyendo de forma notable a ayudar a los jóvenes a salir adelante y a aprender de lo que se vaya interponiendo en su camino. El profesor David Chapman, co-líder de la evaluación externa, comenta:

Captura de pantalla 2016-05-22 a las 7.18.05 a.m.Ha habido algunas sorpresas en el cuarto año de la recogida de datos de campo, planificada para 5 años. Si bien la sabiduría convencional podría sugerir que los participantes pasan por el entrenamiento y luego encuentran o crean un puesto de trabajo, la realidad es que ellos son actores multitarea para ganar dinero. En sus esfuerzos para iniciar sus propios negocios, estos jóvenes tienen problemas para conseguir el capital necesario. Eso está cambiando lentamente. Los bancos en Kenia han estado a la vanguardia de los servicios bancarios para jóvenes y han encontrado que los programas de préstamos grupales tienen una mejor tasa de reembolso de la que reciben de sus clientes más convencionales.

CAP YEI, en respuesta a este hallazgo, ha procurado alcanzar una serie de alianzas con los proveedores de servicios financieros a fin de dar seguimiento a indicadores claves, como el número de cuentas abiertas, la cantidad de fondos otorgados, la media de capital inicial, la media de ganancia tras la puesta en marcha y el promedio de ahorro por cliente. Todo con el propósito de facilitar a los graduados de su programa obtener el apoyo financiero que necesitan para iniciar sus propios negocios.

En definitiva, el proceso de mejora continua del programa se ha mostrado muy útil para ayudar a los jóvenes a conseguir y mantener buenos empleos. Sobre todo en situaciones dinámicas como las que representan los mercados de trabajo en los que muchos jóvenes ya están listos para entrar.

—————-

Christopher Johnstone, Acacia Nikoi, y los investigadores de la University of Minnesota llevaron adelante la evaluación externa anual del programa, y presentaron los datos que ayudaron a refocalizar la programación del proyecto y mejorar los servicios para los jóvenes.

James Chepyegon, ejecutivo de monitoreo y evaluación, fue el responsable de llevar adelante el monitoreo interno del proyecto, interpretar las implicaciones de los datos de monitoreo y evaluación, y capacitar al personal del proyecto.

Ashok Ankathi (director del proyecto en aquel entonces) realizó cambios programáticos a partir de las recomendaciones de la evaluación.

Douglas Mose  (coordinador regional en Nairobi en ese tiempo) brindó el contexto de los beneficiarios que ayudó a perfilar la historia.

Narradora: Deborah Glassman

Captura de pantalla 2016-05-22 a las 7.18.23 a.m.

 

Mapa Diagnóstico de la Evaluación en #Argentina – Red EvaluAR. #Eval

Captura de pantalla 2016-05-18 a las 4.54.16 p.m.La Red EvaluAR -Red Argentina de Evaluación- acaba de presentar en sociedad el informe Mapa Diagnóstico de la Evaluación en Argentina. El mismo es fruto del trabajo voluntario y profesional de diversos colegas de la red EvaluAR, quienes bajo la coordinación de Natalia Aquilino y Paula Amaya, han realizado un primer avance muy valioso para mapear  la realidad de la evaluación de políticas públicas en Argentina.  El proyecto se originó cuando la Red EvaluAR resultó ganadora de uno de los proyectos de apoyo entre pares auspiciados por EvalPartners, titulado “Celebrando el 2015 como Año Internacional de Evaluación: logros y retos de la evaluación en Argentina”.

La publicación apunta a desarrollar un primer mapa diagnóstico de la evaluación en la Argentina sobre un conjunto de factores orientados a dar cuenta de distintos aspectos del proceso evaluativo. Para ello, se adoptó una estrategia cualitativa que rescata a los actores que intervienen en distintos aspectos de la evaluación a nivel estatal y provee insumos críticos para conocer:

a) algunos aspectos conceptuales acerca de cómo se entiende a la evaluación;

b) la normativa nacional y provincial vigente;

c) la calidad del diseño de planes y programas para ser evaluados;

d) algunas experiencias de evaluación reconocidas;

e) la relación de la evaluación con la calidad de las políticas públicas,

f) las oportunidades y desafíos que se presentan para fortalecer la mirada evaluativa y la cultura de evaluación en Argentina.

El trabajo ofrece una mirada tanto sobre el nivel nacional, como también abordaje particulares a la realidad de la evaluación en la Ciudad Autónoma de Buenos Aires, y las provincias de Córdoba, Mendoza, Salta, y Corrientes.

Una brevísima reseña del trabajo se ilustra en el siguiente video, y el trabajo completo puede consultarse aquí: Mapa Diagnóstico de la Evaluación en Argentina.

 

 

A %d blogueros les gusta esto: