Lo que uno no se pregunta, simplemente, ¡no lo ve!: el programa Oportunidades, en México (#Eval Stories VII)

Evaluaciones que marcan la diferencia” es una colección de 8 historias de evaluación recogidas en distintos lugares del mundo, y una de las primeras investigaciones sistemáticas sobre los factores que contribuyen a que las evaluaciones de alta calidad sean utilizadas por las partes interesadas para mejorar los programas y proyectos, y mejorar así la vida de las personas. Estas historias reflejan no sólo el punto de vista de los evaluadores, sino también de quienes comisionan y de quienes usan las evaluaciones. Esta historia es la septima de las ocho historias desarrolladas en el marco del proyecto. Para compartirlas en Inglés y Francés, visitar el Blog Evaluations that make a difference.

——–

Captura de pantalla 2016-06-08 a las 6.55.38 a.m. Contemplar a las mujeres indígenas de la Sierra de Tarahumara, una zona de montaña en el estado de Chihuahua en el norte de México, evoca escenas bucólicas de la época de la conquista española. Estas comunidades se han mantenido durante siglos alejadas de las ciudades, agrupadas en pequeñas aldeas y grupos familiares dispersos, cultivando unos pocos productos estacionales y dedicados a la cría de pollos, cabras y ganado. Prácticamente todos sus miembros viven en la pobreza, y en muchos casos son semi-nómadas.

El acceso a la Sierra de Tarahumara es complicado, y a veces se necesitan varios días para llegar a los asentamientos. Por tanto, es muy difícil de hacer contacto con ellos para entrevistar y seleccionar las familias candidatas para el Programa de Desarrollo Humano Oportunidades.Pero el esfuerzo vale la pena porque el programa es realmente notable.

El nombre de este programa, originalmente llamado Progresa, fue cambiado posteriormente a Oportunidades, y más tarde a Prospera, nombre con que se lo conoce actualmente. Este programa, implementado en México desde el año 1997, tiene como objetivo nada menos que romper el ciclo aparentemente interminable de pobreza que caracteriza a muchas comunidades rurales. Lo hace mediante el uso de un enfoque de transferencias monetarias condicionadas (TMC), donde las familias reciben pagos condicionados a la realización de determinadas actividades, tales como asegurar la asistencia regular de sus hijos a la escuela o el cumplimiento con ciertos servicios de salud. Estos incentivos ayudan al logro de mejores niveles de educación, salud y nutrición, y proporcionan también un apoyo necesario para los habitantes de la Sierra de Tarahumara para emprender actividades económicas que les permitan aumentar sus ingresos familiares y su calidad de vida.

Captura de pantalla 2016-06-08 a las 6.55.24 a.m.Las comunidades indígenas fueron beneficiarias del programa desde su creación, a la vez que participaron también en las distintas evaluaciones realizadas entre 1999 al 2006. Sin embargo, aunque dichas evaluaciones confirmaban que los indígenas estaban participando efectivamente en el programa, no resultaba claro si estaban logrando los objetivos fijados en materia de salud, educación y, en última instancia, desempeño económico. De acuerdo con Mercedes González de la Rocha, antropóloga y directora de la evaluación cualitativa de impacto del programa Oportunidades, la ausencia de un enfoque que hiciera explícita la indagación en las comunidades indígenas había dejado un punto ciego en la base de conocimientos del programa. O, como ella dice, Lo que uno no se pregunta, simplemente, ¡no lo ve!

Esta afirmación significó un claro punto de partida para aumentar la influencia de la variable etnicidad en la nueva evaluación cualitativa desarrollada el año 2008. Para entonces, el programa tenía ya una década de experiencia en su implementación en México, lo que favoreció la realización de una evaluación exhaustiva. Los evaluadores diseñaron una estrategia para el trabajo de campo que comprendía 11 regiones indígenas interculturales en los estados de Chiapas, Chihuahua, Oaxaca y Sonora. En cada región fue analizada la cobertura y las operaciones del programa. La evaluación identificó también los principales obstáculos en la implementación del mismo, con especial atención a la relación entre los promotores y las mujeres representantes de las comunidades indígenas, las vocales.

Lo que los evaluadores encontraron fue bastante inesperado: existían serios problemas de comunicación a partir de las diferencias de lengua. Prácticamente ninguno de los promotores, y apenas unas pocas de las vocales, eran bilingües. Aunque el programa había estado operando desde el año 1997 con un mayor impacto en las zonas indígenas que en las no indígenas (como había sido documentado por evaluaciones anteriores), el importante problema de la comunicación no había sido suficientemente abordado. Por ejemplo, la evaluación encontró que las mujeres indígenas jóvenes – la mayoría de las cuales eran bilingües, aunque su castellano era a menudo muy limitado – no entendían con precisión al personal de Oportunidades y la información técnica que proporcionaban. Esta situación se agravaba en el caso de las mujeres mayores, quienes no hablaban castellano en absoluto. Los promotores asignados a la región habían hecho todo lo posible a fin de superar la barrera idiomática, pero los resultados no habían sido satisfactorios.

Captura de pantalla 2016-06-08 a las 6.55.11 a.m.En algunas áreas, la mayoría de las mujeres indígenas no comprendían qué propósito perseguía el programa. No entendían tampoco qué beneficio había en pasar horas escuchando a especialistas médicos, quienes hablaban sobre temas que ellas no entendían en un idioma que apenas podían descifrar. Algunas veces la información que se comunicaba entraba en conflicto con sus costumbres tradicionales. Por ejemplo, cuando las mujeres indígenas participaron en la capacitación sobre la importancia del examen físico para detectar un posible cáncer de mama, las hacía sentir muy incómodas la idea de un extraño tocándolas en sus partes íntimas. ¡Estas mujeres ni siquiera se desnudan delante de sus maridos! Por lo tanto, una práctica destinada a salvar sus vidas resultaba así totalmente inaceptable por razones culturales.

La evaluación encontró también que, si bien la cobertura del programa había mejorado en diversas zonas indígenas, en la Sierra de Tarahumara, un 30% de la población había quedado fuera del programa. Resultaba claro que la falta de acceso a los servicios de salud y educación que brindaba Oportunidades había sido provocado por la situación de monolingüismo, que impedía que las mujeres indígenas pudieran beneficiarse de la información escrita y oral transmitida por el personal del programa.

Era urgente tomar medidas para resolver este grave problema, y eso fue lo que hizo Oportunidades. La evaluación cualitativa sugirió que fueran reclutados jóvenes indígenas ya egresados de la escuela como promotores bilingües, a fin de contribuir a la mejora de las comunicaciones y operaciones en las mismas comunidades indígenas. Esta disposición también dio lugar a un impacto positivo adicional al proporcionar empleos y salarios a los jóvenes en su espacio vital, permitiéndoles compartir el aprendizaje adquirido con sus propias comunidades.

El entonces Coordinador General del programa Oportunidades, Dr. Salvador Escobedo, recuerda:

Logramos hacer el cambio en las reglas de operación para incluir a los promotores bilingües, y ese fue el primer paso. Luego estuvimos trabajando de manera paralela un programa de capacitación con el Instituto Nacional de Lenguas Indígenas (INALI) para generar un mecanismo para que pudieran evaluar a los jóvenes indígenas que nosotros queríamos contratar como promotores sociales que hablen una lengua indígena. Nos abocamos a trabajar con las trece lenguas más habladas, el Tzotzil, el Maya, el Totonaco, etc. Y en eso nos ayudó el INALI, porque queríamos que fueran lenguas que los indígenas pudieran entender.

Captura de pantalla 2016-06-08 a las 6.56.20 a.m.
Para ello, comenzaron capacitando en el INALI a un grupo de 15 jóvenes, hombres y mujeres, quienes se diplomaron como capacitadores de programas sociales en lengua indígena. Ellos fueron los primeros en desplazarse a las zonas más alejadas del país para llevar la voz del Programa de manera adecuada en los idiomas que las comunidades requerían. “El proyecto contemplaba preparar a 350 promotores para lograr la cobertura casi total de poblaciones indígenas monolingües, en Yucatán, Oaxaca, Chiapas, Jalisco y la Sierra de Tarahumara. Hasta que yo dejé el programa, se habían capacitado a 250 jóvenes, y estaba pendiente una nueva evaluación para saber cómo había resultado esta implementación”, sostiene Salvador Escobedo.

Finalmente, el proceso de incorporación de los promotores bilingües se desarrolló sin prisa y sin pausa durante los dos años siguientes. Esto favoreció una mayor participación e interacción de las mujeres indígenas en cada reunión, quienes fueron profundizando su entendimiento sobre la importancia de enviar a sus hijos a la escuela, alimentarlos correctamente, utilizar los recursos básicos, etc. En algunas zonas llegaron a conformar grupos de estimulación temprana para sus hijos más pequeños. El rol jugado por la evaluación cualitativa con su señalamiento sobre la marginación parcial que causaba el monolingüismo resultó clave en esta transformación.

Otro aspecto importante que fue señalado por la evaluación cualitativa del año 2008 abordaba la práctica de encuestar a cada hogar para evaluar si era o no elegible para el programa. En el caso de las comunidades de la Sierra Tarahumara, esto era redundante (además de ineficiente e incluso absurdo), ya que cada hogar era incuestionablemente pobre – por no hablar de la dificultad y el costo de llegar hasta dichas comunidades sólo para realizar la encuesta.

Escobedo, quien conocía de cerca la realidad de las comunidades indígenas de México, hizo suyo aquel señalamiento y puso en marcha la aplicación de las propuestas que le daba la evaluación cualitativa.

Captura de pantalla 2016-06-08 a las 6.55.55 a.m.La primera medida fue convencer a los funcionarios responsables y a las entidades internacionales como el Banco Interamericano de Desarrollo (BID) y el Banco Mundial, quienes colaboraban con el Programa Oportunidades, sobre la necesidad de cambiar las reglas de focalización y cobertura a fin de favorecer la implementación del programa en las zonas indígenas aisladas. Esto implicaba un desafío importante para los gerentes del proyecto pues, más allá de estar convencidos de lo oportuno de esa recomendación, debían realizar los cambios sin que pareciera desvirtuarse el espíritu del Programa Oportunidades, el cual hacía foco en situaciones de pobreza (identificadas por la encuesta de hogares), a la vez que exigía determinadas corresponsabilidades de los beneficiarios (como los controles de salud y la asistencia escolar de los niños).

A finales del 2011 y comienzos del 2012, una grave sequía afectó a la zona de la Sierra de Tarahumara, y se corrió el rumor, luego desmentido, que los indígenas se estaban suicidando por falta de alimentos. La Dra. Iliana Yaschine, quien fuera Directora de Evaluación del Programa Oportunidades en el período 2002-2006, y quien posteriormente coordinó un estudio en la Sierra de Tarahumara documentando el trabajo de Oportunidades ante la crisis generada por la sequía, recordaba lo siguiente:

Esto se publicó en un diario de Chihuahua y generó una respuesta inmediata por parte del Gobierno Federal, y por eso decidió intervenir en distintas regiones con la Secretaría de Desarrollo Social. Fue entonces que comunicaron la decisión de que Oportunidades intervenga para solucionar el problema justamente en la zona de la Sierra de Tarahumara.

La importante movilización y atención prestada a la zona permitió detectar que hubo 8 mil familias (40 mil indígenas) a quienes se había dado de baja pues no habían cumplido con las corresponsabilidades, tales como mandar a los hijos a la escuela o asistir a las charlas de salud (por diversos factores, entre ellos la barrera idiomática, como lo señaló la evaluación cualitativa). La cifra era preocupante, y su reincorporación iba a resultar difícil, por no decir, imposible dadas las reglas de operación del programa. Esto lo reafirma Escobedo cuando dice que:

El Banco Mundial y el BID se oponían a eliminar el requisito de las corresponsabilidades en esas zonas, en parte, porque no querían desvirtuar el Programa, y que se generara un nuevo Programa; pero eso no se podía hacer de la noche a la mañana. Las reglas de operación así lo indican; y es triste, doloroso, pero real.

Captura de pantalla 2016-06-08 a las 6.57.00 a.m.Sin embargo, dada la magnitud del problema en el contexto de la grave sequía que afectaba a los indígenas de la Sierra de Tarahumara, la situación pudo resolverse a partir de la intervención del mismo Presidente de la República, Felipe Calderón quien ordenó la inmediata reincorporación de 8 mil familias. Esto pudo hacerse reincorporándolas al Programa de Apoyo Alimentario, programa de transferencias que no exige el cumplimiento de corresponsabilidades, operado también por la Coordinación Nacional del Programa Oportunidades. Los promotores indígenas llevaron la buena nueva a sus comunidades, a la vez que se impulsó una renovada capacitación de promotores bilingües a fin de atender de inmediato a las familias indígenas.

Adicionalmente, se cambiaron las reglas del programa Oportunidades a fin de instrumentar la estrategia de cobertura total –recomendada por la evaluación cualitativa-, la cual permitía en localidades pequeñas y distantes la incorporación de familias al programa sin el requisito de la encuesta de hogar. Esta modificación ayudó a ampliar la cobertura del Programa, lo cual sumado a la reincorporación de las familias comentada antes, permitió a partir de entonces atender a toda la población indígena de la Sierra de Tarahumara.

Según Yaschine:

Sin la evaluación cualitativa, no hubiera sido posible hacer el cambio, aun con la crisis de la sequía, esa es mi percepción. Yo vi en el terreno la implementación de esta decisión en el momento de la crisis, donde se hizo un esfuerzo adicional para implementar el apoyo a las familias afectadas, ya no en los hogares sino en los Centros de Atención y Registro donde se entregaban las despensas. Recuerdo que se mencionó mucho lo que las evaluaciones cualitativas dijeron sobre este tema, y que eso había impulsado los cambios durante la crisis.

Las conclusiones y recomendaciones de la evaluación cualitativa realizada en las comunidades indígenas resultaron fundamentales para la toma de decisiones, siendo un insumo clave para que los directivos del programa pudieran realizar cambios que impactarían directamente en los participantes del programa. En el caso de los promotores bilingües, la evaluación señaló una dimensión de adecuación cultural que había sido desatendida en el diseño original de la intervención, la cual -una vez contemplada- permitió potenciar el efecto de la misma. En cuanto a la implementación de la estrategia de cobertura total en la Sierra de Tarahumara, la coyuntura de la sequía favoreció implementar una recomendación de la evaluación para la mejor atención de sus comunidades indígenas.

La historia de la evaluación cualitativa muestra la relevancia de la sensibilidad cultural en la evaluación de los proyectos sociales. En palabras de Gonzalez de la Rocha:

Lo que uno no se pregunta, simplemente, ¡no lo ve!


Captura de pantalla 2016-06-08 a las 6.56.41 a.m.

Mercedes González de la Rocha y Agustín Escobar Latapí fueron co-autores de esta historia, y dirigieron la evaluación cualitativa externa del programa Oportunidades, haciendo las recomendaciones que llevaron a mejoras importantes en la vida de los beneficiarios.

Iliana Yaschine fue Directora de Evaluación en el programa Oportunidades desde el año 2002 al año 2006.

Salvador Escobedo (Director del programa en aquel  tiempo) brindó valiosas ideas para esta historia.

Pablo Rodríguez-Bilella y Omar Zevallos contribuyeron a perfilar la historia. Las fotografías fueron tomadas por Agustín Escobar Latapí e Iliana Yaschine.

Página oficial del programa, con abundante información general sobre el mismo.

Sitio web de la Universidad de Texas que concentra información sobre las evaluaciones externas del programa.

Acerca de Pablo Rodriguez-Bilella
Sociologist, evaluator, and something else... Family man, guitar learner, compulsive reader... Blogging and tweeting about Development, Evaluation and Complexity issues...

10 Responses to Lo que uno no se pregunta, simplemente, ¡no lo ve!: el programa Oportunidades, en México (#Eval Stories VII)

  1. Cecilia Luna dice:

    Excelente historia de evaluación pero me quede con ganas de leer el testimonio de algún habitante de las comunidades indígenas para conocer como afecto en ell@s la evaluación cualitativa que se llevó a cabo. La evaluación también habrá marcado alguna diferencia significativa en los habitantes de la Sierra de Tarahumara?

    Y mientras leía recordaba a Phillips & Edwards (2000) “La verdad no es algo “ahí afuera” a la espera de ser documentada, sino es más bien una historia para ser escrita por aquellos que realizan la evaluación. Es una historia que se construye poco a poco por parte de los individuos que procuran dar sentido a realidades complejas, y que no puede separarse del contexto en el que se realiza la evaluación”.

    Mis felicitaciones a los que formaron parte de este arduo trabajo !

    Me gusta

    • Mercedes González de la Rocha dice:

      Gracias, Cecilia. Excelente comentario. Si tienes interés y tiempo de leer documentos con más información sobre las evaluaciones que a lo largo de diez años realizamos Agustín Escobar y yo con nuestro equipo de investigadores, puedes acceder a todos estos estudios en : http://lanic.utexas.edu/project/etext/oportunidades/
      No estoy segura de que los habitantes de la Sierra Tarahumara, o de cualquier otra región del país, sean capaces de distinguir los logros de las evaluaciones cualitativas que realizamos. Lo que sí te puedo asegurar es que gracias a nuestro estudio, particularmente la evaluación realizada en 2008 en 12 micro-regiones étnicamente diversas (con el objetivo de conocer el impacto diferencial del programa Oportunidades según la variable etnicidad), los programas de la política social tuvieron una mayor y mejor cobertura en la Sierra Tarahumara.

      Me gusta

  2. Muy buena experiencia y muy pertinente la evaluación… En cuanto a la evaluación, un aprendizaje central, siento, es el hecho de atreverse a preguntar (evaluar) aspectos que uno podría considerar ‘obvios’. Estos aspectos, como el lenguaje y la necesidad de promotores locales bilingües, diría yo, obviamente debieran ser considerados en todo programa, pero no siempre es así (lo he visto en varios países y programas, y se repite de forma recurrente). El haberlo analizado, haber incorporado los cambios, y haber vuelto a observar las diferencias, evidencia el valor de una evaluación que analiza incluso aquellas cuestiones que podrían sonar obvias. En segundo lugar, quiero completar la frase “lo que uno no se pregunta, simplemente, ¡no lo ve!”, diciendo que “…y lo que no se cuenta (escribe, difunde, comunica) no existe”. Con esto me refiero a la relevancia que tiene esta iniciativa de identificar experiencias de evaluación que hicieron la diferencia y comunicarlas, para aprender de ellas… También quiero destacar que muchísimas evaluaciones literalmente no hacen la diferencia básicamente porque no se cuentan, no se difunden, no se comunican…, y mueren en el ‘anonimato’ de un informe…! Creo que es central en el campo de la evaluación que trabajemos más por un tipo de evaluaciones orientadas al uso, lo cual implica, por un lado, una fluida comunicación multi-actoral durante todo el proceso, desde que se acuerda la demanda hasta su conclusión y comunicación; y, por otro lado, una adecuada estrategia comunicacional y difusión orientada al uso. Las mejores evaluaciones son, según mi punto de vista, las que sirven de algo, es decir, aquellas que se usan…! Saludos y gracias. Esteban

    Me gusta

    • Mercedes González de la Rocha dice:

      Muchas gracias, Esteban, por tomarte el tiempo para leer y comentar la historia. Estoy totalmente de acuerdo contigo. Hay muchas evaluaciones que no se conocen porque no se cuentan y han muerto en el anonimato de un informe. La iniciativa de EvalPartners y el trabajo y esfuerzo de gente como Pablo Rodríguez para ubicar, elegir y contar las historias fueron cruciales para que nuestra evaluación se diera a conocer más allá de un pequeño grupo que consulta el portal de internet del programa o quienes nos abordan personalmente para que les enviemos más textos. Aprovecho el comentario para agradecerles a Pablo y a EvalPartners la fabulosa oportunidad para dar a conocer tanto (y cuando digo tanto quiero decir TANTO) trabajo invertido en el proceso de realizar evaluaciones rigurosas a un programa social durante tanto tiempo.

      Me gusta

  3. Muy interesante experiencia de evaluación! Creo que esto deja en evidencia cómo aquellas cuestiones que pueden parecernos obvias no lo son en absoluto y la importancia de formarnos en la interculturalidad como herramienta que permite enriquecer las evaluaciones.
    Como dice Cecilia, sería bueno incorporar la visión de quienes forman parte de las comunidades que tuvieron incidencia en este proceso de aprendizaje y, sumado a ello, creo que sería importante analizar algunos aspectos respecto a las diversas visiones (de hombres, de mujeres, niños, niñas, jóvenes) y cómo ha transformado en cada caso su vida cotidiana. Es decir, está ausente la visión de género, cuestión clave a ser incorporada en las evaluaciones.
    Saludos!

    Me gusta

    • Mercedes González de la Rocha dice:

      Gracias Ale Lucero, por tu amable comentario. Cada una de las evaluaciones cualitativas que realizamos al programa Oportunidades (antes PROGRESA, ahora Prospera) a lo largo de diez años (una cada año) estuvo basada en trabajo de campo etnográfico de entre 2 y 4 meses de duración. Esto quiere decir que como investigadores no fuimos simplemente a hacer preguntas de un cuestionario sino que, al contrario, vivimos en las comunidades, observamos a la gente en su comunidad, nos uníamos a ellos en sus actividades cotidianas (lo que los antropólogos llamamos “observación participante”) y, sobre todo, escuchamos sus historias. Las historias de vida, las historias familiares, las entrevistas abiertas y en profundidad que realizamos están llenas de testimonios de las personas, nuestros sujetos de análisis. Estos testimonios, las narrativas de las mujeres, hombres, niños y niñas, jóvenes de ambos sexos, forman parte de los análisis de cada informe/reporte de las evaluaciones realizadas. Nuestros hallazgos y conclusiones se basan, precisamente, en los cambios observados a través de nuestras técnicas etnográficas de investigación. Si te interesa conocer más sobre la metodología de las evaluaciones cualitativas con gusto podemos seguir conversando.

      Me gusta

  4. Vanesa Castro dice:

    Muy interesante la estrategia de mostrar la evaluación a través de una historia! Sin dudas permite afirmar que cada vez es más necesaria la incorporación de evaluaciones en el orden lo cualitativo; sobre la necesidad de generar proyectos que respondan a la realidad territorial de cada comunidad; que las evaluaciones se conviertan en una herramienta para ‘hacer llegar la voz’ de los más vulnerables. En este último punto, me sumo al aspecto señalado anteriormente por mis colegas sobre la pertinencia de incorporar el relato de los protagonistas de esta historia.

    Felicitaciones al equipo evaluador y redactor!

    Me gusta

    • Mercedes González de la Rocha dice:

      Mil gracias Vanesa. Con gusto podemos hablar más sobre el tema, pero por lo pronto te invito a leer las respuestas que he dado a tus colegas. Encantada de ver que la historia está siendo leída y comentada. Estoy a tus órdenes.

      Me gusta

  5. vanesael dice:

    Muy interesante la estrategia de mostrar la evaluación a través de una historia! Sin dudas permite afirmar que cada vez es más necesaria la incorporación del componente cualitativo en las evaluaciones; sobre la necesidad de generar proyectos que respondan a la realidad territorial de cada comunidad; que las evaluaciones se conviertan en una herramienta para ‘hacer llegar la voz’ de los más vulnerables. En este último punto, me sumo al aspecto señalado anteriormente por mis colegas sobre la pertinencia de incorporar el relato de los protagonistas de esta historia.

    Felicitaciones al equipo evaluador y redactor!

    Me gusta

  6. Pingback: De la evaluación influyente a la evaluación con impacto: evaluaciones que marcan la diferencia (2). #eval | Al Borde del Caos

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

A %d blogueros les gusta esto: