La evaluación: sin recetas perfectas
Autoras:
Alexandra Vargas Calvo, Johanna Madrigal Araya, Kimberlyn Castro Contreras y Mariam Chacón Matamoros.
Tras haber recorrido históricamente a una serie de autores clásicos y contemporáneos de la evaluación y conocer su posicionamiento teórico, así como el acercamiento a técnicas y enfoques distintos relacionados con el quehacer evaluativo, nos permitió dialogar y discernir conjuntamente con cuáles de esas propuestas nos sentimos más identificadas como profesionales en formación y futuras evaluadoras.
En principio teníamos algunas diferencias en cuanto a si existía, dentro de las propuestas estudiadas, alguna que abarcara cada uno de los aspectos que nos interesaba destacar de éstas separadamente, pero rápidamente llegamos a la conclusión que no es posible encontrar una única forma de evaluar que se acople exactamente por igual a todos y cada uno de los objetos a evaluar; y que cada vez que estemos ante el reto de un nuevo proyecto u objeto evaluativo, deberíamos hacernos la misma pregunta: ¿qué enfoque, técnica, metodología y referente teórico es más conveniente en esta ocasión, para llevar adelante este proceso? Y la razón de esta pregunta en sencilla: no existen recetas perfectas para evaluar, porque cada objeto y su contexto son diferentes.
Luego del análisis anterior fue muy sencillo para nosotras acordar que diferentes propuestas teóricas pueden complementarse y brindar herramientas para lograr los alcances evaluativos que nos hemos propuesto. Esto tampoco quiere decir que es necesario considerar la totalidad del planteamiento de un determinado autor u otro, si no valorar cuáles aspectos nos son útiles y relevantes para los fines que queremos alcanzar. De esta forma resolvimos que aunque eventualmente estudiaremos con mayor profundidad a todos los autores, técnicas o enfoques revisados en clase, por ahora despertaron nuestro interés sobremanera Carol Weiss, Michael Patton, Egon Guba e Yvonna Lincoln y el modelo del cambio más significativo de Jessica Dart y Rick Davies, porque encontramos entre ellos complementariedad teórica y su propuesta sigue estando vigente.
De Weiss destacamos sus aporte de visualizar la evaluación como una actividad indudablemente política, aplicable en nuestro entorno laboral estatal y porque su desarrollo teórico permite diferenciar la evaluación de la investigación, así como identificar las pautas para colocarnos adecuadamente en el entorno político y en el contexto.
La premisa de Patton “de que una evaluación debe ser juzgada por la utilidad y por la medida en que de hecho se usa” (Patton, 2008, pág 37), su orientación hacia el cambio y la inclusión en el proceso de todas las personas involucradas, lo convierten en uno de los autores que indudablemente queremos investigar más a profundidad, a pesar de que su propuesta no tiene que ver con una metodología específica (o receta) si no con un marco orientador para desarrollar en situaciones complejas y cuando se ha contemplado la utilidad como uno de los parámetros esenciales dentro de la evaluación que se va a realizar.
En Guba y Lincoln vemos la oportunidad de investigar una metodología que hasta ahora, era poco conocida para nosotras: la construcción del proceso evaluativo de la persona evaluadora en conjunto con todos los grupos de interés implicados y sus distintas percepciones sobre el objeto a evaluar, así como la aplicación de los círculos dialécticos hermenéuticos como práctica que facilita la observancia, la escucha, la interpretación y la reinterpretación de la realidad y la búsqueda del consenso.
El modelo del cambio más significativo de Davies y Dart supone para nosotras una técnica complementaria para el monitoreo y la evaluación, participativa y cualitativa, que considera el estudio de experiencias que han generado un cambio importante en la vida de una persona, grupo o comunidad, como resultado de las intervenciones de proyectos o programas de desarrollo.
A pesar de que ontológicamente, epistemológicamente y metodológicamente Weiss, Patton y Guba-Lincoln tienen enfoques diferentes - positivismo, interpretativo y crítico respectivamente - concuerdan en el carácter axiológico de la evaluación: para ellos y ellas el proceso evaluativo no puede obedecer simplemente al clientelismo, su razón de ser va más allá y los límites están establecidos en las características políticas, sociales y culturales del contexto inmediato; no podemos evaluar sólo por evaluar, su significancia estará estrechamente ligada con la utilidad que se derive de ésta, el sentido político que le otorgamos y la vinculación que logremos alcanzar con los actores y actoras parte.
En relación con este último aspecto y el rol que juegan los stakeholders, los y las autoras en estudio destacan la importancia de éstos como usuarios de la información y hallazgos derivados de la evaluación. A pesar de que en las últimas décadas se ha discutido ampliamente sobre esto, muchas evaluaciones terminan siendo desechadas, archivadas, engavetadas, sin utilidad alguna. Guba y Lincoln en 1989 apuntaban a esto y referenciaban los aportes de Weiss y Patton al respecto:
Michael Patton, presidente de la Asociación Americana de Evaluación en 1988, urgía a los miembros a pensarse a sí mismos como personas vendedoras y a usar técnicas que hayan demostrado ser exitosas en la venta de otros “productos” para ganar aceptación.
Existen muchas razones para la no utilización. Primero, existe una posibilidad real de que los evaluadores hayan fallado en brindar información cuya calidad técnica justifique su uso. Segundo, más de una década atrás, Carol Weiss (1973) previno a los evaluadores que la información de la evaluación tenía que tomar su lugar dentro del ámbito político de la toma de decisiones; la validez científica no podría ni debería ser la única base para determinar si se le pone atención o no.
… Pero ciertamente una de las razones más importantes de su no uso es el hecho de que los evaluadores tienden a proveer información que ellos … creen que es relevante pero que difícilmente alguien más crea. (p. 53-54).
Patton, por su parte expone que las evaluaciones se caracterizan por cuatro criterios fundamentales referidas a la utilidad: toda evaluación debe ser útil y relevante; también debe ser factible, es decir realista, prudente, respetuosa y concisa; otro criterio refiere a la precisión en cuanto cumpla técnicamente con criterios para determinar adecuadamente el mérito y valor y finalmente debe ser adecuada cumpliendo con rigurosidad ética y legal. (Patton, 2010)
El principio básico que guía este enfoque es la obtención de información que permita tomar decisiones que sean de utilidad para los decisores y los que utilicen dicha información. Junto a esta prioridad, destaca la orientación hacia la toma de decisiones, su valor práctico y pragmático, y su eclecticismo a la hora de elegir los métodos de evaluación (Izquierdo, 2008, p. 25).
Weiss también asume la importancia de la utilidad de las evaluaciones, de la necesaria participación de las personas en estos proceso y de la toma de decisiones consecuente al mejoramientos de lo evaluado. Además, tenía una postura fuerte sobre el uso y racionalidad de la evaluación de políticas pública. Ella postuló que “sin el uso, la evaluación pierde su vínculo con la política que dio origen al campo" y sería un sin sentido realizarla.
Otro de los aportes más importantes que realizó Weiss, tiene que ver con la visión de que evaluar puede contribuir a iluminar el quehacer de la política mediante el análisis crítico y poniendo especial atención a la ideología, los intereses y la información, y a la manera en cómo estos tres elementos interactúan en un programa social (Weiss, 1998). Esa tríada de información, ideología e intereses (I-I-I) debe ser aplicada a las políticas públicas para comprender integralmente su desarrollo.
Por tanto, se evalúa para darle voz a los actores/actoras cada quien con realidades, necesidades e intereses distintos, para brindar herramientas que les permita ser agentes políticos en los procesos de tomas de decisiones y para darle utilidad a los hallazgos, el uso que se le dé estará orientado siempre al cambio. En esto coinciden Weiss, Patton, Guba y Lincoln.
A nivel conceptual, Carol Weiss definió la evaluación como el sistemático análisis de la operación y/o de los efectos de una política o programa, comparándolo con un grupo de estándares implícitos o explícitos, como medio para contribuir a mejorar el programa o la política (Weiss, 1998, p.4).
Encontramos aquí una visión sistémica que compara una intervención con parámetros determinados para concluir sobre su conveniencia y producir mejoras. Una visión similar la ofrece Michael Patton cuando afirma que la práctica evaluativa incluye la “recolección sistemática de información sobre las actividades, características y efectos de programas, personal y productos para el uso de determinadas personas para reducir incertidumbre, efectividad y tomar decisiones con respecto a lo que estos programas, personas o productos están logrando y afectando”. (Solarte, 2003, p.45)
Por su parte, para Guba y Lincoln “no existe forma correcta de definir lo que es evaluación…, no existe respuesta a la pregunta ¿qué es realmente la evaluación? Y tampoco tiene sentido responderla” (1989, p. 21). Sin embargo, cuando hacen referencia a su propuesta evaluativa de cuarta generación, destacan que es una forma de evaluación en la que las demandas, preocupaciones y problemas de los stakeholders sirven como enfoque organizacional, como base para determinar qué información es requerida.
Finalmente, respecto al rol de la persona evaluadora, interesa destacar la claridad con la que Weiss describe el posicionamiento del evaluador/evaluadora de políticas públicas, indicando que, incluso aunque no sea de manera intencional, siempre se va a asumir una postura política y a emitir juicios de valor que irán al ámbito político para convertirse en decisiones.
Desde su punto de vista, la relación entre el evaluador y el objeto de evaluación es una relación de interacción y comprensión y que se influyen entre sí. Para Weiss el investigador mantiene su poder, interpretando la teoría del programa y las circunstancias políticas en que se desarrolla para posteriormente emitir recomendaciones, que solamente serán válidas en el tanto sirvan al uso y toma de decisiones.
A esto se suma la visión de Patton, para quien la persona evaluadora tiene un papel fundamental, ya que como facilitadora del proceso debe brindar herramientas a los actores y actoras, que les permita comprender lo que implica el proceso y que cada decisión tomada tendrá influencia en los hallazgos y por ende en los usos que se le den.
Guba y Lincoln por su parte, identifican a la persona evaluadora como una modeladora de la realidad, como agente de cambio, como facilitadora y constructora de procesos conjuntos con los grupos de interés, pero también debe ser capaz de interpretar la información, las relaciones entre actores y actoras, el entorno y todo lo que lo compone, para construir hallazgos y recomendaciones basadas en la negociación y en el consenso, de forma que sean de utilidad para todos los implicados.
Conclusiones y consideraciones finales
Partiendo de la comprensión expuesta por los autores desarrollados anteriormente, las evaluaciones requieren necesariamente de la participación de los actores involucrados en los procesos de evaluaciones, ya que son quienes se encuentran permeados de la realidad de los objetos de evaluación, son a su vez quienes pueden generar transformación y mejoramiento de los programas, planes y proyectos.
Si bien es cierto existen propuestas metodológicas contemporáneas más avanzadas hacia los nuevos requerimientos de participación ciudadana, y tendencias más cualitativas en la evaluación, los aportes de Weiss siguen siendo necesarios. Para ella, las políticas y programas que se evalúan son el resultado de decisiones políticas; la evaluación al llevarse a cabo para alimentar el proceso de toma de decisiones entra, inevitablemente, en la arena política y por último, la evaluación en sí misma adopta una postura política ya que, por su misma naturaleza, expone implícitamente cuestiones tales como la naturaleza problemática o necesidad de algunos programas o la legitimidad de las estrategias y objetivos. Estas consideraciones planteadas años atrás, continúan vigentes a nuestra realidad nacional e internacional. Es algo que como profesionales en evaluación no podemos obviar.
Patton hace referencia a la necesaria participación en los procesos de evaluación, por lo que estas son incluyentes, e integradores, razón por la cual los diseños deben ser construidos a partir de las necesidades del objeto de evaluación, lejos del encuadramiento metodológico debe considerar el dinamismo de estos y por lo tanto, es necesario contar con apertura a los procesos de cambio. No podemos rendirnos ante recetas ya elaboradas u hojas de rutas ya preestablecidas.
Comprender que cada uno de los stakeholders tiene múltiples visiones y opiniones sobre el objeto de evaluación nos permite entender que no podemos evaluar solas, y que la imposición o utilización de únicamente un enfoque o punto de vista no tendrá buenos resultados. ¿Cómo podemos producir hallazgos y recomendaciones que sean realmente de utilidad? Pues como bien apuntaban Guba y Lincoln, desde las concepciones émicas y éticas. Ambas posiciones son necesarias, si queremos que nuestra profesión como evaluadoras produzca utilidad.
Tampoco podemos olvidarnos de concebir la evaluación como un proceso de enseñanza/aprendizaje. No podemos presentarnos a hacer una evaluación como conocedoras de la verdad absoluta; no tenemos todas las respuestas bajo la manga; se requiere humildad, paciencia y flexibilidad para discernir que de cada stakeholder, de cada cliente, de cada evaluación estaremos aprendiendo algo nuevo y estaremos enseñando algo nuevo. Cada evaluación es un camino nuevo por recorrer.
Referencias bibliográficas
Davies, R. y Dart. J. (2011). Técnica del “Cambio Más Significante”. Guía para su uso. Recuperado de https://www.mande.co.uk/wpcontent/uploads/2005/MSC%20Guide/Spanish%20translation%20of%20MSC%20G uide.pdf
Guba, E., Lincoln, Y. (1989). Fourth generation evaluation. California, USA: Sage Publications.
Izquierdo, B. (2008). De la evaluación clásica a la evaluación pluralista. Criterios para clasificar los distintos tipos de evaluación. Revista de Metodología de Ciencias Sociales, 16, 115-134.
Patton, M. Q. (2008). Utilization-focused evaluation (4th. Ed). Thousand Oaks, CA: Sage
Patton, M. (2010, setiembre). Utilization-Focused Evaluation with Michael Quinn. Recuperado de http://ccer.org/service/documents/Michael%20Patton/UFE%20workshop.pdf
Solarte, L. (enero-junio 2003). La Evaluación Social en el Estado Liberal. Ad-Minister Universidad EAFIT, (2), (41-60)
Weiss, C. (1990) Investigación Evaluativa. Métodos para determinar la eficiencia de los programas de acción. Segunda edición, México: Trillas
Weiss, C. (1998). Evaluation: Methods for studing programs and policies. Prentice Halll.
