El valor de la evaluación de impacto
La evaluación de impacto es una herramienta que permite identificar los efectos atribuibles a un proyecto o programa de intervención social. En un contexto donde cada vez más entidades emprenden proyectos sociales o iniciativas de Responsabilidad Social Corporativa, se hace necesario y ético contar con evidencias que demuestren su eficacia.
La evaluación de impacto tiene la particularidad de ofrecer un juicio sobre los resultados logrados de un programa o proyecto desde una óptica científica, aportando datos convincentes sobre su efectividad y el impacto resultante en su público objetivo.
La realización de una evaluación de impacto parte de la necesidad de conocer los resultados atribuibles a un determinado proyecto; siendo su objetivo principal el de aportar información para descubrir qué actuaciones funcionan y cuáles no.
Este tipo de evaluación está siendo una herramienta cada vez más importante para la toma de decisiones del sector público, para el diseño de políticas sociales o decisiones sobre los recursos destinados al desarrollo internacional con metas como: reducir la pobreza, combatir el desempleo o mejorar la salud de millones de personas, entre otros.
Las empresas, con un papel cada vez más relevante en el desarrollo de dichos programas sociales, han iniciado el uso de esta metodología para mejorar en el desempeño de sus iniciativas con impacto social. El caso de las Lanzaderas de Empleo de Fundación Telefónica es uno de ellos.
Implementar una evaluación de impacto
Diferentes especialistas y organizaciones internacionales como el Banco Mundial señalan que se debe partir de la necesidad de identificar la relación causal entre el proyecto y los resultados esperados. Es decir, que debe haber una preocupación inicial por saber cuál es el impacto de un programa y conocer cuáles fueron los resultados (esperados y no esperados) ocasionados en las personas. Para poder detallar estos resultados es necesario identificar los efectos directamente atribuibles al programa a través de una serie de pasos.
El proceso para realizar una evaluación de este tipo consiste en cinco etapas o pasos, cuyo alcance puede variar según la amplitud del programa, costes y otros aspectos:
- Diseño de la evaluación.
- Estudio de gabinete.
- Levantamiento de información y recolección de datos.
- Análisis, redacción y diseminación.
- Aprendizaje.
La principal característica de las evaluaciones de impacto es la utilización de un enfoque causa-efecto y de atribución de impactos al programa. Para valorar este efecto atribuible, uno de los métodos comunes es el diseño del contrafactual, que permite identificar qué resultados se habrían obtenido si los participantes del programa no se hubieran beneficiado del mismo. Todo ello, con el fin de extraer unas conclusiones que sean completamente fiables y verificables sobre el impacto logrado sobre el grupo elegido como beneficiario principal.
Metodologías para identificar el contrafactual
Existen diversas metodologías que permiten, en la práctica, identificar el contrafactual. Lo principal es contar con un grupo de comparación (o grupo de control): una selección de personas con iguales condiciones y características que van a recibir un seguimiento continuado durante el proyecto pero que no van a ser favorecidos por las actividades del proyecto. En definitiva, se trata de identificar un grupo de personas con características homogéneas al grupo que recibe el programa, siendo la única diferencia entre ambos el haber participado o no en el programa. Esta sencilla definición contrasta con la complejidad de identificar a este grupo de personas, por lo que es necesario aplicar algunos métodos que permitan cumplir con esa afirmación.
Los tres métodos principales son:
- Asignación aleatoria, que garantiza que todas las personas tengan la misma probabilidad de ser seleccionadas y las elegidas no hayan sido escogidas en función de criterios arbitrarios o subjetivos.
- Promoción aleatoria, ofrece incentivos de participación a través de la organización de campañas de promoción dirigidas a una muestra aleatoria de la población de interés.
- Diseño de regresión discontinua, se clasifica a los posibles beneficiarios mediante un índice continuo (puntuación obtenida) y estos son seleccionados según superen o no alcancen la calificación previamente definida.
Adicionalmente se consideran de utilidad para la evaluación de impacto, otros dos métodos complementarios que ayudan a estimar el valor del contrafactual: el denominado diferencias en diferencias y el de pareamiento, que pueden aplicarse en combinación con los anteriores o cuando no sea posible la aplicación de alguno de ellos. Aspectos como los recursos y el tiempo disponibles para el desarrollo de la evaluación contribuyen a determinar qué método o combinación de métodos seleccionar para desarrollar la evaluación de impacto.
Una pieza clave: la selección de indicadores
Como en cualquier evaluación, la definición de buenos indicadores es fundamental en la medición correcta de una evaluación de impacto. Estos indicadores deben ser:
- Específicos.
- Medibles.
- Atribuibles.
- Realistas.
- Estar focalizados.
Adicionalmente, la valoración del coste versus la efectividad del programa es una exploración que puede extraerse con información de los resultados de la evaluación de impacto. Para responder a estas preguntas adicionales se suelen realizar distintos análisis de costo-beneficio que pueden utilizar diferentes métodos. Uno de los más reconocidos a nivel internacional y empleado tanto a nivel europeo como en Estados Unidos, es el indicador del retorno social de la inversión o (SROI) por sus siglas en inglés. Un método que recoge información y mediciones desde valores extra financieros, tomando en cuenta cuantías de ámbito social, ambiental y socioeconómico que no se reflejan hoy día en la contabilidad financiera tradicional. Este proceso añadido permite, entre otras cosas, medir y evaluar el impacto que se produce en los principales grupos de interés y sirve para optimizar la gestión de las actividades y el rendimiento de los recursos invertidos en las iniciativas o proyectos.
¿Deben las empresas hacer una evaluación de impacto de sus programas sociales?
La mayor parte de las evaluaciones de impacto se han realizado en programas de la administración pública con una amplia cobertura de la población. Sin embargo, el uso cada vez más común de estos métodos en iniciativas privadas permite utilizar la evaluación de impacto como una herramienta añadida de validación, de transparencia, de rendición de cuentas y también como refuerzo a las acciones de comunicación o incidencia.
La evaluación de impacto puede ser aplicada a programas piloto, iniciativas que recurren a nuevos modelos de trabajo e innovación en sus procedimientos, a aquellos que requieren de una medición más detallada sobre los resultados a conseguir en nuevas ediciones o en programas que contienen la capacidad y relevancia de ser replicados por otros sectores u organizaciones, teniendo siempre en cuenta cada contexto.
En la práctica, y en cada contexto se debe elegir la aproximación evaluativa que se ajuste a los objetivos e intereses de los actores y no siempre se justifica realizar una evaluación de impacto. Bien por las características intrínsecas del programa, el momento en el que se encuentre el mismo, el contexto como también por la disponibilidad de recursos humanos y/o económicos y de tiempo. Diferentes investigaciones señalan que los costos absolutos de una evaluación de impacto pueden rondar entre el 0,2% y el 13% del presupuesto global de un programa. Debe por tanto, tenerse previamente en cuenta, la necesidad de recursos económicos y humanos necesarios para valorar si se podrá llevar a cabo el ejercicio.
La evaluación de impacto se podría convertir en un medio valioso para las empresas comprometidas en conocer los resultados de los programas sociales que desarrollan. Ayuda a dejar de lado la intuición y las percepciones subjetivas sobre el impacto de sus programas, contribuyendo a la toma de decisiones dentro de sus organizaciones.