CONCEPTOSY EXPERIENCIAS
CONCEPTOSY EXPERIENCIAS
44
45
ASPECTOS PRÁCTICOS EN EL ESTABLECIMIENTO DE LAS MÉTRICAS Destacamos cuatro aspectos prácticos a la hora de establecer las métricas de un CIS 1. Fuentes de datos para el contraste
2. Importancia de establecer métricas sencillas, estandarizadas, verificables y comparables Es muy importante establecer indicadores sencillos y fáciles de comprobar que sean capaces de capturar el resultado perseguido y que se alimenten a través de bases de datos objetivas y verificables. En ausencia de datos, sobre todo, es necesario seleccionar métricas sencillas. Los principios fundamentales que debe reunir una métrica son: • Rigor, para asegurarse de que se están midiendo correctamente los elementos que deben medirse y no otros. • Objetividad, requerida para que exista confianza en que los datos usados para proporcionar evidencia sobre los resultados no padecen un sesgo. • Consistencia, proporcionar seguridad de que se mide lo mismo a lo largo del tiempo. • Periodicidad, asegurarse de que los datos reflejan el momento del ciclo político, económico y social ya que estos factores externos pueden influir en los resultados.
En la medida de lo posible se recomienda utilizar fuentes de datos públicas oficiales existentes con gran nivel de detalle tanto a nivel nacional como internacional en las diversas temáticas de las políticas públicas a las que puede orientarse un CIS (por ejemplo, salud, educación, seguridad social, etc.). A nivel nacional, pueden utilizarse bases de datos públicas disponibles como el INE, la EPA (Encuesta de Población Activa) o la Seguridad Social. A nivel internacio- nal, destacarían sobre todo las bases de datos de la OCDE y EUROSTAT.
Utilizar estas fuentes públicas y conocidas tiene la ventaja de mejorar la transparencia, dejando menos espacio a la interpretación particular del resultado alcanzado, es una buena práctica y puede mejorar la comparabilidad y la estan- darización de los CIS, lo que puede aumentar su potencial de escala y replicación.
En la práctica, elegir el sistema de medición a utilizar estará basado en una serie de consideraciones, como el coste del método, el pragmatismo y la calidad de la evidencia existente disponible. En general, cuanto más riguroso el sistema de medición, más costoso será su uso. Todo ello son elementos a valorar en la elección de las métricas.
En thinknpc.org puede consultarse una serie de Matrices de Resultados que vincu-lan posibles resultados en términos de intervención de impacto social con las políticas sociales que se pueden instru-mentar a través de CIS y las posibles fuentes de datos disponibles para medirlos.
3. Métodos para la atribución de resultados a través de las métricas Existen distintos modelos a utilizar para atribuir el resultado a partir de las métricas, los más frecuentes se recogen en la tabla de abajo, junto con sus pros y sus contras:
Comparativa de los modelos de atribución de los resultados alcanzados por la intervención
Contras
Método
Pros
Método más robusto disponible. Control de los casos no atribuibles directamente a la intervención (casos exógenos)
Los participantes son asignados al azar a un grupo de control y a un grupo de tratamiento, comparando los resultados obtenidos por ambos grupos.
Método caro, complejo y consume mucho tiempo. La intervención debe asignarse de forma aleatoria.
Ensayo de control aleatorizado
Los participantes son estadísticamente emparejados con individuos de características similares observables que no hayan recibido la intervención, comparando el resultado entre los dos.
Puede utilizarse en defecto del anterior. Método robusto y buen control de los casos exógenos.
Caro, consume tiempo. Riesgo de sesgo en la muestra.
Matching o pareamiento
No tiene en cuenta los cambios sociales o legislativos que puedan producirse. Consume tiempo y es caro proporcionalmente.
Puede utilizarse cuando los dos métodos anteriores no son factibles. Control moderado de los casos exógenos.
Resultados en el grupo de intervención son comparados con los resultados logrados por una cohorte histórica con características observables similares.
Línea de base histórica
Difícilmente tiene en cuenta los casos exógenos. Requiere evidencia de relaciones estadísticas entre variables. Más riesgo de aparición de incentivos perversos.
Los resultados son medidos a través de criterios estandarizados. Los pagos por los resultados se fijan antes de la provisión del servicio basándose en los costes esperados de la no intervención. No se compara con ningún grupo de control que no haya sido destinatario de la intervención.
Modelo de tarifas
Método directo y sencillo de estructurar y gestionar.
Se miden los resultados alcanzados por el grupo que ha sido destinatario de la intervención antes y después de su paso por el programa y posteriormente se comparan entre sí.
Dificultad de valorar el impacto del programa o intervención.
Estudio de antes y después
Método simple. Costes reducidos de utilización.
Puedes consultar ejemplos prácticos de CIS que utilizan estas métricas en socialfinance.org
Informe: Toolkit para el desarrollo de Contratos de Impacto Social, CIS
Informe: Toolkit para el desarrollo de Contratos de Impacto Social, CIS
Made with FlippingBook - Online Brochure Maker