LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
2.3. La escala de las evidencias
• En el nivel 5, el más desarrollado, los de- cisores públicos tienen además manuales, sistemas y procedimientos que aseguran la capacidad de replicar el experimento y su capacidad de generar impactos. En estos cinco niveles, el nivel mínimo acepta- ble para emprender una política pública se sitúa en el primer peldaño de la escalera, mientras que la mayoría de las evidencias recogidas, en la práctica, se situarían en el nivel 2, todavía en los escalones más bajos. Los métodos expe- rimentales y cuasiexperimentales comienzan en el nivel 3, y el nivel 4, donde son una o más evaluaciones independientes las que otorgan la fortaleza de la evidencia, supone el máximo nivel de experimentación. En el nivel 5, esas eva- luaciones independientes son complementadas con herramientas y mecanismos de control que aseguran la replicabilidad y escalabilidad de los experimentos desarrollados. El estándar de evidencia de Nesta no es la única escala de calidad de la evidencia, sino que podemos identificar otros métodos de valoración de la evidencia. En la siguiente tabla aparecen otros métodos similares.
Como señalábamos, el uso de diferentes métodos de recogida de información supone evidencia de diferentes niveles de calidad. Por ello, es necesario establecer algún tipo de gradación en la consistencia y la calidad de la evidencia recogida, de manera que, cuanto ma- yor sea su calidad, más consistentes serán las expectativas de efecto que genere la política pública experimentada. Para facilitar la interpretación de la robustez de la evidencia empírica, la agencia británica Nesta ha elaborado una «escala» de la evidencia, de manera que podamos hacernos una idea de la calidad de nuestra experimentación. Así, Nesta divide las categorías de la evidencia experimen- tal en cinco niveles, donde el nivel 1 es el más básico, y el 5, el más completo (Nesta, 2013): • En el nivel 1, los decisores públicos tienen la capacidad de describir la política pública, explicar por qué es importante y hacerlo de una manera lógica y convincente, a través de una serie de razones. • En el nivel 2, quienes deciden las políticas públicas son capaces de mostrar datos que señalan un cambio en la población objetivo, pero no son capaces de confirmar que ese cambio está producido por las políticas públicas aplicadas. • En el nivel 3, los decisores públicos pue- den demostrar la causalidad de los efectos entre el grupo de tratamiento y el grupo de control, aplicando diferentes metodologías. • En el nivel 4, quienes determinan las políticas públicas cuentan con una o más evaluaciones independientes que replican y confirman las conclusiones sobre los efec - tos de una política pública. En este nivel de evidencia, se puede explicar cuál es el grado de efecto y cómo se produce dicho efecto sobre la población.
21
Made with FlippingBook - Online Brochure Maker