La Experimentación en las políticas públicas
Estado del arte y elementos para su impulso en España
La Experimentación en las políticas públicas
septiembre 2022
EQUIPO RED2RED
EQUIPO COTEC
José Moisés Martín Carreter Director R2R y experto de Los 100 de Cotec
Aleix Pons Director del departamento de Economía y Financiación de la Innovación
Lucía Alonso Blasco Consultora Área internacional R2R
Josep Bosch Analista
Luis Miguel Morales Caballero Consultor Área Innovación de Políticas Públicas R2R Anabel Suso Araico Directora del Área de Innovación de Polí- ticas Públicas R2R
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
Ín DI CE
7
00. Resumen ejecutivo
01. presentación
11
02. INTRODUCCIÓN A LA EXPERIMEN- TACIÓN EN POLÍTICAS PÚBLICa 13
2.1. Qué es un experimento en política pública y por qué experimentar
14
2.1.1. Orígenes históricos de la experimentación pública 16
2.1.2. La experimentación pública y las políticas públicas conductuales 17
2.2. Modalidades de experimentación pública 17
2.2.1. Experimentos aleatorizados
18
2.2.2. Diseños cuasiexperimentales
19
2.3. La escala de las evidencias
21
2.4. Fases de un modelo de experimentación pública
22
2.4.1. Selección y diseño del experimento
22
2.4.2. Ejecución
24
2.4.3. Análisis de resultados
25
2.5. La aplicación de resultados de la experimentación pública 26
2.6. La experimentación en la práctica
25
4
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
6.2. Experimentos autonómicos
76
6.3. Experimentos locales
79
03. EXPERIMENTACIÓN PÚBLICA A NIVEL INTERNACIONAL 28
6.4. La colaboración con el sector privado como motor de la innovación
3.1. Quién lo hace
29
85
3.2. Cuándo y dónde se está haciendo experimentación pública 33
6.5. Dificultades para el desarrollo de la experimentación en la Administración pública 96
3.3. A qué nivel territorial se hace 36
07. ESTUDIOS DE CASO EN ESPAÑA 99
3.4. Qué es lo que se está haciendo 41
7.1. Evaluación del programa Habitat – modelo Housing First 100
3.5. Cuánto duran
49
3.6. En qué sectores
49
7.2. Proyecto piloto B-MINCOME
104
7.3. Proyecto piloto Menttores
107
3.7. Elementos facilitadores de la experimentación
52
08. CONCLUSIONES Y RECOMEN- DACIONES PARA EL IMPULSO DE LA EXPERIMENTACIÓN EN ESPAÑA 111
04. ESTUDIOS DE CASO INTERNACIO- NALES 54
4.1. Mejorar la factura de la luz
55
8.1. Conclusiones
112
4.2. La ampliación de servicios de guarderías infantiles y sus efectos en la participación laboral 57 05. MARCO PARA LA EXPERIMENTA- CIÓN EN LAS POLÍTICAS PÚBLICAS EN ESPAÑA 61
8.2. Recomendaciones para el impulso de la experimentación 113
118
09. ANEXOS
Anexo 1 Casos por sectores (experiencias interna- cionales) 119
5.1. Marco normativo e institucional 62
Anexo 2 Tabla resumen de casos (experiencias inter- nacionales) 138
5.1.1. Selección y diseño del experimento
62
Anexo 3 Bibliografía
141
5.1.2. Ejecución
66
Anexo 4 Listado de instituciones y personas entre- vistadas 142
5.2. Marco estratégico
69
06. EXPERIENCIAS DE EXPERIMENTA- CIÓN PÚBLICA EN ESPAÑA 73
Gráficos e ilustraciones
Gráfico 1 Factores que afectan el rendimiento esco- lar 15
6.1. Experimentos de la Administración General del Estado 74
5
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
Gráfico 2 Distribución aleatoria del programa de apoyo al rendimiento escolar
15
Gráfico 3 Evolución de evaluaciones de impacto de desarrollo internacional 34
Ilustración 1 Países con un mayor número de instancias que incorporan las ciencias del comportamiento 35
Ilustración 2 Marco normativo en evaluación de políticas públicas
64
Ilustración 3 Marco normativo e institucional en evaluación de políticas públicas
67
6
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
resu men eje cuti vo
00.
7
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
La experimentación pública es un método de investigación que permite conocer, basándo- se en la evidencia, los previsibles resultados de una política pública en un contexto social, económico y cultural determinado; constituye, por tanto, una herramienta fundamental para la evaluación y generación de políticas públi- cas. Su objetivo es establecer una relación causal entre una intervención y sus resulta- dos, controlando las condiciones externas, para lo que se debe contar con un escenario contrafactual, donde se compara la evolución del «grupo de tratamiento» —al que se aplica la intervención— con el «grupo de control» —al que no se aplica la intervención—. Para que se pueda realizar esta comparación es esen- cial desarrollar una adecuada selección de ambos grupos, que, en condiciones ideales, debería ser desarrollada de manera aleatoria. La mayor parte de los experimentos aleatori- zados que se realizan son RCT o Randomized Control Trials. El recurso a la experimentación pública no es nuevo; los programas de experimenta- ción lograron un notable impulso en los años noventa, particularmente en el ámbito de la evaluación en la cooperación inter- nacional para el desarrollo, y han crecido de manera exponencial potenciados por Gobiernos a diferente escala (desde el nivel nacional al local) y organizaciones interna- cionales e instituciones, como el Labora- torio de Acción contra la Pobreza (J-PAL), empleándose en una amplia variedad de ámbitos y en diferentes momentos del ciclo de las políticas públicas, desde su diseño hasta su evaluación. Asimismo, el auge de la experimentación pública debe entenderse siempre en paralelo con la construcción de las políticas públicas conductuales, que han sido frecuentemente consideradas a la hora de diseñar las políticas con las que se experimenta.
Aun así, existen diferencias relevantes entre países, siendo mayor su evolución en los paí- ses anglosajones. El desarrollo de la experi- mentación pública varía según la cultura de la evaluación de cada país y las experiencias en experimentación desarrolladas en la Adminis- tración pública, así como según la integración de este tipo de actuaciones en diferentes fases del ciclo de las políticas públicas. En el caso de España, el desarrollo de la expe- rimentación se ha producido fundamental- mente en la última década, donde destacan algunos ejemplos recientes, aislados, que se circunscriben principalmente al ámbito de la evaluación, y donde el avance de iniciativas que incluyan enfoques de economía del com- portamiento es una excepción. Este menor desarrollo de la experimentación en España está relacionado con una esca- sa cultura del dato y de la evaluación en la Administración, que se ha implantado más recientemente y que aún es incipiente. En ese sentido, tanto el desarrollo normativo como el institucional y estratégico en materia de evaluación de las políticas públicas han evo- lucionado en los últimos años, dando cabida a un mayor uso de la experimentación, sobre todo por parte de determinados organismos públicos. Entre ellos, destaca la labor de Ivàlua en Cataluña, el impulso para fomentar estas prácticas por parte de la Unión Europea y, más recientemente, las iniciativas de expe- rimentación vinculadas con el ingreso mínimo vital desarrolladas por el Ministerio de Inclu- sión, aprovechando la financiación de los fon - dos europeos Next Generation. No obstante, es importante señalar que algunas entidades del tercer sector, así como algunos organis- mos privados de investigación, han jugado un papel relevante en el desarrollo reciente de este tipo de experimentos en diversos ámbi- tos de las políticas públicas.
8
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
La mejora del conocimiento respecto a este tipo de metodologías por parte de los de- cisores públicos y el precedente o efecto demostrativo de los resultados de «hacer» experimentación son dos elementos funda- mentales que contribuyen al desarrollo y a la institucionalización de la experimentación en las políticas públicas. El uso extendido de la experimentación, aunque a priori es un gasto adicional en las políticas, a largo plazo supone un ahorro para la Administración, que puede identificar qué políticas son una inversión eficaz y cuáles son ineficaces para lograr el resultado deseado. Por lo tanto, este estudio muestra que aún queda mucho margen para incrementar el desarrollo de la experimentación en políticas públicas en España, siguiendo la estela de lo que sucede en los países de nuestro en- torno. En este sentido, es fundamental que los organismos o instituciones públicas con responsabilidad en materia de evaluación de las políticas públicas, es decir, la AIReF o la nueva AEVAL, impulsen el desarrollo e im- plantación de la experimentación como una herramienta más que considerar en el ciclo de las políticas públicas, estableciendo objetivos en esta dirección y asumiendo responsabili- dades directas. Para lograr este desarrollo de la experimenta- ción, las principales recomendaciones son: 1. Comenzar por fomentar la experimentación pública en el diseño de pequeñas interven- ciones, como una forma de generar referen- tes demostrativos de la eficacia de introducir estas metodologías en las políticas públicas. 2. Incluir metodologías experimentales innovadoras en el diseño de las intervencio- nes que atraigan fuentes de financiación especializadas, por ejemplo, en intervencio- nes financiadas por la UE, con el objetivo de que este tipo de experimentos no se den de manera aislada y sin acompañamiento.
3. Fomentar la generación y establecimien- to de «fondos de experimentación», en los que el requisito para su financiación sea que las intervenciones financiadas necesa - riamente incluyan un enfoque experimental. Un ejemplo de ello son las evaluaciones experimentales realizadas en el programa Horizonte 2020 de la Comisión Europea, que ha financiado mediante la subvención INNOSUP-06 a agencias de innovación para que realicen proyectos experimentales eva- luados por RCT (dos de ellos en España). 4. Facilitar por parte de la Administración el acceso a datos masivos para el desarrollo de actuaciones de experimentación, para lo cual se requiere una mayor apertura y voluntad política en esta dirección por parte de la Administración pública. 5. Flexibilizar determinados procedimien- tos administrativos que pueden suponer un obstáculo para el desarrollo de este tipo de metodologías, así como los plazos para el diseño de las políticas públicas, dado que los tiempos requeridos para visualizar el im- pacto de una intervención son más amplios. 6. Fortalecer una mayor conexión entre las entidades que desarrollan habitualmente este tipo de metodologías (como son las universidades, los centros de investigación y las empresas especializadas) y la Admi- nistración pública. 7. Desarrollar actuaciones de formación, sensibilización y concienciación entre el personal técnico de las Administraciones públicas acerca de este tipo de metodo- logías, las oportunidades que ofrecen y sus implicaciones. Ejemplos de ello son el trabajo de Ivàlua en Cataluña o el IGL de Nesta en Europa. 8. Generar una base de evidencias deri- vada de experimentos que se realicen en el país, que fomenten el intercambio de
9
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
conocimientos y la transparencia de los resultados.
9. Favorecer el desarrollo de actuaciones relacionadas con la economía del com- portamiento, comenzando por incluir enfoques conductuales en las intervencio- nes públicas que sean pertinentes, con el asesoramiento de instituciones privadas y académicas en España o creando una unidad dentro de la AGE que asesore en la materia. 10. Desarrollar desde la Administración, como ha hecho el Gobierno finlandés, có- digos éticos para el desarrollo de la experi- mentación pública. 11. Tras la aprobación de la reforma de la Ley de la Ciencia en septiembre de 2022, en cuyo artículo 2.f se incluye el compromi- so de “promover la innovación pública, en- tendida como aquella innovación protago- nizada por el sector público y, en particular, la capacidad de experimentar en política pública, diseñar intervenciones basadas en evidencias – especialmente científicas-, re - gular atendiendo al impacto normativo en innovación, desarrollar bancos de pruebas y desplegar una contratación pública com- prometida con la incorporación de solucio- nes innovadoras y de I+D”, el Ministerio de Ciencia e Innovación (Micinn) debe definir su rol en el impulso de la experimentación de las políticas públicas: contribuyendo a difundir y divulgar estas metodologías, facilitando el contacto de grupos de inves- tigación de ciencias sociales con capaci- dades de experimentación y las diferentes administraciones (transferencia de conoci- miento entre ámbitos del sector público) y, eventualmente, financiando un programa de RTCs dentro del Plan nacional de I+D+I, entre otras posibles funciones.
10
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
Pre senta ción del es tudio
01.
11
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
Tal y como versa el título del informe, los principales objetivos a los que responde su desarrollo consisten en ofrecer una panorá- mica global del marco público para la experi- mentación en la Administración General del Estado, las comunidades autónomas y los municipios, así como recomendaciones para su impulso en nuestro país. Es por ello por lo que en él se desarrolla un exhaustivo análisis del estado de situación y evolución de la expe- rimentación en las políticas públicas, tanto en el marco internacional como en el nacional, y se apuntan una serie de pistas o recomenda- ciones para impulsar su desarrollo en España. El segundo capítulo está centrado en la conceptualización de la experimentación pública. Para ello, en primer lugar, se define la experimentación en las políticas públicas y se expone en qué consiste, tanto en el ámbito de la evaluación como en el de las políticas públi- cas conductuales. A continuación, se analizan sus orígenes y desarrollo en el entorno inter- nacional. Este capítulo explica, además, de manera detallada, las diferentes modalidades de experimentación pública, analizando sus ventajas e inconvenientes; a ello se suma una muestra de las principales escalas que miden la calidad de la evidencia experimental. Por último, se incorpora un recorrido por las diversas fases de necesario desarrollo en la puesta en marcha y aplicación de un modelo de experimentación pública, incorporando de manera constante ejemplos para ilustrar y comprender mejor sus contenidos. El tercer capítulo realiza un detallado análisis histórico de la evolución de la experimen- tación en políticas públicas en el marco internacional. En él se mapean las institu- ciones que realizan y apoyan este tipo de intervenciones y se realiza una clasificación de la experimentación atendiendo al ámbito territorial de implementación, el momento en el ciclo de políticas en que se desarrolla, los objetivos de la experimentación, los colecti- vos destinatarios y los ámbitos temáticos. Derivado del análisis de estas experiencias, se
analizan los elementos que han facilitado la experimentación en los diferentes contextos. Todo el capítulo está trufado de breves fichas de ejemplos de los casos de experimentación que se consideran referentes; en el cuarto capítulo se realizan una descripción y un análisis más exhaustivos de dos de los casos seleccionados. El quinto capítulo recoge el marco normativo, institucional y estratégico de España en el que se produce el desarrollo de la evaluación y la experimentación pública. A continuación, se recogen las experiencias de experimentación pública detectadas en España en los diferen- tes niveles de la Administración pública (es- tatal, autonómica y local), así como aquellas desarrolladas en colaboración con iniciativas de carácter privado, destacadas a través de múltiples fichas de ejemplos. Todo el análisis de fuentes secundarias, junto a la información recabada a través de diversas entrevistas a personas expertas del ámbito de la evalua- ción, ha permitido detectar las principales dificultades para el desarrollo de la experi - mentación en la Administración pública en España, que se exponen en el sexto capítulo. En el séptimo capítulo se reflejan los resulta- dos de tres estudios de caso de experimenta- ción de políticas públicas que se consideran un referente en nuestro país. En el último capítulo se establecen las prin- cipales conclusiones del estudio, junto con las recomendaciones para el impulso de la experimentación en las políticas públicas de nuestro país. Los anexos recogen una batería más amplia de experiencias internacionales organiza- das por ámbitos de intervención y un listado global de estas, así como una relación de todas las personas que han participado en las entrevistas desarrolladas, sin las que este estudio no hubiera sido posible y a las que agradecemos encarecidamente su colabora- ción.
12
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
INTRO DUC CIÓN A LA EX PERI MEN TACIÓN EN PO LÍTICAS PÚBLI CAS
02.
13
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
2.1. Qué es un experi- mento en política pú- blica y por qué experi- mentar De acuerdo con la Real Academia Española, experimentar tiene diferentes acepciones; la primera de ellas es «probar y examinar práctica- mente las virtudes y propiedades de algo», y la última, relacionada únicamente con las ciencias naturales, «hacer operaciones destinadas a descubrir, comprobar o demostrar determina- dos fenómenos o principios científicos». En el ámbito de las políticas públicas, experimentar puede relacionarse con ambas acepciones, ya que permite testar en la realidad fenóme- nos o principios científicos que consideramos que deben ser probados, y, más directamente, examinar prácticamente las propiedades de una política pública. De acuerdo con el Diccionario abierto de sociología, un experimento es un «procedimiento que suele utilizarse para con- firmar la validez de una hipótesis comparando los resultados de uno o más grupos con un grupo de control en una medida determinada». En otras palabras, se trata de un procedimien- to de investigación destinado, a través de una determinada metodología lo suficientemente robusta, a contrastar con la realidad una o va- rias hipótesis relevantes para el estudio. En este caso, para la política pública. Los experimentos nos permiten, por lo tanto, contestar a pregun- tas como las siguientes:
El recurso a los experimentos en política pública parte de varias fuentes, entre las cuales la prin- cipal es el avance en las metodologías y técni- cas de recogida, tratamiento e interpretación de datos en el contexto social, haciendo de esta manera posible realizar en condiciones reales pruebas que con anterioridad solo se podían de- sarrollar en condiciones de laboratorio. De esta manera, un experimento de «laboratorio» conse- guía aislar una relación causal controlando las condiciones externas ajenas a la propia relación causal. Estas condiciones de experimentación son imposibles de replicar en el mundo real. Sin embargo, el avance en los métodos de recogida y tratamiento de datos nos permite establecer, en el mundo real, unas condiciones similares, a través de la aproximación estadística a las relaciones causales y a los efectos externos. La forma de lograr aislar la relación causal de los efectos externos consiste sencillamente en calcular los efectos externos en un grupo de control —al que no se aplica la relación causal— y descontar dichos efectos del efecto total. Pondremos un ejemplo: supongamos que queremos saber si un programa de apoyo a estudiantes en desventaja es adecuado para ellos. Podríamos calcular la mejora en las califi - caciones pasado un tiempo, pero con ese mero ejercicio no sabríamos si la causa de la mejoría es, efectivamente, el programa. También podría ocurrir que, pese al programa de apoyo, las calificaciones siguieran siendo bajas. En condi - ciones reales, es difícil precisar si el programa tuvo un efecto en los estudiantes, pues puede que una mejora en las instalaciones del colegio, una renovación del programa pedagógico o cualquier otra circunstancia ajena a la relación causal que queremos probar hubiera afectado notablemente a su rendimiento. La experimen- tación pública resuelve este problema al plan- tear una situación «contrafactual», en la que se aísla el efecto del programa de apoyo de otros factores que afectan a su rendimiento escolar. En el gráfico 1 se muestra esta idea: nuestro objetivo sería ser capaces de aislar el efecto del programa de apoyo en el rendimiento escolar.
• ¿Es efectiva la puesta en marcha de clases de apoyo para estudiantes en desventaja?
• ¿Puede una renta mínima garantizada desincentivar la búsqueda de empleo?
• ¿Cuál es la mejor manera de evitar embara- zos no deseados en niñas y adolescentes?
En definitiva, en materia de política pública, un experimento es un método de investigación que permite conocer, basándose en la evidencia, los previsibles resultados de una política pública en un contexto social, económico y cultural deter- minado.
14
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
gráfico 1. factores que afectan el rendimiento escolar
Fuente: Elaboración propia
La mejor manera de aislar este efecto es a través de la realización de un experimento de política pública, en el que, dado que no tene- mos la posibilidad de mantener a los estu- diantes aislados del resto de las condiciones educativas y sociales, realizamos un contrafac- tual, esto es, evaluamos el rendimiento escolar de quienes lo reciben comparado con el de aquel alumnado que, partiendo de las mismas condiciones educativas y sociales, no recibe el apoyo. Al grupo que recibe el apoyo se le deno- mina «grupo de tratamiento», y al grupo que no recibe el apoyo se le denomina «grupo de control». Cuanto más se parezcan los grupos, en términos de condiciones sociales y educati- vas, más robusta será la estimación del efecto del programa de apoyo, y cuanto más grandes sean ambos grupos, más fácil será eliminar el ruido procedente de otras variaciones de sus
condiciones. Para ello, es esencial desarrollar una adecuada selección de ambos grupos, que, en condiciones ideales, debería ser alea- toria. A este tipo de experimentación social se le denomina Prueba de Control Aleatorio, más comúnmente conocida por sus siglas en inglés, RCT o Randomized Control Trials. Siguiendo nuestro ejemplo, descrito esquemá- ticamente en el gráfico 2, y partiendo de una población de estudiantes con similares condi- ciones educativas y sociales, desarrollaríamos una distribución aleatoria entre los dos grupos (tratamiento y control) y evaluaríamos los resultados académicos de ambos grupos. Se podría, en este caso, atribuir estadísticamente la diferencia de rendimiento a aquello que dife- rencia a ambos grupos, que es la participación en un programa de apoyo educativo específico.
gráfico 2. Distribución aleatoria del programa de apoyo al rendimiento escolar
Fuente: Elaboración propia
15
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
Este modelo de investigación ha sido amplia- mente utilizado en los ensayos clínicos de tratamientos, utilizando un grupo de trata- miento y otro grupo de control al que se le suministra un placebo, y forma parte de las prácticas habituales de prueba de nuevos me- dicamentos, vacunas y tratamientos médicos. La realización de los RCT ha sido calificada como el «estándar de oro» de la experimen- tación social, y, como veremos a lo largo de este informe, suponen una importante innova- ción en el diseño y la realización de políticas públicas. Sin embargo, no siempre es posible alcanzar las condiciones necesarias para su correcto desarrollo, de manera que una parte importante de los experimentos tienden a su- plir o a mitigar las numerosas dificultades que ofrece el mundo real para aislar los efectos de las políticas públicas. El recurso a la experimentación en políticas públicas es un mecanismo idóneo para averi- guar, basándose en la evidencia, la efectividad de estas, aisladas de otros efectos. Permite, de esta manera, mejorar su impacto y también su diseño, aprender de las políticas públicas de- sarrolladas en otros contextos —aunque, como veremos, con limitaciones— y proporcionar a la ciudadanía un marco de acción público más eficaz, transparente y con mayor generación de valor a medio y largo plazo. También permi- te modificar o corregir programas y evaluar su continuidad y eficacia.
sis de la evolución en la experimentación en el mundo, el primer ámbito donde se desarro- llaron experimentos de manera sistemática fue la agricultura, con la prueba de diferentes métodos y variedades de cultivo. A través de centros de estudio y análisis, se ha ido generando la metodología específica para la puesta en marcha de experimentos en otras áreas. De esta manera, en los años sesenta y setenta del siglo XX, en Estados Unidos se desarrollaron algunos de los experimentos más notables, en áreas como el impuesto negativo sobre la renta, los seguros de salud y los programas de vivienda (Gueron, 2017). Así, en 1975, el Gobierno federal desarrolló un RCT de grandes proporciones para evaluar el rendimiento y la efectividad del programa de apoyo a las personas con problemas de in- serción laboral, que supuso el programa más amplio desarrollado hasta el momento. Los programas de experimentación lograron un notable impulso en los años noventa, par- ticularmente en el ámbito de la cooperación internacional para el desarrollo, con el Banco Mundial como principal impulsor. En 2003, los economistas Abhijit Vinayak Banerjee y Esther Duflo pusieron en marcha el Laboratorio de Acción contra la Pobreza (J-PAL) en el Ins- tituto Tecnológico de Massachusetts (MIT), que desde ese momento se consolidó como un espacio de referencia en la elaboración de metodologías y técnicas de puesta en marcha de programas de experimentación social. En 2004, el Banco Mundial estableció el progra- ma de evaluación de impacto en desarrollo. A partir de ese momento, la experimentación en políticas públicas se extendió, particular- mente en el mundo anglosajón, a través de la puesta en marcha de la Unidad de Estudios Conductuales del Gobierno británico en 2010, la creación en 2011 de la red What Works Network y el lanzamiento en 2014 del Innova- tion Growth Lab (Laboratorio de innovación para el crecimiento). En 2016, los Gobiernos de Canadá y Finlandia establecieron la expe- rimentación pública como un objetivo políti- co, y en 2017, la Comisión Europea lanzó un
2.1.1. Orígenes históricos de la experimentación pública
El recurso a la experimentación pública no es nuevo. Desde la conformación de los Estados modernos y la puesta en marcha de las políti- cas públicas, los Gobiernos han desarrollado sus políticas a través de ensayos y modelos de prueba y error, pero no siempre apren- diendo de ellos y con resultados no siempre positivos.
Como se desarrollará de manera más detalla- da en el siguiente capítulo, dedicado al análi-
16
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
programa de cuatro millones de euros para promover la utilización de RCT en las agen- cias de innovación. Para ese momento, la agencia británica Nesta ya había desarrollado metodologías específicas de experimenta - ción pública basándose en RCT y el J-PAL había desarrollado no solo publicaciones, sino numerosos programas de formación acadé- mica y ejecutiva, que se habrían replicado en otras universidades a lo largo del planeta. En 2019, los dos fundadores del J-PAL recibirían el Premio Nobel de Economía, de manera compartida con Michael Kremer, otro de los pioneros en el ámbito de la experimentación pública. En 2021, el Nobel volvería a recaer sobre expertos en experimentación, como David Card, Joshua Angrist y Guido Imbens, consolidando de esta manera la disciplina de la economía experimental y los experimentos como método válido de conocimiento de la realidad social.
modificar conductas en una dirección social - mente deseable (Sunstein y Thaler, 2010). Un ejemplo claro de este tipo de nudges es el establecimiento del permiso de conducir por puntos. El desarrollo de esta disciplina también ha significado grandes avances en la elaboración de políticas públicas, al permitir evaluar la reacción de la ciudadanía ante determinadas decisiones públicas y medir sus efectos en condiciones experimentales. De esta manera, han proliferado los laboratorios de economía conductual, donde, a través de experimentos controlados, se han evaluado diferentes op- ciones de política pública en ámbitos como la salud pública, la política fiscal o el medio am - biente, en muchos casos a través del apoyo de las instituciones multilaterales de desarro- llo. La extensión de este tipo de prácticas ha generado la aparición de unidades conductua- les en numerosos Gobiernos, así como una extensa literatura académica sobre la econo- mía y las políticas públicas conductuales. 2.2. Modalidades de ex- perimentación pública Como hemos señalado con anterioridad, los RCT o controles de prueba aleatoria son considerados el «estándar de oro» en materia de experimentación pública. Sin embargo, y como veremos, son costosos y complejos de desarrollar, y no siempre se cumplen las condiciones necesarias para su correcta eje- cución. De esta manera, se han desarrollado otras modalidades que, sin cumplir todos los requisitos, ofrecen también evidencia sufi - cientemente robusta. Así, clasificaremos los experimentos de la siguiente manera:
2.1.2.La experimentación pública y las políticas públicas conductuales
El auge de la experimentación pública debe entenderse siempre en paralelo con la cons- trucción de las políticas públicas conduc- tuales. Entendemos las políticas públicas conductuales como aquellas que tienen en cuenta la reacción de la ciudadanía ante determinados estímulos — nudges, en in- glés— que pueden influir en la conducta de las personas en una determinada dirección. La aparición de las políticas públicas conduc- tuales tiene su origen tanto en la psicología como en la economía conductual, entendien- do esta como la rama de la economía que tiene en cuenta los sesgos y condicionantes de las personas en la toma de decisiones. Los descubrimientos recientes sobre el compor- tamiento económico y social de las personas nos llevan a pensar que su toma de decisio- nes no siempre sigue los criterios de estricta racionalidad, y que estos criterios pueden ser influenciados a través de pequeños estímu- los —los ya señalados nudges —, que permiten
• Experimentos aleatorizados:
o RCT.
o Pruebas múltiples.
17
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
o RCT ligeros.
Al evitar el sesgo de selección y decidir alea- toriamente quién forma parte del grupo de tratamiento y quién del grupo de control, se mitigan los efectos de condiciones sociales ajenas al experimento. Como veremos, la con- formación aleatoria de los grupos de trata- miento y control no siempre es posible, lo cual nos llevaría a otro tipo de metodologías. Dentro de las pruebas aleatorizadas, pode- mos distinguir las siguientes:
o Test A/B.
o Pruebas aleatorias de clústeres.
• Pruebas cuasiexperimentales:
o Diseño de regresiones en discontinui- dad.
o Propensity Score Matching.
RCT o controles de prueba aleatoria
o Diferencias en diferencias.
Como ya hemos señalado, los RCT son el estándar más alto en materia de experimen- tación social. Se basan en la determinación aleatoria de un grupo sobre el que se aplica una serie de programas o políticas públicas cuya eficacia se quiere comprobar. Los resul - tados, pasado el tiempo, se comparan con los resultados obtenidos en un grupo de control, también elegido aleatoriamente en la pobla- ción, atribuyendo las diferencias entre ambos a la política pública aplicada. Es el modelo básico de experimentación y, también, uno de los más complejos de desarrollar por sus numerosas implicaciones.
o Controles sintéticos.
2.2.1. Experimentos aleatorizados
Los experimentos aleatorizados son aquellos en los que intentamos determinar cuál es el efecto causal de una medida o política pú- blica en la realidad social. Para ello, como ya hemos señalado, utilizamos, preferiblemente de la misma población objetivo, un grupo de tratamiento y un grupo de control, con las mismas características socioeconómicas y poblacionales, examinando cuál es el efec- to de la medida en un plazo determinado, al comparar la evolución de ambos grupos. La fortaleza de estos experimentos recae específicamente en la aleatoriedad en la elección del grupo de control y del grupo de tratamiento, evitando de esta manera lo que se reconoce como el sesgo de selección; un sesgo de selección sería, por ejemplo, que un grupo estuviera formado por quienes han solicitado una ayuda, y otro, por quienes no la han solicitado. El hecho de haber solicita- do la ayuda rompe la aleatoriedad de ambos grupos y dificulta la atribución de causalidad, ya que puede ser que quienes la han solicita- do muestren más iniciativa que quienes no lo han hecho, y que sea precisamente esa inicia- tiva la que contamine los resultados.
Controles de pruebas múltiples
Los controles de pruebas múltiples siguen los mismos principios que en el caso de los RCT básicos, pero en este caso la población se divide en varios grupos de tratamiento, aplicando sobre cada uno de ellos una política pública diferente, de manera que se puedan comparar los resultados entre estos grupos y con el grupo de control. Los controles de pruebas múltiples son eficaces para compa - rar diferentes opciones de política pública, pero su desarrollo es más complejo que el de los RCT básicos.
RCT ligeros
Los RCT ligeros son test que prueban solo algunos aspectos operacionales de un pro- grama más amplio, sin entrar a valorar los
18
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
impactos últimos de este. Dado su alcance, son más sencillos de desarrollar y permiten obtener información más rápida sobre deter- minados aspectos operativos.
de los resultados se asemejan al desarrollo de pruebas aleatorizadas.
La extensión de los laboratorios de compor- tamiento y la relación entre la validez de sus resultados y su coste hacen que sean uno de los modelos experimentales más utilizados en el presente, al igual que las pruebas A/B, particularmente en el sector privado y en el emprendimiento digital, por su bajo coste relativo. Sin embargo, comparado con el desarrollo de RCT completos, la robustez de sus resultados es menor, y su alcance, más limitado.
Test A/B
Muy utilizados como experimentos en el mundo del emprendimiento digital, los test A/B prueban dos o más alternativas de un servicio, diseño o mensaje. Normalmente, se desarrollan a través de medios digitales; por ejemplo, aleatorizando la entrada del públi- co en un diseño de página web o en otro y estudiando las reacciones de las personas usuarias.
2.2.2. Diseños cuasiexperimentales
RCT de clústeres
En muchas ocasiones, los diseños de experi- mentos son difíciles de desarrollar, por condi- cionantes económicos, sociales o políticos. En esos casos, se puede recurrir a diseños cuasiex- perimentales, o diseños que, sin ser experimen- tos, pueden proporcionar resultados con niveles de robustez adecuados para la generación de evidencias. Los diseños cuasiexperimentales no incluyen la selección aleatorizada de los grupos de tra- tamiento y control, de manera que se aplican técnicas a posteriori para mitigar los sesgos de selección. Como tales, son también ampliamen- te utilizados y tienen una larga trayectoria en el ámbito de las ciencias sociales, particularmen- te a través de la econometría. Estos métodos econométricos tienen su pilar básico en los modelos de regresión, donde la selección de las variables dependientes e independientes supo- ne una de las tareas más relevantes, incluyendo el uso de variables instrumentales. Avanzando desde los modelos de regresión, veremos algu- nas de las metodologías más utilizadas:
Los RCT de clústeres permiten desarrollar pruebas aleatorizadas en grupos de población a los que no es posible llegar a través de un tratamiento individualizado, por ejemplo, en programas de fortalecimiento institucional o en el establecimiento de políticas públicas urbanas o territoriales. En estos casos, la determinación aleatoria de los clústeres es la que determina los grupos de control y trata- miento. Normalmente, requieren muestras más amplias que los RCT individualizados.
Laboratorios de comportamiento
Sin ser estrictamente una modalidad de ex- perimentación aleatorizada, los laboratorios de comportamiento —o unidades conduc- tuales— se están convirtiendo en un espacio muy utilizado para la elaboración de políticas públicas experimentales. Los laboratorios de comportamiento intentan reproducir, en entornos controlados y aislados, las condicio- nes de respuesta conductual de personas que actúan como consumidoras o usuarias de un determinado bien o servicio, evaluando su reacción a pequeños «incentivos» (nudges) di- señados para modificar las conductas de las personas. Los criterios de selección de parti- cipantes, desarrollo del experimento y análisis
Regresiones en discontinuidad
Una regresión en discontinuidad es una técnica econométrica que permite identificar el efecto de una determinada política pública a partir de
19
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
un punto de «corte» en una población. De esta manera, se evalúa el impacto de la medida entre quienes caen a un lado del punto de corte (que reciben la política pública) y quienes caen al otro lado (que no la reciben). Como ejemplo, se puede proponer evaluar el impacto en el rendi- miento académico de una beca, examinando el desempeño académico de quienes están cerca del límite de elegibilidad económica, tanto a un lado como a otro. Las regresiones en disconti- nuidad parten de la idea de que los grupos que están próximos a la «línea de corte» comparten características similares y que, antes de existir la política pública, tendrían resultados pareci- dos. Una vez implementada la política, cuanto mayor sea la diferencia (discontinuidad) de re- sultados entre ambos grupos, más significativo será el impacto de la política pública.
variable antes y después del tratamiento —política pública— respecto del grupo de control. Siguiendo con nuestro ejemplo, si los estudiantes becados mejoraron un 20 % su rendimiento académico y los no becados mejoraron un 5 %, la diferencia puede ser atri- buible a la beca. En este caso, es esencial que el grupo de control y el de tratamiento hayan seguido una tendencia similar antes de poner en marcha la política pública (supuesto de la tendencia paralela).
Control sintético
El control sintético tiene como objetivo estable- cer sintéticamente dos grupos —uno de trata- miento y otro de control—, donde el grupo de control se construye a partir de la ponderación de las características del grupo de tratamiento. El promedio ponderado de esas características se considera el «grupo de control sintético». Supongamos que, en nuestro ejemplo, los estudiantes becados tienen un promedio de 12.000 € de renta al año. Construiremos un «control sintético» a partir de la ponderación de las rentas de los estudiantes no beca- dos, de manera que un grupo tiene una renta de 10.000 € y otro grupo tiene una renta de 25.000 €. El grupo de control sintético estará formado por la ponderación entre ambas ren- tas (en el ejemplo, el grupo que tiene una renta de 10.000 € ponderará un 86 %, y el que tiene una renta de 25.000 €, un 14 %). La diferencia de resultados académicos entre el grupo de tratamiento —los estudiantes becados— y el control sintético —los resultados académicos de los demás estudiantes ponderados por su renta— nos dará el efecto de la política pública. Las metodologías tanto aleatorizadas como no aleatorizadas ofrecen, por lo tanto, di- ferentes grados de robustez en materia de medición del impacto de la política pública prevista, y la evidencia que ofrecen no merece la misma confianza. Para ello, es necesario evaluar la calidad de dichas evidencias.
Propensity Score Matching
El PSM es una técnica econométrica que con- siste en identificar un grupo de control partien - do de las características del grupo de trata- miento. La selección no es aleatoria, sino que se basa en construir sintéticamente, partiendo de las características del grupo de tratamiento, un grupo de control que comparta cuantas más características mejor. Esta metodología es útil cuando no se pueden aleatorizar los grupos. En ese caso, el investigador selecciona a un grupo que comparta el mayor número de característi- cas con el grupo de tratamiento, construyendo así el contrafactual. El impacto de la política pública será el que genere las diferencias entre el grupo de tratamiento y el grupo de control. Siguiendo con nuestro ejemplo anterior, en este caso elegiríamos al alumnado que, sin tener la beca académica, tiene las mismas condiciones socioeconómicas, edad y formación previa que el grupo de personas becadas, comparando su rendimiento académico.
Diferencias en diferencias
La metodología de diferencias en diferencias es una técnica econométrica que permite identificar las diferentes evoluciones de una
20
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
2.3. La escala de las evidencias
• En el nivel 5, el más desarrollado, los de- cisores públicos tienen además manuales, sistemas y procedimientos que aseguran la capacidad de replicar el experimento y su capacidad de generar impactos. En estos cinco niveles, el nivel mínimo acepta- ble para emprender una política pública se sitúa en el primer peldaño de la escalera, mientras que la mayoría de las evidencias recogidas, en la práctica, se situarían en el nivel 2, todavía en los escalones más bajos. Los métodos expe- rimentales y cuasiexperimentales comienzan en el nivel 3, y el nivel 4, donde son una o más evaluaciones independientes las que otorgan la fortaleza de la evidencia, supone el máximo nivel de experimentación. En el nivel 5, esas eva- luaciones independientes son complementadas con herramientas y mecanismos de control que aseguran la replicabilidad y escalabilidad de los experimentos desarrollados. El estándar de evidencia de Nesta no es la única escala de calidad de la evidencia, sino que podemos identificar otros métodos de valoración de la evidencia. En la siguiente tabla aparecen otros métodos similares.
Como señalábamos, el uso de diferentes métodos de recogida de información supone evidencia de diferentes niveles de calidad. Por ello, es necesario establecer algún tipo de gradación en la consistencia y la calidad de la evidencia recogida, de manera que, cuanto ma- yor sea su calidad, más consistentes serán las expectativas de efecto que genere la política pública experimentada. Para facilitar la interpretación de la robustez de la evidencia empírica, la agencia británica Nesta ha elaborado una «escala» de la evidencia, de manera que podamos hacernos una idea de la calidad de nuestra experimentación. Así, Nesta divide las categorías de la evidencia experimen- tal en cinco niveles, donde el nivel 1 es el más básico, y el 5, el más completo (Nesta, 2013): • En el nivel 1, los decisores públicos tienen la capacidad de describir la política pública, explicar por qué es importante y hacerlo de una manera lógica y convincente, a través de una serie de razones. • En el nivel 2, quienes deciden las políticas públicas son capaces de mostrar datos que señalan un cambio en la población objetivo, pero no son capaces de confirmar que ese cambio está producido por las políticas públicas aplicadas. • En el nivel 3, los decisores públicos pue- den demostrar la causalidad de los efectos entre el grupo de tratamiento y el grupo de control, aplicando diferentes metodologías. • En el nivel 4, quienes determinan las políticas públicas cuentan con una o más evaluaciones independientes que replican y confirman las conclusiones sobre los efec - tos de una política pública. En este nivel de evidencia, se puede explicar cuál es el grado de efecto y cómo se produce dicho efecto sobre la población.
21
LA EXPERIMENTACIÓN EN LAS POLÍTICAS PÚBLICAS
niveles de evidencia experimental
BASGSAW
PETTICREW Y ROBERTS
Nivel 5: Estudios de caso sin control Nivel 4: Estudios sin aleatori- zar, con controles históricos Nivel 3: Estudios observacio- nales sin aleatorizar Nivel 2: Controles aleatoriza- dos de pequeño tamaño Nivel 1: Controles aleato- rizados de gran tamaño y robustez estadística
Informes de casos
Estudios transversales
Estudios de caso con control
Estudios de cohorte
RCT con resultados no definitivos
RCT con resultados definitivos Análisis sistemáticos y metaanálisis
Fuente: Breckon (2020)
2.4.1.Selección y diseño del experimento
Podemos por lo tanto señalar que cuanto mayor sea el grado de análisis, de aleatorie- dad y el número de experimentos analizados, mayor será la robustez de la evidencia em- pírica recogida. De manera que, cuando esto sea posible, es preferible una política pública que esté soportada por evidencia recogida en experimentos con réplicas múltiples, antes que en un único experimento o estudio. 2.4. Fases de un modelo de experimentación pú- blica Tras haber descrito algunos de los principales modelos de experimentación pública, así como las escalas sobre la calidad de la evidencia recogida, pasaremos a describir brevemente cuáles son las fases para la generación de experimentación pública. Para ello, establece- remos las siguientes fases:
La primera fase de un experimento es su selec- ción y diseño. En ella deben establecerse los objetivos y propósitos del experimento, inclu- yendo qué es exactamente lo que se quiere comprobar, a través de la determinación de una teoría del cambio y la selección de unas hipótesis para contrastar. Entendemos por teoría del cambio el modelo causal que presupone cómo una determinada política pública va a generar cambios en la realidad. En nuestro ejemplo de las clases de apoyo, la teoría del cambio asociada nos lleva- ría a establecer que un apoyo más específico y personalizado permite aprovechar mejor las capacidades individuales de las personas parti- cipantes, apoyar sus lagunas educativas de un modo más personalizado y mejorar sus com- petencias y habilidades para el aprendizaje, de manera que estos elementos llevan asociados una mejoría en los resultados académicos. En otras palabras, la teoría del cambio intenta explicitar ex ante cómo funciona la política pública.
• Selección y diseño del experimento.
• Ejecución.
• Análisis de resultados.
22
Page 1 Page 2 Page 3 Page 4 Page 5 Page 6 Page 7 Page 8 Page 9 Page 10 Page 11 Page 12 Page 13 Page 14 Page 15 Page 16 Page 17 Page 18 Page 19 Page 20 Page 21 Page 22 Page 23 Page 24 Page 25 Page 26 Page 27 Page 28 Page 29 Page 30 Page 31 Page 32 Page 33 Page 34 Page 35 Page 36 Page 37 Page 38 Page 39 Page 40 Page 41 Page 42 Page 43 Page 44 Page 45 Page 46 Page 47 Page 48 Page 49 Page 50 Page 51 Page 52 Page 53 Page 54 Page 55 Page 56 Page 57 Page 58 Page 59 Page 60 Page 61 Page 62 Page 63 Page 64 Page 65 Page 66 Page 67 Page 68 Page 69 Page 70 Page 71 Page 72 Page 73 Page 74 Page 75 Page 76 Page 77 Page 78 Page 79 Page 80 Page 81 Page 82 Page 83 Page 84 Page 85 Page 86 Page 87 Page 88 Page 89 Page 90 Page 91 Page 92 Page 93 Page 94 Page 95 Page 96 Page 97 Page 98 Page 99 Page 100 Page 101 Page 102 Page 103 Page 104 Page 105 Page 106 Page 107 Page 108 Page 109 Page 110 Page 111 Page 112 Page 113 Page 114 Page 115 Page 116 Page 117 Page 118 Page 119 Page 120 Page 121 Page 122 Page 123 Page 124 Page 125 Page 126 Page 127 Page 128 Page 129 Page 130 Page 131 Page 132 Page 133 Page 134 Page 135 Page 136 Page 137 Page 138 Page 139 Page 140 Page 141 Page 142 Page 143 Page 144Made with FlippingBook - Online Brochure Maker