El informe sintetiza el proceso mediante el cual se ha generado un modelo estandarizado de evaluación de la innovación de los gobiernos locales. Este trabajo fue uno de los proyectos seleccionados en el Programa de Innovación Abierta (PIA) 2017 de Cotec.
UNA PROPUESTA PARA LA ESTANDARIZACIÓN Y EVALUACIÓN DE SUS MODELOS DE INNOVACIÓN
UNA PROPUESTA PARA LA ESTANDARIZACIÓN Y EVALUACIÓN DE SUS MODELOS DE INNOVACIÓN
AUTORES:
MIGUEL DE BAS SOTELO MÁXIMO FRAILE ESCRICH FERNANDO MONAR RUBIA (DIR) FRANCISCO ROJAS MARTÍN
Proyecto seleccionado dentro de la convocatoria 2017 del Programa de Innovación Abierta (PIA) de la Fundación Cotec para la Innovación
CONTENIDO
1. INTRODUCCIÓN ..................................................................................................................................... 4
2. ANTECEDENTES Y CONTEXTUALIZACIÓN ............................................................................. 6
3. METODOLOGÍA ..................................................................................................................................... 12 3.1 Marco de conocimiento ..................................................................................................... 13 3.2 Prototipo .................................................................................................................................... 15 3.2.1 Proceso de participación.................................................................................... 16 3.2.2 Diseño del modelo afinado............................................................................... 19 3.3 Presentaciones y entrevistas con expertos .......................................................... 22 4. EVALUACIONES .................................................................................................................................. 23 4.1 Un análisis de dos de los casos .................................................................................. 24 4.1.1 Ayuntamiento de Logroño La Rioja............................................................... 25 4.1.2 Ayuntamiento de San Sebastián de los Reyes, Madrid..........................................................................................................................27 4.1.3 Características comunes en las estrategias de innovación.......................................................................................................... 29 4.2 Modelo definitivo .................................................................................................................. 30
5. CONCLUSIONES FINALES Y RECOMENDACIONES ......................................................... 30
........................................................................................................................................ 31
REFERENCIAS
....................................................................................................................................... 32 ANEXO 1. Posicionamiento OPSI ....................................................................................... 32 ANEXO 2. Borrador declaración OCDE sobre innovación del Sector Público ............................................................................................... 33 ANEXO 3. Referencia al CAF ................................................................................................ 34 ANEXO 4. Modelo de evaluación con tabla de puntuación ............................... 35 ANEXO 5. Ejemplo de evidencias tipo ........................................................................... 38 ANEXO 6. Cuestionario, cumplimentado y comentado, de San Sebastián de los Reyes ................................................................... 42
ANEXOS
¿SON INNOVADORES NUESTROS GOBIERNOS LOCALES? UNA PROPUESTA PARA LA ESTANDARIZACIÓN Y EVALUACIÓN DE SUS MODELOS DE INNOVACIÓN
1. INTRODUCCIÓN
1.1 La idea de construir un modelo para la estandarización y evaluación de la innovación de gobiernos locales de España nace de un debate, entre los miembros de esta iniciativa 1 , en el congreso NOVAGOB 2017, en la Universidad de La Laguna (Islas Canarias), sobre la necesidad de con- tar con un referencial que permitiera, a los decisores y a los técnicos de este vital ámbito institucional en nuestro país, contar con una herramienta solvente para afrontar desarrollos y posteriormente realizar benchmarking . Esta idea ha generado finalmente un modelo que permi- tirá la evaluación —y también el diseño— de los sistemas de gestión de la innovación, basado en un sistema de in- dicadores para identificar la presencia, los avances y el nivel de la innovación en el mundo público local español, con la posibilidad de permitir realizar ejercicios compara- tivos entre instituciones y que constituirá, al tiempo, la referencia para las instituciones que se inician. Para el desarrollo del proyecto, el equipo ha contado con la colaboración de diferentes instituciones y entidades, entre las que cabe destacar muy especialmente a los ayunta- mientos de Madrid, Málaga y Valencia —por las facilidades para celebrar las entrevistas mantenidas con sus respon- sables de innovación—, la diputación de Alicante —por el taller organizado para la evaluación de gobiernos locales con el modelo—, la Federación Española de Municipios y Provincias (FEMP) —por mantener una audiencia para una presentación del proyecto y, coorganizar junto con el Club de Innovadores Públicos, un panel en el Congreso Nacional de Innovación de Servicios Públicos (IX CNIS 2019)—, y los miembros del equipo de Innovación on tour , por su apoyo en las redes sociales. También han colaborado en la fase de evaluaciones más de 20 gobiernos locales que se rela- cionan en el epígrafe dedicado a las evaluaciones. Adicionalmente, el proyecto ha influido en el diseño del cuestionario para la recogida de información en materia de innovación en la Red Interadministrativa de Calidad en los Servicios Públicos y sus avances han sido presentados en las redes sociales.
1. Ha dirigido el proyecto Fernando Monar y han colaborado en él Miguel de Bas, Máximo Fraile y Francisco Rojas Martín.
4
¿SON INNOVADORES NUESTROS GOBIERNOS LOCALES? UNA PROPUESTA PARA LA ESTANDARIZACIÓN Y EVALUACIÓN DE SUS MODELOS DE INNOVACIÓN
1.2 La hipótesis inicial tuvo en cuenta la reflexión sobre si era más adecuado enfocar el diseño de un mo- delo centrado en un tamaño concreto de gobierno local o enfocarlo hacia un modelo que permitiera ser usado por cualquier tipo de gobierno. Finalmente, se optó por esta segunda opción, desarrollándose un modelo para cual- quier tamaño de gobierno local, siguiendo el ejemplo de los modelos internacionales de evaluación de orga- nizaciones (EFQM, CAF…), que no diferencian por tamaño. Ese posicionamiento se contrastó y confirmó en la fase de evaluaciones en la que los participantes, independien- temente del tamaño de su gobierno local, se sintieron muy cómodos con él. 1.3.1 general: determinar el conjunto de elementos que constituyen la idea de “gobierno local innovador” , a través de sus sistemas de gestión de la innovación, organizados en un modelo sencillo, generalizable, y no totalmente prescriptivo. Y generar los subindica- dores que permiten identificar la escalabilidad y la presencia, avances y niveles correspondientes. 1.3.2 concretos: construir un prototipo primero y un modelo después, tras debatir técnicamente cada uno de los elementos del prototipo mediante un grupo de trabajo, diverso y representativo, en red, para alcanzar un consenso sobre el sistema y eva- luar 20 gobiernos locales para testar la herramienta, que pueda ser motor de innovación en el entorno de los gobiernos locales. 1.4 Tras los trabajos de campo, se desarrollaron ejemplos de evidencias para cada uno de los elementos de evaluación, más allá de las que se recogen en el Anexo correspon- diente, al estilo de la norma ISO 18091 o UNE 66182. 1.3 Los objetivos del proyecto han sido:
5
¿SON INNOVADORES NUESTROS GOBIERNOS LOCALES? UNA PROPUESTA PARA LA ESTANDARIZACIÓN Y EVALUACIÓN DE SUS MODELOS DE INNOVACIÓN
2. ANTECEDENTES Y
CONTEXTUALIZACIÓN
2.1 Hasta hace unos años resultaba extraño tratar de vincular los conceptos de innovación y gobiernos o administra- ciones públicas. La innovación solía relacionarse con el mundo de la empresa, mientras que a la gestión públi- ca se la relacionaba exclusivamente con la burocracia. Sin embargo, en estos momentos la innovación pública se encuentra en un gran momento en España. Los proyec- tos y casos de éxito se multiplican en diversos ámbitos de nuestro territorio. La necesidad de transformar las organizaciones para crear valor público (esto es, generar valor en términos de servicios, derechos y valores, de inclusión, participación, eficiencia, escalabilidad, sostenibilidad e igualdad) ha lle- vado incluso a la creación de unidades específicas dentro de algunas administraciones públicas. Sin embargo, este esfuerzo por impulsar la innovación pública no ha venido acompañado, hasta el momento, por el establecimiento de una estrategia sistemática ni normalizada. Lo anterior nos lleva a pensar que se hace necesario un esquema estructurado , teniendo en cuenta siempre la necesidad de diversificar, tanto para el diseño de los sistemas de gestión de la innovación pública local como para su evaluación, a nivel territorial. Así, muchos decisores del mundo local – ayuntamientos, diputaciones, cabildos y consells – podrían incorporarse más activamente a la promoción de la innovación, con- tando con claros referentes técnicos y/o científicos de lo que significa la innovación en su entorno.
La idea de la innovación , que actualmente está siendo defendida por los profesionales más avanzados de las diferentes Administraciones, ha de ser la idea fuerza que simbolice el cambio institucional para las entidades y las personas que se interesan por la transformación del espacio público, en parte gracias a la difusión que está alcanzando en redes sociales, pero también a proyectos como este que aquí se explica.
2.2 En el ámbito internacional se trabaja en esa dirección. Por ejemplo, el Observatorio de la Innovación del Sector
6
¿SON INNOVADORES NUESTROS GOBIERNOS LOCALES? UNA PROPUESTA PARA LA ESTANDARIZACIÓN Y EVALUACIÓN DE SUS MODELOS DE INNOVACIÓN
Público (OPSI) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE), “que recopila y anali- za ejemplos y experiencias compartidas de la innovación del sector público para brindar asesoramiento práctico a los países sobre cómo hacer que funcionen las inno- vaciones” 2 , ha venido promoviendo la reflexión sobre la madurez de la innovación que, afirma, es desigual: a me- nudo esporádica, no siempre bien apoyada y difícil de integrar como práctica. Por ello propone pensar cuida- dosamente en diferentes tipos de innovación, adaptados a diferentes tipos de desafíos. Se necesitan “estrategias de innovación coherentes, pero diversas”, un “portafolio de innovación equilibrado”. OPSI, apoyado en un posicionamiento sobre la vincula- ción entre innovación y sector público 3 , ha desarrollado un Proyecto de Declaración de la OCDE sobre Innovación del Sector Público 4 , como conjunto de principios que los gobiernos pueden utilizar para informar la planifi- cación y la estrategia de sus territorios para fomentar mejor la innovación, y en su punto 4 indica que:
“Las opciones innovadoras deben desarrollarse y evaluarse de manera continua, consistente y confiable, para estar preparados para los desafíos esperados e inesperados.”
2.3 Otras iniciativas 5 que pueden considerarse como antece- dentes son las de Colombia, Argentina y Chile.
2.3.1 Recientemente se ha presentado en Colombia, un proyecto —aún no publicado en su fase defi- nitiva—, ante los responsables de planificación de 42 entidades del Distrito de la capital: el índice de Innovación Pública IIP, diseñado por el Laboratorio de Innovación para la Gestión Pública Distrital LABcapital de la Veeduría Distrital, que tiene como objetivo medir el estado de la innovación en las entidades públicas y fortalecer el ecosistema de in- novación pública de Bogotá. El veedor Distrital, Jaime Torres-Melo, invitó a las entida- des amejorar la gestión pública con el Índice de Innovación Pública. Y el coordinador del Laboratorio de Innovación para la Gestión Pública Distrital-LABcapital, Juan Felipe
2. Tomado de
https://www.oecd.org/ governance/observatory- public-sector-innovation/ about/
3. Ver Anexo 1 4. Ver Anexo 2.
5. Se han efectuado varias consultas a nivel nacional e internacional pero no se ha recibido más información que la que se cita.
7
¿SON INNOVADORES NUESTROS GOBIERNOS LOCALES? UNA PROPUESTA PARA LA ESTANDARIZACIÓN Y EVALUACIÓN DE SUS MODELOS DE INNOVACIÓN
Yepes, afirma que “este índice es una herramienta fun- damental para poder medir el nivel de innovación en el sector público Bogotano, identificar buenas prácticas de innovación pública y generar acciones a futuro que incre- menten la innovación pública en el Distrito”. Se recoge que “esto generará a futuro entidades más cercanas al ciudadano, que valoran las ideas de sus co- LABoradores públicos, diseñando productos y servicios públicos con y para la ciudadanía, mejorando la gestión pública”. Según la información previa que se ha distribuido, el índice de Innovación Pública fue codiseñado con el Laboratorio de Innovación en Gobernanza y Gestión Pública de la Universidad Nacional y cuenta con cuatro componentes de medición: i) Capacidad Institucional, que busca medir la capacidad, recursos e insumos que tiene una entidad pública para desarrollar acciones relacionadas con la innovación; ii) Procesos y Prácticas, que busca identificar los proce- sos que la entidad desarrolla con la ciudadanía y los funcionarios de su entidad para la identificación de retos, generación de ideas; diseño de innovaciones y generación de capacidades de innovación, iii) Resultados, que mide los resultados de la innovación dentro de las entidades públicas teniendo en cuenta los anteriores componentes y iv) Gestión del Conocimiento, cuya finalidad es evidenciar el compromiso de la entidad para gestionar su conoci- miento dentro y fuera de la entidad, como un insumo fundamental para la identificación de retos públicos y generación de innovación. Su finalidad es evidenciar el compromiso de la entidad para gestionar su conocimiento dentro y fuera de su ámbito estricto, como un insumo fundamental para la identificación de retos públicos y generación de innova- ción. De todos ellos tenemos incluidos indicadores para el modelo propuesto, como se verá, tanto en la versión ini- cial como en el definitivo.
8
¿SON INNOVADORES NUESTROS GOBIERNOS LOCALES? UNA PROPUESTA PARA LA ESTANDARIZACIÓN Y EVALUACIÓN DE SUS MODELOS DE INNOVACIÓN
Según la información a la que se ha tenido acceso 6 “este es el primer IIP en Colombia y Latinoamérica”.
2.3.2 El documento “Índice de ecosistema de innova- ción municipal” 7 es una publicación del gobierno de la provincia de Buenos Aires, Argentina, que desde la experiencia de Buenos Aires LAB, un labo- ratorio dedicado a liderar el proceso de innovación pública en la Provincia de Buenos Aires, se propone tres objetivos: • Construir la primera línea de base del estado de estos estándares para la innovación pública y los municipios de la Provincia; • Generar datos certeros para el diseño de acciones y políticas públicas acordes a cada contexto local; • Brindar un instrumento de navegación o guía para las gestiones locales que deseen invertir en innova- ción y gobierno abierto. • La primera sección introduce un enfoque sobre la Innovación Pública y el Índice de Ecosistema de Innovación Municipal. • La segunda sección explica la conceptualización y la metodología implementada. El análisis gira en torno a cinco dimensiones: la infraestructura tecnológica, la metodología de trabajo, el desarrollo de proyec- tos, la innovación cívica, y el gobierno Abierto. Cada una de estas dimensiones estratégicas recogen la relevancia y los indicadores. El trabajo presenta la siguiente estructura.
• La tercera sección presenta resultados relativos a 2016.
6. http://www.
7. https://medium.com/ buenosaireslab/ c%C3%B3mo-medir- la-innovaci%C3%B3n- municipal-1ca498174b1 veeduriadistrital.gov.co/ noticias/Bogot%C3%A1- tendr%C3%A1-primer- %C3%8Dndice- Innovaci%C3%B3n- P%C3%BAblica-Colombia
• En la cuarta sección se enseñan algunas tenden- cias en innovación municipal de la Provincia de Buenos Aires y se demuestra cómo la existencia de ciertos factores favorece la implementación de ini- ciativas de innovación.
Este Índice contempla varios ejes desde los que se puede definir (y medir) la innovación:
9
¿SON INNOVADORES NUESTROS GOBIERNOS LOCALES? UNA PROPUESTA PARA LA ESTANDARIZACIÓN Y EVALUACIÓN DE SUS MODELOS DE INNOVACIÓN
• Producto: se estudian distintos criterios que hacen o no que un producto sea innovador. • Procesos: son metodologías que promueven solu- ciones nuevas y con impacto. • Cultura: consiste en culturas integradas por per- sonas con comportamientos que permiten y fomentan la generación de cambios e introducción de novedades. • Capacidad de una organización, sociedad o país: es la capacidad instalada que permite generar so- luciones nuevas. Hemos estudiado los componentes de las dimensiones “Metodología de trabajo”, la de “Desarrollo de proyectos” y la de “Innovación cívica”, y si bien algunos de los indicado- res tienen el mismo sentido que los definidos en nuestro modelo, no tiene el enfoque de ciclo de mejora que hemos dado a nuestro modelo coincidente, por ejemplo con CAF. 2.3.3 Carmina Sánchez, Marcelo Lasagna y Xavier Marcet son los autores del libro “Innovación pública: un modelo de aportación de valor” una de cuyas edi- ciones fue de RIL editores 8 , que vio la luz en octubre de 2013, en Santiago de Chile, y en cuyo punto rela- tivo a la “Metodología de autoevaluación”, se incluye una tabla de autodiagnóstico de la innovación con el fin de promover el debate en las organizaciones pú- blicas respecto de su posicionamiento en referencia a la innovación. Este autodiagnóstico pretende ayu- dar a definir la situación actual, pero también espera dar pistas acerca de cuáles pueden ser los indicado- res relevantes para una organización innovadora”. La tabla está estructurada en forma de un conjunto de preguntas que se pueden contestar en una escala de 1 a 4, y que en algunos casos incluyen aspectos valorativos del tipo: ¿Con qué frecuencia escucha razones basadas en el «siempre se ha hecho así» para justificar la ausencia de cambio? ¿Qué nivel de coherencia estima que existe en- tre el discurso que se hace respecto de la innovación y su verdadera práctica en su organización?
8. También en https://www.casadellibro. com/ebook-innovacion- publica-ebook/ 9789560100351/2386646
Incluye una orientación sobre la situación de la innovación en la organización en función de los puntos obtenidos: en
10
¿SON INNOVADORES NUESTROS GOBIERNOS LOCALES? UNA PROPUESTA PARA LA ESTANDARIZACIÓN Y EVALUACIÓN DE SUS MODELOS DE INNOVACIÓN
el caso de que se obtengan 70 o más puntos “la organiza- ción ha hecho de la innovación una parte importante de su cultura corporativa”. Como se verá, este modelo coincide con el nuestro en el número de preguntas, es similar el sistema de puntuación —el nuestro irá del 0 al 4, o de 0 a 100 puntos y el suyo de 1 a 4, o de 25 a 100 puntos— pero aquel no contiene la lógi- ca PDCA corregida (P1 y P2, D,C A), e incluye preguntas que algunas resultan similares a las que hemos utilizado en nuestro modelo, aunque en nuestro caso la puntuación se basa siempre en evidencias y no tanto en apreciacio- nes o valoraciones. Aunque las coincidencias y diferencias entre los cuatro modelos ya se han apuntado, cabe señalar que el que origina este informe tiene como principal aportación me- todológica que ha combinado cuatro perspectivas: • Experta, de los cuatro autores del informe, muy vinculados al mundo de la innovación pública, y de los responsables de programas y proyectos consul- tados de tres grandes gobiernos locales, • Participativa, de las más de 80 personas que han contribuido a la co-creación del modelo mediante su participación en el proceso de consulta en re- des sociales -, • Institucional, de los más de 20 gobiernos locales de diferentes Comunidades Autónomas de España, que han utilizado el modelo para evaluar su sistema de gestión de la innovación, y la • Internacional, de la perspectiva de la OPSI y los sis- temas y modelos ISO y CAF. Sin embargo, dada la capacidad institucional y la expe- riencia y solidez de las personas que han colaborado en la construcción de los tres modelos analizados, se aconseja estar muy pendientes de su desarrollo y de los resultados que alcancen, con la finalidad de incorporar mejoras en una posible revisión del modelo español que aquí se expone.
11
¿SON INNOVADORES NUESTROS GOBIERNOS LOCALES? UNA PROPUESTA PARA LA ESTANDARIZACIÓN Y EVALUACIÓN DE SUS MODELOS DE INNOVACIÓN
3. METODOLOGÍA
La metodología, como se ha apuntado, y se verá más ade- lante, ha incluido:
• La construcción de un prototipo desde el co- nocimiento teórico disponible, que se cita a continuación, y la experiencia de los miembros del equipo del proyecto. • La consulta a altos expertos responsables pú- blicos mediante entrevistas y la participación abierta en redes sociales sobre su contenido. • El contraste con instituciones mediante su uti- lización como herramienta de evaluación en situación real. El prototipo inicial se desarrolló sobre el conocimiento disponible detallado anteriormente, con personas al- tamente expertas en gestión pública e innovación del mundo local. Después, el prototipo se compartió para ser analizado mediante un proceso de participación abierta y se vali- dó adoptando diferentes valoraciones y propuestas, enviadas por un total de 82 personas, que participó cumplimentando un cuestionario on line, de Google forms, priorizando los ítems que integraron el modelo, dado a conocer a través de la Red Social NovaGob 9 . También se utilizó la red social del Instituto Nacional de Administración Pública (INAP), del Gobierno de España, que cuenta, a su vez, con varios miles de inscritos. El proceso de participa- ción se reforzó desde Twitter. El modelo construido participativamente se ha utilizado para la evaluación de más de 20 organizaciones públicas. Tras esa última experiencia sobre el terreno, se validó el modelo final. • La definición de un modelo definitivo.
9. NOVAGOB es una red profesional de empleados públicos innovadores que surge por impulso de una spin-off de la Universidad Autónoma de Madrid (UAM). Esta red social es referente en el ámbito español y cuenta con más de 15.000 miembros, por lo que la convierte en un canal privilegiado para realizar un proceso de innovación abierta. www.novagob.org
12
¿SON INNOVADORES NUESTROS GOBIERNOS LOCALES? UNA PROPUESTA PARA LA ESTANDARIZACIÓN Y EVALUACIÓN DE SUS MODELOS DE INNOVACIÓN
3.1 MARCO DE CONOCIMIENTO
Los principales instrumentos y herramientas que ha utili- zado el equipo de trabajo para determinar los elementos del prototipo o modelo inicial han sido: 3.1.1 En primer lugar, el modelo de excelencia europeo Marco de Evaluación Común (CAF por sus siglas en inglés, de Common Assesment Framework). El modelo CAF es el resultado de la cooperación entre los ministros de la Unión Europea responsa- bles de las Administraciones públicas para generar un modelo europeo y público de excelencia. Se presentó una versión piloto en mayo de 2000 y se lanzaron versiones revisadas en 2002, 2006 y 2013. Se creó un Centro de Recursos CAF (CAF RC) en el Instituto Europeo de Administración Pública (EIPA) en Maastricht, tras la decisión de los Directores Generales al cargo de los servicios públicos. Uno de los elementos de su misión es el de promover las buenas prácticas en las administraciones públicas en Europa. CAF RC opera en un espíritu de coordinación abierta en- tre los miembros de la Red Europea de Administración Pública (EUPAN) y practica los valores comunes del sector público europeo: apertura, responsabilidad, parti- cipación, diversidad, igualdad, solidaridad, colaboración y asociación. CAF es una herramienta gratuita y fácil de usar para ayudar a las organizaciones del sector público en toda Europa a utilizar técnicas de gestión de calidad para mejorar su rendimiento, como herramienta de Gestión de Calidad Total (TQM) inspirada en los principales modelos de Calidad Total en general y en el Modelo de Excelencia de la Fundación Europea para la Gestión de la Calidad (EFQM) en particular. Está especialmente diseñado para organizaciones del sector público, teniendo en cuenta sus características. El CAF emplea una estructura de nueve casillas para iden- tificar los principales aspectos de una organización que deben ser tomados en consideración en cualquier análi- sis organizacional. En cada una de estas casillas hay una lista de criterios que identifican y plantean los temas prin- cipales que deben tenerse en cuenta en relación con ese
13
¿SON INNOVADORES NUESTROS GOBIERNOS LOCALES? UNA PROPUESTA PARA LA ESTANDARIZACIÓN Y EVALUACIÓN DE SUS MODELOS DE INNOVACIÓN
aspecto de la organización. Los criterios 1 a 5 se refieren a los agentes facilitadores de una organización y determi- nan lo que hace una organización a través de su liderazgo, estrategia, procesos, etc. y cómo enfoca sus tareas para al- canzar los resultados deseados. En los criterios 6 a 9, los resultados alcanzados en las áreas de los ciudadanos/ clientes, las personas, la sociedad y los resultados clave del rendimiento se miden por medio de medidas de percep- ción y se evalúan con indicadores internos. Cada criterio se descompone en una serie de subcriterios que deben ser considerados cuando se evalúa una organización. Estos subcriterios están ilustrados con ejemplos que expli- can su contenido con detalle y sugieren posibles áreas a abordar para explorar cómo la organización responde a los requisitos expresados en el subcriterio. El contenido de su subcriterio 2.4 del “Planificar, im- plementar y revisar la innovación y el cambio” indica que un Gobierno innovador puede trabajar de diversas formas, como: • Implementando metodologías y procesos in- novadores, ofreciendo servicios y productos, fomentando la participación de los ciudadanos/ clientes en el proceso de diseño y ejecución, etc. • Con nuevos métodos de gestión de los programas de trabajo. • Introduciendo servicios o bienes innovadores con un mayor valor añadido para los ciudadanos y clientes. El CAF subraya, además, la importancia de la fase de diseño, crucial para la toma de decisiones, y para las “entregas” operativas de servicios y la evalua- ción de las innovaciones en sí mismas. Una de las primeras responsabilidades de la dirección —inclu- ye— es “crear y comunicar una actitud abierta y de apoyo hacia las sugerencias para la mejora, proven- gan de donde provengan” 10 .
3.1.2 En segundo lugar, también se ha dispuesto del en- foque de la norma UNE 166002.
EstaNormaEspañola, “Gestión de la I+D+i: Requisitos del Sistema de Gestión de la I+D+i”, elaborada por el
14
¿SON INNOVADORES NUESTROS GOBIERNOS LOCALES? UNA PROPUESTA PARA LA ESTANDARIZACIÓN Y EVALUACIÓN DE SUS MODELOS DE INNOVACIÓN
comité técnico AEN/CTN 166 Actividades de inves- tigación, desarrollo tecnológico e innovación (I+D+i) cuya secretaria desempeña la Asociación Española de Normalización y Certificación, (AENOR) 11 propor- ciona orientación para: • comprender el contexto de la organización • establecer el liderazgo y el compromiso de la dirección • planificar el desarrollo de la I+D+i • identificar y fomentar los factores que dan sopor- te a la I+D+i • desarrollar el proceso de gestión de la I+D+i • evaluar y mejorar el rendimiento del sistema 3.1.3 En tercer lugar, publicaciones como la INNOGUIA , editada por el Instituto Andaluz de Administración Pública (IAAP) 12 y materiales didácticos como el MOOC sobre Innovación Pública del mismo Instituto 13 . 3.1.4 Aunque dado que se ha tenido conocimiento de las experiencias internacionales citadas una vez defi- nida la metodología de este trabajo y desarrolladas todas las acciones planificadas según los enfoques inicialmente previstos, como se ha indicado, puede ser de interés tener en cuenta algunas de sus apor- taciones, especialmente en cuanto a medición de resultados, en las fases de desarrollo del modelo, o en sucesivas mejoras. El prototipo construido por el equipo del proyecto, ba- sándose en el marco de conocimiento citado, consistió en construir un conjunto de 38 indicadores estructurados en 4+1 partes identificadas con las letras y números siguien- tes: P1, P2, D, C y A. La estructura de 4+1 partes, se apoyó en la clásica del ciclo PDCA —del inglés plan-do-check-act, esto es, planificar-hacer / desarrollar- verificar / medir, eva- luar- actuar /ajustar para continuar— pero adaptándola en cuanto a que:
3.2 PROTOTIPO
10. Ver Anexo 5 Referencia al CAF 11. Creada en 1986 y que en 2017 ha procedido a un desdoblamiento de sus actividades por el cual UNE desarrolla la actividad de Normalización y Cooperación.
12. https://ws168.
juntadeandalucia.es/iaap/ guiainnovacion/
13. https://forma2.inap.es/ courses/IAAP/ 01/2016_ T3/about
15
¿SON INNOVADORES NUESTROS GOBIERNOS LOCALES? UNA PROPUESTA PARA LA ESTANDARIZACIÓN Y EVALUACIÓN DE SUS MODELOS DE INNOVACIÓN
En nuestro caso la P se subdividió en dos: en primer lu- gar, la tradicional de planificación , en nuestro caso, de la innovación, y la segunda específica para dar más re- levancia a las actividades de escucha , investigación y análisis. La tercera se ocuparía del desarrollo de lo de- finido y planificado. La cuarta al control, seguimiento y medición —y evaluación— de lo que se desarrolla. Y la quinta al aprendizaje, la incorporación del conocimiento que se deriva y el rediseño de los elementos de la plani- ficación y la escucha. P1 Planificar (los sistemas generales de gestión y de innovación, incluyendo la determinación de resultados de innovación) P2 Planificar (analizar, investigar, escuchar…) D Desplegar y desarrollar los enfoques innovadores C Controlar y evaluar A Aprender y actuar actualizando e impulsando el siguiente ciclo Con la finalidad de realizar el proceso de participación in- cluido en el diseño del proyecto, se le dio al prototipo inicial formato de cuestionario, adosando una parrilla de valoración, que incluía cada uno de los ítems, del 1 —la más baja— a un 5 —la más alta—. El espacio y el objeto para la participación consistió en identificar los indicadores más relevantes para construir la herramienta de estandarización / diseño / evaluación de un sistema de gestión de la innovación. Se aconsejó que se realizara una lectura inicial de cada una de las 4+1 partes antes de comenzar a valorar los in- dicadores propuestos. El sistema de puntuación se modificó, en relación con el empleado en el proceso de participación, para que, el no encontrar ninguna evidencia, fuera calificado con un cero, y que la máxima valoración, en una escala de cinco ele- mentos, fuera el cuatro. De ese modo la falta absoluta de evidencias se valora con un 0 , y el total del modelo queda con una puntuación máxima de 100 puntos 14 . 3.2.1 Proceso de participación
14. El contenido del
modelo de evaluación, estructurado en sus cinco bloques, y el sistema de puntuación se encuentra en Anexo 5
16
¿SON INNOVADORES NUESTROS GOBIERNOS LOCALES? UNA PROPUESTA PARA LA ESTANDARIZACIÓN Y EVALUACIÓN DE SUS MODELOS DE INNOVACIÓN
Se facilitó un espacio en blanco tras cada uno de los cin- co bloques de indicadores con la finalidad de que pudiera introducirse un nuevo indicador, en su caso. Y al término del cuestionario, se facilitó otro espacio en blanco para poder realizar un comentario general sobre el cuestionario o su contenido. El cuestionario propuesto se lanzó en las redes sociales —principalmente a través de Twitter, con la colaboración de personas y organizaciones relevantes en el mundo de la innovación—, en castellano, y en catalán entre noviem- bre y diciembre de 2018 mediante la herramienta Google forms. Durante ese tiempo se dinamizó en diferentes fo- ros especializados, como la red social del INAP y red social NOVAGOB . La distribución de las 82 respuestas recibidas en esas 6 semanas, en función del tipo de institución a la que per- tenecen las personas que han contestado ha sido: • Ayuntamiento, 38. • Diputación, 14. • Otra entidad —AGE, universidad, empresa...—, 23. • No ubicadas, 8.
Tipo de organización pública a la que pertenece
30%
Ayuntamiento Diputación Otra entidad —AGE, universidad, empresa...—
52%
18%
Número de encuestas, por tamaño de Ayuntamientos, en cuanto a número de habitantes.
Menos de 10.000 5 Entre 10.000 y 50.000 11 Entre 50.000 y 100.00 7 Entre 100.000 y 500.000 9 Más de 500.000 6
17
¿SON INNOVADORES NUESTROS GOBIERNOS LOCALES? UNA PROPUESTA PARA LA ESTANDARIZACIÓN Y EVALUACIÓN DE SUS MODELOS DE INNOVACIÓN
Tamaño del ayuntamiento (número de habitantes)
13%
16%
Menos de 10.000 Entre 10.000 y 50.000 Entre 50.000 y 100.000 Entre 100.000 y 500.000 Más de 500.000
29%
24%
18%
Los comentarios recibidos al margen de las valoraciones fueron 19 que se centraron en calificar la iniciativa de “in- teresante” (6 comentarios), al cuestionario como “largo y/o complejo” (5 comentarios), y hubo otros comentarios (2) sobre la posibilidad de fusionar algunos ítems. Desde el equipo de trabajo se valoró de manera muy positiva la ausencia de comentarios negativos sobre la iniciativa y se interpretó del mismo modo que no hubie- ra propuestas alternativas a la estructuración de los cinco bloques ni a la inclusión de nuevos ítems, como muestra de aceptación del modelo. Desde luego se tomó nota de las propuestas y se redujo sustancialmente el número de ítems, suprimiendo o fusionando algunos de ellos. Se solicitó, a quienes tuvieran interés en participar en el proceso posterior de evaluación con la herramienta que se construyera, que indicasen además su nombre y la ins- titución en la que desarrollara su trabajo. El equipo también coincidió en valorar positivamente el número de personas dispuestas a seguir colaborando en el proyecto de uno u otro modo. A la pregunta de “Si está interesado en participar en el proceso de evaluación de su organización mediante este cuestionario, tras su ac- tualización, señale 1, y si no lo está señale 2”, 42 personas respondieron que estaban interesados. Y a la pregunta sobre “Si está interesado en que su organización participe en las iniciativas de desarrollo de las actividades de eva- luación —formación, reuniones, información...— señale 1, A todos los participantes que facilitaron su mail se les en- viaron los resultados del proceso.
18
¿SON INNOVADORES NUESTROS GOBIERNOS LOCALES? UNA PROPUESTA PARA LA ESTANDARIZACIÓN Y EVALUACIÓN DE SUS MODELOS DE INNOVACIÓN
y si no lo está, señale 2”, 54 personas respondieron que estaban interesados.
Las diferentes valoraciones y priorizaciones de los ítems se trataron seleccionando aquellos aspectos valorados con un 5 y con un 4 y un 5 y haciendo tablas específicas para ellos A continuación, como se ha indicado, se suprimieron los ítems menos valorados y en ocasiones se refundieron al- gunos ítems similares.
3.2.2 Diseño del modelo afinado.
Tras el proceso de participación y la incorporación de co- mentarios y valoraciones, el equipo de trabajo rediseñó el modelo final, que se visualiza en el gráfico siguiente:
2. Escucha, investigación, análisis
1. Planificación de la innovación
3. Desarrollo
5. Aprendizaje para el impulso de un nuevo ciclo
4. Control, seguimiento, medición
19
¿SON INNOVADORES NUESTROS GOBIERNOS LOCALES? UNA PROPUESTA PARA LA ESTANDARIZACIÓN Y EVALUACIÓN DE SUS MODELOS DE INNOVACIÓN
Y acordó, finalmente, la siguiente estructura y los siguien- tes 25 ítems:
1. PLANIFICACIÓN DE LA INNOVACIÓN El gobierno local…
1 Define un sistema eficiente y sistemático de gestión del cambio, desde la lógica de la identificación de retos, oportunidades, planes y/ o programas y resultados. 2 Asegura la disponibilidad de los recursos necesarios, esquema de responsabilidades, presupuestos, marcos normativos, ambiente de trabajo, personas… para la implementación de los cambios planificados. 3 Las personas que lideran la organización expresan su compromiso con el sistema de gestión de la innovación. 4 Se vinculan los retos de innovación con la estrategia de la organización. 2. Escucha, investigación, análisis. El gobierno local… 5 Realiza estudios de prospectiva, escucha a sus grupos de interés y analiza sus capacidades presentes y futuras, en general y respecto a la gestión de la innovación. 6 Fomenta el debate sobre la innovación y la modernización planificadas y su implementación con los grupos de interés relevantes. 7 Analiza otros casos de éxito y buenas prácticas y redefine y actualiza los recursos necesarios– presupuestos, marcos normativos, ambiente de trabajo personas…-. 8 Constituye un ecosistema de innovación compuesto por servidores públicos, academia, ciudadanía, sector privado y organizaciones sociales. 9 Existe un sistema de valores – como la ética de lo público, el riesgo responsable, la tolerancia al fracaso... – y de la gestión del conocimiento. 3. DESARROLLO. El gobierno local… 10 Asegura la implantación del sistema eficiente de gestión del cambio, desarrollando la planificación. 11 Dispone de un conjunto de modelos de proceso - con las 4 fases de ideación, afinamiento de la idea al proyecto, desarrollo del proyecto y test y lanzamiento de la innovación - que identifica la secuencia de sus actividades, sus criterios y métodos, e incluye la aportación de ideas, tanto internas como externas. 12 Crea y desarrolla una nueva cultura para la innovación a través de la formación, el benchlearning y la creación de laboratorios del conocimiento.
20
¿SON INNOVADORES NUESTROS GOBIERNOS LOCALES? UNA PROPUESTA PARA LA ESTANDARIZACIÓN Y EVALUACIÓN DE SUS MODELOS DE INNOVACIÓN
13 Comunica la importancia de la innovación a la organización. 14 Promueve el uso de herramientas de Administración inteligente y cada vez con mejor tecnología y más automatizada. 15 Desarrolla innovaciones mediante la creatividad, la co-creación, la experimentación y el ensayo-error en entornos controlados antes de su implementación, con el objeto de reducir los costes e incertidumbre y comparte con la sociedad los desarrollos logrados. 16 Desarrolla ecosistemas de innovación abierta para incluir el talento externo, en los que se trabaja con una lógica en red (redarquía) basada en la colaboración, la flexibilidad y la horizontalidad. 4. CONTROL, SEGUIMIENTO, MEDICIÓN. El gobierno local… 17 Monitoriza de una manera sistemática los indicadores internos para el cambio y de la demanda externa en innovación y cambio. 18 Dispone de sistemas de observación de la innovación y de vigilancia y previsión tecnológica, técnicas de creatividad y el análisis interno y externo. 19 Los métodos de seguimiento y evaluación, de los que dispone, permiten evaluar el desempeño y la eficacia del sistema de gestión de la innovación. 20 Mide el porcentaje de servicios que han sido innovados en los últimos años y la colaboración transversal entre departamentos. 21 En los procesos de la evaluación de competencias directivas se incluye la de la competencia innovadora. 5. Aprendizaje para el impulso de un nuevo ciclo. EL GOBIERNO LOCAL… 22 Revisa el funcionamiento del sistema de innovación. 23 Redefine las fases del proceso de innovación que llevarán a los resultados deseados, desde el diseño básico hasta la evaluación de los resultados. 24 Realiza actividades de aprendizaje – incluyendo el aprendizaje desde los errores-, que servirán para identificar, priorizar, planificar y poner en práctica nuevas transformaciones. 25 Rinde cuentas sobre la política de innovación.
21
¿SON INNOVADORES NUESTROS GOBIERNOS LOCALES? UNA PROPUESTA PARA LA ESTANDARIZACIÓN Y EVALUACIÓN DE SUS MODELOS DE INNOVACIÓN
3.3 PRESENTACIONES Y ENTREVISTAS CON EXPERTOS.
Como se había planificado, se consideró de interés ha- cer una presentación del proyecto, para recibir inputs, a varios expertos, altos responsables de las políticas de in- novación de grandes gobiernos locales y se seleccionaron los de Madrid, Juan Manuel Garrido, director de la DG de Innovación y Promoción de la Ciudad; Málaga, Manuel Serrano, jefe del Servicio de Calidad y Modernización; y Valencia, jefe del Servicio de Innovación y Gestión del Conocimiento. Todos ellos mostraron interés en incluir perspectivas de gran valor para una segunda fase del proyecto, como in- corporar la perspectiva de grandes corporaciones privadas punteras en temas de innovación, incorporar la perspecti- va de la ciudadanía, e ilustrar el modelo con ejemplos de actividades y desarrollos ya realizados. Como se ha indicado, el proyecto se presentó a la Federación Española de Municipios y Provincias (FEMP) en las personas de Judith Flórez, Directora General de Servicios Jurídicos y Coordinación Territorial, pero espe- cialmente de Alejandra Escudero, responsable técnica de su Comisión de Modernización Participación Ciudadana y Calidad, que colaboró, junto con el Club de Innovadores Públicos, en la programación y organización de la mesa “El compromiso de los nuevos gobiernos locales en la inno- vación de políticas públicas para el horizonte 2023”, en el IX Congreso CNIS 2019 . Lamesa fue coordinada por Nieves Escorza, Jefe de Servicio de Innovación y Transparencia del Ayuntamiento de Pinto, y participaron en ella Jorge Barrero, director general de la fundación COTEC, Manuel Serrano, Jefe del Servicio de Calidad y Modernización del Ayuntamiento de Málaga, Fernando Martos, Técnico de la unidad de asistencia a la Planificación y Evaluación del Ayuntamiento de San Boi de Llobregat, y Fernando Monar, como director de este proyecto. A todos ellos, en sendas entrevistas en sus oficinas, se les explicó el diseño del proyecto y los avances sucesivos.
22
¿SON INNOVADORES NUESTROS GOBIERNOS LOCALES? UNA PROPUESTA PARA LA ESTANDARIZACIÓN Y EVALUACIÓN DE SUS MODELOS DE INNOVACIÓN
4. EVALUACIONES
La última fase del proyecto, tras dar básicamente por buena la estructura del modelo y el número y contenido de los ítems, vistas las aportaciones recibidas tras el pro- ceso de participación, consistió en testar el modelo, ya afinado, utilizándolo en evaluaciones reales. Para ello se contó con la muy relevante colaboración de la Diputación de Alicante, a través del Departamento de Formación y Calidad, y de su responsable, José Antonio Latorre, que facilitó una sesión de trabajo, en formato de taller, con personas de diferentes gobiernos de la provincia, iniciadas en materia de innovación y con proyectos innovadores en marcha. La sesión de trabajo, celebrada en las instalaciones de formación de la diputación, la dirigieron Miguel de Bas y Fernando Monar y consistió en una breve presentación del contexto en el que se planteaba el proyecto y el mo- delo diseñado, y en talleres de autoevaluación de sus organizaciones, de identificación de evidencias, y de super priorización de ítems. En el taller participaron 26 personas de 15 gobiernos lo- cales, 17 organizaciones en total: 14 ayuntamientos de la provincia y la propia diputación, más una mancomunidad y una agencia local. En la mayoría de los 17 casos la eva- luación la realizó una sola persona y en otras, dos o tres personas. En el caso de la diputación participaron perso- nas de varios departamentos diferentes. Para garantizar la libertad a la hora de cumplimentar el cuestionario se aseguró la confidencialidad de los da- tos, en el sentido de ofrecerlos —en este informe, por ejemplo, o en cualquier otro soporte— no relacionados directamente, desvinculados de las organizaciones. Así, los organizadores nos comprometimos a que tan sólo se pueden utilizar de modo agregado —e incluso mantener en un plano discreto el nombre de los municipios cola- boradores, salvo los que manifestaron expresamente no tener inconveniente en figurar de ese modo.
En el proceso de evaluación que nos ocupa los gobiernos lo- cales que manifestaron su voluntad de poder figurar como
23
¿SON INNOVADORES NUESTROS GOBIERNOS LOCALES? UNA PROPUESTA PARA LA ESTANDARIZACIÓN Y EVALUACIÓN DE SUS MODELOS DE INNOVACIÓN
colaboradores del proyecto fueron Almoradí, Callosa d’en Sarria, Campello, Denia, Elda, Jijona, Rafal, San Joan d’Alacant, y Teulada , y la propia Diputación de Alicante. Al margen de las 15 evaluaciones de Alicante, se ha conta- do con la colaboración de los gobiernos locales de Tocina, Sevilla; Pinto, Getafe, y San Sebastián de los Reyes, Madrid; Logroño, La Rioja; Gijón, Asturias; Palma de Mallorca y Andratx, Illes Balears, San Feliu de Llobregat, Barcelona, y de la Diputación de Castellón. En alguno de estos casos la evaluación también fue realizada por per- sonas de diferentes departamentos. En total, se ha testado el modelo mediante evaluacio- nes con 25 gobiernos locales (23 municipales —de siete territorios regionales diferentes, uno de ellos capital de Provincia y otros dos de Comunidad Autónoma—, dos su- pra municipales —de dos diputaciones—), y otras dos de entidades locales (como se ha indicado, una mancomuni- dad y una agencia local). Los resultados correspondientes a los 25 gobiernos loca- les, expresados en puntos obtenidos, sobre 100, son los siguientes:
• Menos de 30 puntos, 16 casos • Entre 30 y 49 puntos, 4 casos • Entre 50 y 69 puntos, 5 casos • Más de 70 puntos, 0 casos
Dada la exigencia del modelo y el nivel observado pue- de considerarse que, la fecha de este informe, desde 30 puntos, las organizaciones tienen un nivel considerable de madurez de su sistema de gestión de la innovación.
4.1 UN ANÁLISIS DE DOS DE LOS CASOS
A continuación, presentamos la descripción de dos ca- sos de estudio que han obtenido resultados distintos en el test, y que permiten identificar distintos tipos de for- talezas/debilidades en sus respectivas estrategias de innovación. Se han elegido dos de las instituciones que han colaborado y que se han mostrado abiertas a com- partir sus datos, una de ellas en la parte media —superior de la puntuación— a partir de 30 puntos, situación en la
24
¿SON INNOVADORES NUESTROS GOBIERNOS LOCALES? UNA PROPUESTA PARA LA ESTANDARIZACIÓN Y EVALUACIÓN DE SUS MODELOS DE INNOVACIÓN
que se encuentran 9 de los 25 casos con los que se cuen- ta —y otra en la parte media— inferior —menos de 30 puntos, situación en la que se encuentran 16 de los 25 casos— para analizar algunas de sus características en torno a la innovación pública, y así conocer mejor las cir- cunstancias de su valoración.
4.1.1 Ayuntamiento de Logroño 15 , La Rioja 16 .
El Ayuntamiento de Logroño, que está en la zona media – superior del listado de instituciones colaboradoras en el estudio, y que obtuvo más de 30 puntos, basándose en el trabajo iniciado en el año 2010 por el Gobierno de La Rioja y la Universidad de La Rioja sobre el Plan Estratégico La Rioja 2020, y la estrategia de investigación desarrollo e innovación (I+D+I) que se proyecta hasta el año 2020 y que está desple- gada en el IV Plan Riojano de I+D+I 2014-2016, construyó el Plan de Innovación de la Ciudad de Logroño o PIL 2016-2020. “El ámbito de actuación – leemos en el PIL-, es doble. Por una parte, este plan de innovación incentivará la innova- ción interna en los servicios del propio Ayuntamiento y, por otra parte, impulsará la innovación con proyectos de impac- to en la ciudad que contribuyan a la mejora de la calidad de los servicios prestados al ciudadano y a la intensifica- ción del carácter innovador de la sociedad. Cabe destacar que no se trata de un plan teórico alejado de la vida coti- diana, de las necesidades de los ciudadanos, ni tampoco de un manual de instrucciones preciso pero limitado: su objeti- vo específico es definir las líneas estratégicas que guiarán e impulsarán la actividad innovadora en la ciudad. Estas líneas estratégicas han sido articuladas en un sistema de planes de actuación y programas de trabajo, consistente y estruc- turada, práctica y aplicable, caracterizados por una notable capacidad promotora de actuaciones concretas. Estas lí- neas, planes y programas han sido priorizados en términos de eficacia, eficiencia y oportunidad e integrados en un pro- grama de despliegue dotado con una planificación temporal y un sistema de gobernanza específicos y originales.”
15. 150.927 habitantes 16. Bernabé Palacín Sáenz, Director General de Contratación, Calidad y
Los objetivos son:
Servicios Comunitarios del Ayuntamiento de Logroño, nos aporta el Plan de Innovación de la Ciudad de Logroño 2016-2020, del que se ha extractado la información más relevante a nuestros efectos.
ESTRATÉGICOS
1. Mejorar los servicios que el Ayuntamiento presta a los ciu- dadanos e incrementar el carácter innovador del conjunto
25
¿SON INNOVADORES NUESTROS GOBIERNOS LOCALES? UNA PROPUESTA PARA LA ESTANDARIZACIÓN Y EVALUACIÓN DE SUS MODELOS DE INNOVACIÓN
de la sociedad como instrumentos para mejorar la calidad de vida de los ciudadanos
2. Integrar, coordinar y alinear todas las actuaciones con las que la ciudad, en general, y el Ayuntamiento en particular van a impulsar la innovación en el periodo comprendido entre los años 2016 y 2020. 3. Definir las directrices de actuación en un horizonte plu- rianual que permita una acción de promoción de la innovación constante, sostenida, eficaz y de impacto real en la ciudad. 4. Promover líneas de cooperación con todas las admi- nistraciones públicas y, en particular, con la Comunidad Autónoma de La Rioja. 5. Fomentar de un modo sistemático la creación de redes con agentes económicos y sociales, con asociaciones, con las administraciones públicas y con la universidad involucrando a todos los grupos de interés con especial atención en la participación ciudadana.
6. Promover proyectos de impacto y capacidad transformado- ra que contribuyan a mejorar la calidad de vida en la ciudad.
ESPECÍFICOS
1. Definir líneas estratégicas de innovación que orientarán y promoverán las actividades de innovación de forma coordinada con los proyectos en curso así como con la Estrategia Riojana de I+D+I 2020 y el Plan Estratégico La Rioja 2020. 2. Desplegar las líneas estratégicas de la innovación en un sistema de planes de actuación y programas de trabajo con una estructura priorizada, consistente y aplicable.
3. Desarrollar un programa de despliegue del plan de inno- vación dotado de una planificación temporal detallada.
4. Diseñar un sistema de información, seguimiento y eva- luación del impacto del plan basado en la percepción ciudadana y en la medición objetiva de los resultados que posibilite la mejora continua.
26
Page 1 Page 2 Page 3 Page 4 Page 5 Page 6 Page 7 Page 8 Page 9 Page 10 Page 11 Page 12 Page 13 Page 14 Page 15 Page 16 Page 17 Page 18 Page 19 Page 20 Page 21 Page 22 Page 23 Page 24 Page 25 Page 26 Page 27 Page 28 Page 29 Page 30 Page 31 Page 32 Page 33 Page 34 Page 35 Page 36 Page 37 Page 38 Page 39 Page 40 Page 41 Page 42 Page 43 Page 44 Page 45 Page 46Made with FlippingBook - Online Brochure Maker