La innovación en el sector público

LA INNOVACIÓN EN EL SECTOR PÚBLICO ¿QUIÉN ES EL “INNOVADOR”?

UNIDAD MIXTA INTERDISCIPLINAR DE COMPORTAMIENTO Y COMPLEJIDAD SOCIAL ◆ ANTONIO CABRALES, UNIVERSITY COLLEGE LONDON ◆ PENÉLOPE HERNÁNDEZ, UMICCS, UNIVERSITAT DE VALÈNCIA ◆ JOSÉ MANUEL PAVÍA, UMICCS, UNIVERSITAT DE VALÈNCIA ◆ ANXO SÁNCHEZ, UMICCS, UNIVERSIDAD CARLOS III DE MADRID

Este proyecto ha contado con el apoyo técnico del Departamento de Economía de la Fundación Cotec. ◆ ALEIX PONS, DIRECTOR ◆ JAVIER PALLÁS, ECONOMISTA

LA INNOVACIÓN EN EL SECTOR PÚBLICO ¿QUIÉN ES EL “INNOVADOR”?

ÍNDICE

RESUMEN EJECUTIVO

INTRODUCCIÓN

PARTICIPANTES

INSTRUMENTOS DE MEDIDA. VARIABLES CONDUCTUALES Y DE PERSONALIDAD

METODOLOGÍA DE ANÁLISIS

RIESGO Y AMBIGÜEDAD

PREFERENCIAS SOCIALES. ALTRUISMO, RECIPROCIDAD, EQUIDAD Y CONFIANZA

BIG-FIVE

EMPRENDIMIENTO

CONCLUSIONES

REFERENCIAS

ANEXO EXPERIMENTAL Y DE ENCUESTA

ANEXO GRÁFICO Y ESTADÍSTICO

RESUMEN EJECUTIVO

El sector público ha sido históricamente una fuente de innovaciones importantes para la economía. Productos y servicios tan importantes como el GPS, las baterías de litio, Internet, o los airbags, por no hablar de la mayor parte de los medicamentos, han sido desarrollados en el sector público. Pero además hay numerosas innovaciones en los servicios que el sector público proporciona directamente a sus usua- rios. En momentos de crisis y transformación como los que vienen es particularmente importante man- tener ese impulso innovador. Para innovar en el sector público, uno de los inputs fundamentales es la presencia de empleados con capacidad y deseo de desarrollar proyectos rompe- dores. El propósito de este trabajo es precisamente el de proporcionar herramientas a este sector para detectar empleados innovadores. Disponer de tales herramientas permitiría entender por qué unas per- sonas innovan y otras no, o si las personas tienen características diferentes dependiendo de si son innovadoras o no. Asimismo, sería de gran ayuda a la hora de identificar posibles líderes o sujetos con mayor potencial innovador. Para abordar este objetivo, consideramos y analiza- mos una serie de pruebas psicológicas y de juegos estratégicos que proponemos a empleados del sec- tor público. Las pruebas se escogen pensando en rasgos de personalidad para las que la teoría psi- cológica y económica sugieren una conexión con la innovación. Un primer grupo de pruebas miden orientación a los valores sociales en contextos estratégicos (generosidad, reciprocidad, confianza) porque parece probable que los incentivos no

monetarios sean importantes para el innovador. El segundo grupo mide actitudes respecto a la incertidumbre y la ambigüedad que son omnipre- sentes en la actividad innovadora. El tercer grupo es una serie de pruebas estándar de orientación al emprendimiento, que sin ser un correlato exacto de la innovación parece natural que esté relacio- nada con ésta. Finalmente, se realiza una prueba psicológica que mide los cinco componentes prin- cipales de la personalidad (factor O apertura a las nuevas experiencias, factor C responsabilidad, fac- tor E extroversión, factor A amabilidad y factor N neuroticismo o inestabilidad emocional). Todas estas pruebas se utilizan para comparar si hay dife- rencias de comportamiento entre los funcionarios innovadores (clasificados por participación en acti- vidades e iniciativas claramente innovadoras) y los que no lo son. Los resultados sobre comportamiento que estén correlacionados con la actitud innovadora podrán ser una parte relevante de los procesos de selección, promoción y asignación de tareas. Nuestra muestra experimental consta de tres grupos de sujetos: población general, personal funcionario docente de universidad 1 y funcionarios de servicios del sector público 2 . Los colectivos de funcionarios se trataron separadamente en función de su participa- ción o no en actividades de innovación.

1. Las universidades que participaron son la Carlos III y la Universitat de València. 2. Agradecemos la colaboración de Ana Báez y al Proyecto Innovación On Tour.

LA INNOVACIÓN EN EL SECTOR PÚBLICO. ¿QUIÉN ES EL “INNOVADOR”?

La principal conclusión del estudio es que el análi- sis de los resultados obtenidos distinguiendo entre diversos colectivos caracterizados por realizar algún tipo de actividad innovadora y colectivos que no consta que realicen tales actividades no revela nin- guna diferenciación sistemática entre ambos grupos. Esta conclusión no implica que no existan diferencias entre ambos grupos y que no puedan adivinarse ciertos patrones que diferencian a los colectivos innovadores y no innovadores, si bien no de forma generalizada. Vamos a resumir estos indi- cios, ordenados por el tipo de prueba:

1. Orientación a los valores sociales. Los funciona- rios innovadores son más altruistas y tolerantes a la desigualdad. También presentan mayores niveles de confianza. 2. Actitudes frente al riesgo y la incertidumbre. Los docentes innovadores son más tolerantes hacia la ambigüedad (incertidumbre difusa o mal estructurada). 3. Orientación al emprendimiento. Los funciona- rios y docentes innovadores son más propensos al emprendimiento. 4. En los cinco grandes rasgos de personalidad no se encuentran diferencias importantes y sistemá- ticas. Los innovadores son “gente normal.” Este trabajo es el segundo que se lleva a cabo mediante la colaboración de la Fundación COTEC con la UMICCS, plasmada en el Laboratorio COTEC de Economía del Comportamiento.

INTRODUCCIÓN

La innovación es el motor del crecimiento económico. Esto es cierto tanto al nivel macroeconómico de los países (Hasan y Tucci 2010) como al nivel microeco- nómico de las empresas (Audretsch 1995, Rope, Du y Love 2008). El sector público también innova. Mazzucato (2011) documenta el gran número de innovaciones cruciales para la vida actual que se han generado en laboratorios públicos, o que han sido financiadas por el sector público. Pero la innovación del sector público no se limita a generar nuevos productos para el resto de la economía. También es importante la inno- vación en sus propios servicios. OCDE (2018) describe esa innovación en general y describe ejemplos como los de la sanidad finlandesa pro- porcionando chequeos médicos en un bar o en la calle mediante una app. O en México, donde los usuarios de zonas rurales pueden beneficiarse de transferencias sociales cobrándolas en una gasoli- nera o tienda local. O en Francia, donde las familias reciben un subsidio por ayudar a mayores depen- dientes compartiendo sus casas y zonas comunes. Esta innovación es crucial para que ese servicio público mejore al mismo tiempo que la sociedad progresa, y para mantener la legitimidad del sector público (Verhoest, Verschuere, y Bouckaert 2007). Pero el objetivo principal del sector público no ha sido históricamente la innovación, y en con- secuencia sus procesos de selección no solían priorizar la actitud innovadora entre las característi- cas deseables de los empleados (Hitchcock, Laycock, y Sundorph 2017).

Esto debe cambiar. La magnitud de los retos a los que nos enfrentamos es monumental, desde cho- ques negativos como pandemias y cambio climático, a choques positivos, pero de efectos asimétricos en la población, como la automatización y robotización de nuestras economías. En consecuencia, el sector público debe ser capaz de innovar en sus procesos y productos para que nuestras sociedades se puedan enfrentar a estos choques, y esto depende en parte de que tenga empleados innovadores. ¿Por qué unas personas innovan y otras no? ¿Poseen los sujetos innovadores características o preferencias diferentes a los sujetos no innovadores? ¿Podemos identificar, dentro de un contexto, a los sujetos con un mayor potencial innovador? El propósito de este tra- bajo es precisamente proporcionar herramientas al sector público en su tareade detectar a los empleados innovadores. Esto es importante para los procesos de contratación. Pero también debería ser importante en las promociones y para la asignación de tareas para los empleados existentes. Como hemos visto anteriormente el sector público ya innova y por tanto debe haber empleados innovadores. Aunque la actitud innovadora de las personas no es independiente de su situación personal y del con- texto económico y social en el cual desarrollan su actividad, la literatura científica ha construido dife- rentes herramientas para tratar de identificar a los sujetos innovadores y para tratar de medir el poten- cial innovador de las personas, a la vez que ha relacionado la actitud emprendedora e innovadora con ciertas preferencias asociadas a la personalidad y el comportamiento de los sujetos.

LA INNOVACIÓN EN EL SECTOR PÚBLICO. ¿QUIÉN ES EL “INNOVADOR”?

Nuestro objetivo es desarrollar una batería de prue- bas psicológicas y de teoría de juegos para predecir quiénes son las personas con actitudes innovadoras en el sector público. Partimos de la observación de que ya hay empleados innovadores y examinamos si hay diferencias de comportamiento entre los fun- cionarios innovadores y los que no lo son en estas pruebas. La combinación de comportamientos que mejor prediga la actitud innovadora se puede con- vertir en una prueba apropiada para los procesos de selección, promoción y asignación de tareas. PARTICIPANTES En términos de muestra consideramos, inicial- mente, tres colectivos de sujetos: población general, funcionarios universitarios con dedica- ción docente y funcionarios de servicios del sector público. Los dos colectivos de funcionarios se sub- dividirán a su vez en subcolectivos, atendiendo a su participación o no en actividades de innovación, siendo siete el número de grupos finalmente consi- derados. Cada uno de estos siete colectivos agrupa a individuos ‘homogéneos’ en términos de activi- dad innovadora. En este estudio distinguimos entre funcionarios docentes universitarios y funcionarios no univer- sitarios por dos motivos. Primero, por la posible existencia de una mayor motivación intrínseca en el grupo de funcionarios docentes, al ser considerada la enseñanza ( junto con, por ejemplo, la sanidad) una profesión vocacional. Segundo, por el carác- ter multifacético de la actividad universitaria, que permite que existan, a priori, actividades de innova- ción en diversos ámbitos: docencia, investigación y transferencia.

El colectivo de funcionarios no docentes, que rea- lizan su actividad en distintas administraciones distribuidas por el territorio español, se ha dividido en dos: aquellos que han participado en acciones de innovación dentro de su organización y aquellos que no. Por otro lado, el colectivo de funcionarios universitarios docentes se ha dividido en cuatro grupos, atendiendo a si han liderado (en calidad de investigador principal o responsable), o no, activi- dades de innovación docente, de transferencia de conocimiento y/o de investigación. Un primer grupo lo constituye el colectivo de los docentes que, no habiendo liderado proyectos de investigación (IP), han liderado proyectos de innovación docente. El segundo grupo está compuesto por profesores que, no habiendo sido IP, son investigadores responsa- bles en acciones de transferencia con empresas e instituciones públicas y/o privadas. El tercer grupo lo conforman los funcionarios universitarios que, incluso pudiendo haber liderado proyectos inno- vación docente y/o transferencia, han sido IP de proyectos de investigación competitivos. El cuarto grupo engloba al resto de docentes universitarios. Los profesores universitarios presentes en la mues- tra realizan sus actividades en las universidades Carlos III de Madrid y de Valencia. En la muestra final, por tanto, se dispone de siete grupos. Tres de ellos que podrían ser clasifica- dos como no innovadores: población general (Pob. General), funcionarios docentes no innovadores (P. no Innov.) y funcionarios no innovadores (F. no Innov.); y cuatro grupos para los que existe constan- cia de su participación en actividades innovadoras. En el caso universitario, liderando proyectos, con el coste extra que ello supone en términos temporales y de esfuerzo, Profesores con proyectos en transfe- rencia (P. Transf), profesores que lideran proyectos de innovación docente (Innov. Doc) y profesores con

proyectos de investigación entre otros (P. Invest.); y, en el caso no universitario, dedicando tiempo fuera de los horarios laborables pautados que caracte- rizan los puestos de trabajo de los funcionarios no docentes (F. Innov.).

La Tabla 2 presenta el total de participantes por cate- goría, una breve descripción de sus características centrada en las variables innovadoras e información sobre el tamaño de cada subcolectivo en el total de la muestra.

TABLA 2. DISTRIBUCIÓN DE PARTICIPANTES POR CATEGORÍA.

COLECTIVO

CARACTERÍSTICAS

TAMAÑO

(1) Pob. General

Población general.

Personal docente de las Universidades Carlos III y Valencia. No involucrado en actividades de innovación.

(2) P. no Innov.

Funcionarios no docentes. No involucrado en actividades innovación.

(3) F. no Innov.

Personal docente de las Universidades Carlos III y Valencia. Liderando actividades de innovación orientadas a transferencia. Personal docente de las Universidades Carlos III y Valencia. Liderando actividades de innovación docente. Personal docente de las Universidades Carlos III y Valencia. Liderando, al menos, actividades de innovación e investigación.

(4) P. Transf.

(5) P. Innov. Doc.

(6) P. Invest.

Funcionarios no docentes. Realizando actividades innovación.

(7) F. Innov.

En anexo se recogen algunos datos desagregados de la población participante en el estudio.

LA INNOVACIÓN EN EL SECTOR PÚBLICO. ¿QUIÉN ES EL “INNOVADOR”?

INSTRUMENTOS DE MEDIDA. VARIABLES CONDUCTUALES Y DE PERSONALIDAD.

La literatura ha teorizado sobre las preferencias y valores de los sujetos innovadores y ha propuesto diferentes herramientas con las que medir las carac- terísticas de los innovadores, con la finalidad última de tratar de identificar el ‘gen’ innovador en los sujetos. En este estudio realizamos, utilizando expe- rimentos económicos incentivados, un análisis de las principales características conductuales, inclui- das aquellas señaladas como propias de los sujetos innovadores, y estudiamos las respuestas de los sujetos a dos cuestionarios específicamente diseña- dos para identificar sujetos innovadores. El objetivo es estudiar si, en estas variables, existen diferencias estadísticamente significativas entre los diferentes subgrupos que componen nuestra muestra permi- tiendo identificar los funcionarios innovadores. En concreto, en este proyecto se han medido varia- bles relacionadas con las preferencias sociales, la confianza, la aversión al riesgo, aversión a la ambigüedad y los test de personalidad y de empren- dimiento en los tres tipos de colectivos. La actitud ante el riesgo es una de las varia- bles clásicamente relacionadas con las personas emprendedoras e innovadoras, siendo la hipóte- sis que los emprendedores serían menos aversos al riesgo y a la ambigüedad. Junto a estas varia- bles, un segundo bloque de estudio lo comprenden variables que miden las preferencias sociales de los sujetos y su actitud cooperativa. Variables que nos miden la preferencia al reparto igualitario, referenciado desde una perspectiva de altruismo y reciprocidad, junto con un enfoque de confianza

permitirán ilustrar su posible relación con la natu- raleza innovadora de los sujetos.

Dos encuestas de referencia han sido también consi- deradas: BIG-Five y emprendimiento. El BIG-Five es un cuestionario que mide las cinco características básicasdepersonalidadidentificadasenlapsicología cuando las personas describimos el temperamento de otras personas. La encuesta de emprendimiento consiste en un cuestionario específicamente dise- ñado para identificar sujetos emprendedores.

A continuación presentamos cada uno de los blo- ques de variables en este estudio:

1. PREFERENCIAS SOCIALES. La sociedad no está únicamente compuesta por individuos egoístas que maximizan sus pagos monetarios. Existen otras fuerzas que mueven a los individuos a com- portarse como lo hacen y que forman parte de su función de utilidad, como puede ser la aversión a la desigualdad, la reciprocidad o el altruismo. De estamanera, en un proceso de toma de decisiones no siempre escogemos aquella opción que maxi- mice nuestros pagosmonetarios, sino aquella que maximice nuestra función de utilidad. Utilizamos dos tareas para medir si los innovadores son más “generosos” que el resto de la población: • Juego del dictador (Bolton, Katok y Zwick 1998). Un participante (el “dictador”) recibe una cantidad de dinero (X en nuestro expe- rimento) y tiene que decidir qué cantidad

asigna a otro participante elegido al azar y qué cantidad se queda para él.

riesgo son situaciones que, generalmente, el ser humano procura evitar. También suelen venir acompañadas de mayores recompensas en forma de pagos monetarios. La innovación es arriesgada. Por definición es una situación nueva que puede dar buenos resultados o no darlos. En principio esto sugiere que el individuo innovador puede ser menos averso al riesgo generado por la nueva actividad. El experimento clásico para medir la aversión al riesgo de los individuos pre- senta a los sujetos una batería de diez decisiones con dos loterías, A y B, dónde se mide el grado de aversión al riesgo según el momento en el cual el sujeto pasa de una lotería más segura (A) a una lotería más arriesgada (B). • Ambigüedad (Fox y Tversky, 1995). A diferen- cia de la situación presentada en Holt-Laury, existen situaciones en las cuales las proba- bilidades con las cuales los distintos sucesos ocurren son desconocidas. Esto se denomina ambigüedad y el ser humano también tiene aversión hacia ella Del mismo modo que con la incertidumbre, solemos tener aversión hacia la ambigüedad, pero con el problema añadido de tener que inferir cual es la proba- bilidad. A la hora de comenzar una iniciativa innovadora, es frecuente no conocer la proba- bilidad de éxito y fracaso del proyecto. 4. TEST DE ORIENTACIÓN AL EMPRENDIMIENTO (Covin y Slevin 1989). Aunque no son exac- tamente lo mismo, hay una relación entre innovación y emprendimiento. Esto importa par- ticularmente en el sector público, donde muchas de las innovaciones serán organizacionales u orientadas a dotar a la administración de nuevas actividades o campos de acción. Los psicóme- tras han desarrollado un test de orientación al

• Juego del ultimátum (Rubinstein, 1982). En él, aleatoriamente se empareja y asigna los roles en los que un jugador propone y el otro responde y deben tomar las siguientes deci- siones de manera secuencial. Proponente: Se le asigna una cantidad de dinero (en el expe- rimento XX) y debe decidir cómo repartirlo entre él y su compañero. Respondedor: Tras ver la oferta, acepta o rechaza el reparto. Si lo acepta, el reparto propuesto se implementa. Si lo rechaza, ambos se llevan 0€. 2. CONFIANZA (Berg, Dickhaut y MacCabe 1995). Otro aspecto importante del funcionamiento social en general y del proceso innovador en par- ticular, es la confianza en los otros, así como la reciprocidad en las respuestas a las iniciativas de otros. Ambos aspectos están incluidos en el lla- mado “Juego de la Confianza”. En este escenario hay dos participantes, el inversor y el empresario (en inglés, trustor y trustee ). El inversor tiene una cantidad de dinero, proporcionada por el experi- mentador, y puede dar una cantidad, que incluye todo o nada, al empresario para que monte su negocio. El rendimiento del negocio es simulado mediante la multiplicación por 3 del dinero que recibe el empresario, que en ese momento puede devolver lo que quiera, incluyendo de nuevo todo o nada, al inversor. De esta manera, el inver- sor muestra su confianza con la cantidad que da al empresario, ya que sabe que este no está obli- gado a devolverle nada, y el empresario muestra su capacidad de devolver el apoyo recibido.

3. AVERSIÓN AL RIESGO (Holt y Laury 2002). Las situaciones que implican correr algún tipo de

LA INNOVACIÓN EN EL SECTOR PÚBLICO. ¿QUIÉN ES EL “INNOVADOR”?

METODOLOGÍA DE ANÁLISIS

emprendimiento que usamos en nuestra mues- tra. Este test se caracteriza por una batería de preguntas sobre la visión de la innovación desde una perspectiva individual y colectiva. Mediante una graduación en la conformidad con las afir- maciones planteadas, este test permite construir un índice que cuantifica los distintos niveles de emprendimiento de un individuo 5. Test de personalidad (Digman y Inouye 1986). Un test muy utilizado en psicología es el de clasificación de la personalidad en 5 grandes características (Big Five): factor O (Openness o apertura a nuevas experiencias), factor C (Conscientiousness o responsabilidad), fac- tor E (Extraversion o extraversión), factor A (Agreeableness o amabilidad) y factor N (Neuroticism o inestabilidad emocional), los cinco forman el acrónimo mnemotécnico “OCEAN”. Es una prueba bien consolidada que permite analizar cuanto de cada factor tiene una persona, y puede mostrar correlaciones de inte- rés con el comportamiento innovador. Una vez se ejecutan todas las pruebas realizamos un análisis estadístico para comprobar si alguna com- binación de las decisiones en estas pruebas y las respuestas a los cuestionarios pueden predecir la característica de ser innovador de la manera que se define en nuestra muestra.

El objetivo de esta investigación es estudiar si los funcionarios innovadores muestran, respecto a los funcionarios no innovadores y a la población general, preferencias y actitudes diferentes. Para respon- der a esta cuestión hemos utilizado instrumentos clásicos de comparación entre grupos. En concreto, agrupados los datos recolectados para cada varia- ble en función del subgrupo a que pertenece cada sujeto, hemos realizado, en primer lugar, un test ANOVA de diferencia de medias con hipótesis nula de que no existen diferencias significativas entre gru- pos. En caso de ser rechazada la hipótesis nula de igualdad de medias con el nivel de significatividad habitual del 5%, como segundo paso hemos reali- zado test de Tukey para identificar entre qué grupos se concentran las diferencias. Los resultados de estas comparaciones dos a dos entre grupos para cada variable se presentan en forma de tabla donde en los cruces se presentan los p-valores asociados a las comparaciones. Como complemento a estos análisis, en el anexo estadístico se muestra, gráficamente, las distribuciones observadas para cada variable y grupo y una representación de las estimaciones medias por grupo con su incertidumbre asociada. En forma de tabla, el anexo ofrece las diferencias de medias y los p-valores de las comparaciones dos a dos.

RIESGO Y AMBIGÜEDAD

Por una parte, medimos la aversión a la ambigüedad mediante un índice entre 0 y 1, donde la proximidad a 1 indica absoluta aversión a la ambigüedad y la proximidad a 0 completa tolerancia a la ambigüe- dad. Por otra parte, la aversión al riesgo la medimos mediante un índice comprendido entre -1 y 1, con la proximidad a 1 indicando absoluta aversión al riesgo, 0 indicando una actitud indiferente ante el riesgo y valores negativos señalando sujetos aman- tes del riesgo.

Suele considerarse que las personas emprendedo- ras e innovadoras tienen niveles de tolerancia ante el riesgo y la incertidumbre (o ambigüedad) superiores a los de la población general. La hipótesis habitual es que los emprendedores son menos aversos al riesgo y a la ambigüedad. El experimento desarro- llado ha permitido obtener indicadores de la actitud ante el riesgo y la ambigüedad de los participantes.

TABLA 3. RESULTADOS TEST ANOVA DE IGUALDAD DE MEDIAS. RIESGO Y AMBIGÜEDAD.

Variable

F-value (g.l.)

p-valor

Ambigüedad

3.30 (6)

< 0.01

Riesgo

1.19 (6)

0.31

En términos de aversión al riesgo el test ANOVA (ver Tabla 3) no detecta ninguna diferencia estadística- mente significativa entre grupos, sin duda debido a las relativamente altas dispersiones que presentan las distribuciones (ver Figuras 3A y 4A en el anexo). En términos de aversión a la ambigüedad, sin embargo, sí se detectan diferencias estadísticamente significati- vas, comomuestra el test ANOVA (ver Tabla 3) y los test deTukeyde comparacionespor parejas degrupos (ver

Tabla 4, triangulo superior). Las diferencias las con- centra el grupo de profesores que realizan actividades de transferencia (ver Figura 2A), cuyo grado de tole- rancia a la incertidumbre es sensiblemente superior (su índice de aversión a la ambigüedad sensible- mente inferior) al de los tres colectivos caracterizados por no realizar actividades de innovación (población general y profesores y funcionarios no innovadores) y al grupo de profesores investigadores.

LA INNOVACIÓN EN EL SECTOR PÚBLICO. ¿QUIÉN ES EL “INNOVADOR”?

TABLA 4. P-VALORES DE LOS TEST DE TUKEY DE COMPARACIONES ENTRE GRUPOS PARA LOS ÍNDICES DE AVERSIÓN A LA AMBIGÜEDAD (TRIÁNGULO SUPERIOR) Y ACTITUD ANTE EL RIESGO (TRIÁNGULO INFERIOR).

(1) Pob. General

(2) P. no Innov.

(3) F. no wInnov.

(4) P. Transf.

(5)P.Innov. Doc.

(6) P. Invest.

(7) F. Innov

(1) Pob. General

---

0.99

1.00

0.05

1.00

0.78

0.99

(2) P. no Innov.

0.92

---

1.00

0.01

0.91

1.00

0.82

(3) F. no Innov.

1.00

0.97

---

0.03

0.97

0.98

0.92

(4) P. Transf.

1.00

0.97

1.00

---

0.41

0.00

0.25

(5) P. Innov. Doc.

0.78

1.00

0.87

---

0.59

1.00

(6) P. Invest.

1.00

0.91

1.00

0.77

---

0.33

(7) F. Innov.

0.52

0.99

0.68

0.74

1.00

0.48

---

En negrita los p-valores ≤ α = 0.05.

PREFERENCIAS SOCIALES. ALTRUISMO, RECIPROCIDAD, EQUIDAD Y CONFIANZA.

Junto a las características anteriores, a partir de las acciones de los sujetos en el experimento tam- bién ha sido posible obtener medidas asociadas a sus niveles de altruismo y confianza y sobre sus pre- ferencias en términos de reciprocidad y aversión a (tolerancia de) la no equidad. Todos los índices están medidos en una escala entre 0 y 1 y su inter- pretación es como sigue. Un sujeto será tanto más altruista cuanto mayor sea el indicador de altruismo. El indicador de confianza tiene una interpretación

similar, a mayores valores mayor es la confianza que demuestra el sujeto. La reciprocidad está relacio- nada con la cantidad que el sujeto ofrece en el juego del ultimátum, mientras que el indicador de equi- dadmide la distancia relativa a un reparto equitativo, de tal manera que cuanto menor es este número mayor aversión mostrará el sujeto a un reparto no equitativo, hacia la no equidad. Es decir, existen pre- ferencias más equitativas cuanto menor es el valor del índice.

Salvo para la variable de reciprocidad, para el resto de las variables consideradas en esta subsec- ción el test ANOVA de igualdad de medias detecta diferencias estadísticamente significativas (ver Tabla 5). Cómo se puede observar en la Figura 8A, la media del indicador de reciprocidad se sitúa para todos los colectivos muy cerca de su punto medio, con la mediana en todos los casos ubicada

exactamente en el punto medio de la escala (ver Figura 7A). En términos de distribución sorprende el comportamiento del conjunto de funcionarios y especialmente los funcionarios innovadores, que mayoritariamente transfieren cantidades iguales o por encima del pago de equilibrio (ver Figura 7A). Las diferencias observadas son empero estadísti- camente no significativas.

TABLA 5. RESULTADOS TEST ANOVA DE IGUALDAD DE MEDIAS. ALTRUISMO, RECIPROCIDAD, EQUIDAD Y CONFIANZA.

Variable

F-value (g.l.)

p-valor

Altruismo

4.04 (6)

< 0.001

Reciprocidad

1.10 (6)

0.36

Confianza

4.72 (6)

< 0.001

Equidad

2.74 (6)

0.01

Centrándonos en las variables para las que la prueba ANOVA detecta diferencias estadísticamente signifi- cativas, se observa que en términos de altruismo el grupo de innovadores (funcionarios innovadores y profesores que transfieren e investigan) es en gene- ral más altruista que el grupo de no innovadores, siendo de lejos el grupo de funcionarios no innova- dores (ver Figuras 5A y 6A) los menos altruistas. De hecho, los test de Tukey detectan diferencias esta- dísticamente significativas entre este colectivo y el resto de colectivos innovadores señalados anterior- mente (ver Tablas 6 y 3A).

LA INNOVACIÓN EN EL SECTOR PÚBLICO. ¿QUIÉN ES EL “INNOVADOR”?

TABLA 6. P-VALORES DE LOS TEST DE TUKEY DE COMPARACIONES ENTRE GRUPOS PARA LOS ÍNDICES DE ALTRUISMO (TRIÁNGULO SUPERIOR) Y RECIPROCIDAD (TRIÁNGULO INFERIOR).

(1) Pob. General

(2) P. no Innov.

(3) F. no Innov.

(4) P. Transf.

(5) P. Innov. Doc.

(6) P. Invest.

(7) F. Innov.

(1) Pob. General

---

0.94

0.45

0.37

1.00

0.42

0.26

(2) P. no Innov.

0.55

---

0.07

0.91

0.99

0.92

(3) F. no Innov.

1.00

0.36

---

0.01

0.64

0.00

(4) P. Transf.

0.97

1.00

0.88

---

0.62

1.00

(5) P. Innov. Doc.

0.98

0.99

0.91

1.00

---

0.78

0.60

(6) P. Invest.

1.00

0.71

0.99

1.00

---

1.00

(7) F. Innov.

0.89

1.00

0.71

1.00

0.97

---

En negrita los p-valores ≤ α = 0.05, en cursiva p-valores ≤ α = 0.10.

Para las otras dos variables analizadas en esta sub- sección, tolerancia a la no equidad y confianza también observamos diferencias estadísticamente significativas. En términos de equidad, el colec- tivo de funcionarios innovadores es el que muestra mayor tolerancia a un reparto no equitativo, estando de hecho dispuestos a ser ellos los paganos de la situación (ver Figuras 9A, 10A y 8A). Desde el punto de vista estadístico, sin embargo, el test de Tukey de diferencia de medias sólo detecta diferencias esta- dísticamente significativas a un nivel de significación del 5% entre el colectivo de profesores investigado- res y el de funcionarios innovadores (ver Tabla 7). No obstante, si relajamos un poco esta condición, considerando un nivel de significación del 10%, las

diferencias con el grupo de funcionarios innovado- res se extienden a los colectivos de profesores que realizan transferencia y no innovadores y de funcio- narios no innovadores (ver Tabla 7). En términos de confianza también se detectan diferencias estadísticamente significativas, que se concentran entre colectivos innovadores y no innovadores. En esta ocasión, entre funcionarios innovadores y profesores con innovación docente y profesores investigadores, por una parte, y pobla- ción general y funcionarios no innovadores por otra (ver Tabla 7). El primer conjunto de colectivos mues- tra niveles de confianza sensiblemente superiores al segundo conjunto (Ver Figuras 11A y 12A).

TABLA 7. P-VALORES DE LOS TEST DE TUKEY DE COMPARACIONES ENTRE GRUPOS PARA LOS ÍNDICES DE CONFIANZA (TRIÁNGULO SUPERIOR) Y AVERSIÓN A LA NO EQUIDAD (TRIÁNGULO INFERIOR).

(1) Pob. General

(2) P. no Innov.

(3) F. no Innov.

(4) P. Transf.

(5) P. Innov. Doc.

(6) P. Invest.

(7) F. Innov.

(1) Pob. General

---

0.50

1.00

0.22

0.00

0.02

0.01

(2) P. no Innov.

0.77

---

0.62

0.99

0.31

0.94

0.81

(3) F. no Innov.

0.82

1.00

---

0.30

0.01

0.06

0.04

(4) P. Transf.

0.61

1.00

---

0.89

1.00

(5) P. Innov. Doc.

0.98

1.00

0.99

---

0.78

0.95

(6) P. Invest.

0.59

1.00

---

1.00

(7) F. Innov.

0.69

0.06

0.09

0.06

0.35

0.02

---

En negrita los p-valores ≤ α = 0.05, en cursiva p-valores ≤ α = 0.10.

BIG-FIVE El cuestionario Big Five es una herramienta diseñada para obtener información de las cinco dimensiones de personalidad más ampliamente reconocidas en la literatura psicológica que, con diferentes deno- minaciones, mide cuestiones relacionadas con la extraversión (pro-interactivo, abierto o enérgico ver- sus solitario o reservado), la amigabilidad (amigable o cooperativo versus desafiante o desapegado), la responsabilidad (eficiente, organizado o versus des- cuidado o irresponsable), la estabilidad emocional (seguro o con confianza versus inestable o nervioso) y la curiosidad (inventivo, experimentador o curioso versus cauteloso o prudente).

LA INNOVACIÓN EN EL SECTOR PÚBLICO. ¿QUIÉN ES EL “INNOVADOR”?

TABLA 8. RESULTADOS TEST ANOVA DE IGUALDAD DE MEDIAS. EXTRAVERSIÓN, AMIGABILIDAD, RESPONSABILIDAD, ESTABILIDAD EMOCIONAL E IMAGINACIÓN.

Variable

F-value (g.l.)

p-valor

Extraversión Amigabilidad

3.02 (6) 1.56 (6) 0.79 (6) 3.77 (6) 1.97 (6)

< 0.01

0.16 0.57

Responsabilidad

Estabilidad Emocional

< 0.01

Curiosidad

0.08

De las cinco características de personalidad medidas por el Big-5, los test ANOVA de igualdad de medias sólo encuentran diferencias estadísticamente signifi- cativas entre los grupos en Extraversión y Estabilidad Emocional y, marginalmente, en Imaginación (ver Tabla 8). Las diferencias encontradas son en general escasas salvo en Estabilidad Emocional (ver Tablas 9 a 11). En términos de Extraversión solo se encuen- tran diferencias entre los funcionarios innovadores

y los profesores investigadores y, marginalmente, con los profesores no innovadores, con los prime- ros más extravertidos (ver Figuras 13ª y 14ª). Por otro lado, se encuentran diferencias estadísticamente significativas (aunque no sustantivas) en términos de Estabilidad Emocional entre profesores no inno- vadores y los funcionarios innovadores y el resto de profesores, salvo los innovadores docentes.

TABLA 9. P-VALORES DE LOS TEST DE TUKEY DE COMPARACIONES ENTRE GRUPOS PARA LOS ÍNDICES DE EXTRAVERSIÓN (TRIÁNGULO SUPERIOR) Y AMABILIDAD (TRIÁNGULO INFERIOR).

(1) Pob. General

(2) P. no Innov.

(3) F. no Innov.

(4) P. Transf.

(5) P. Innov. Doc.

(6) P. Invest.

(7) F. Innov.

(1) Pob. General (2) P. no Innov. (3) F. no Innov.

---

0.79

1.00 0.78

0.98 1.00 0.98

1.00 0.63 1.00 0.91

0.23 0.99 0.27 0.96 0.21

0.79 0.10 0.90 0.49 1.00 0.00

1.00 1.00 0.99 0.75 0.97 0.81

---

0.97 1.00 0.92 0.87 0.97

---

(4) P. Transf.

0.93 0.51 1.00 0.53

---

(5) P. Innov. Doc.

0.99 0.81 1.00

---

(6) P. Invest. (7) F. Innov.

0.29 1.00

---

0.25

---

En negrita los p-valores ≤ α = 0.05, en cursiva p-valores ≤ α = 0.10.

TABLA 10. P-VALORES DE LOS TEST DE TUKEY DE COMPARACIONES ENTRE GRUPOS PARA LOS ÍNDICES DE RESPONSABILIDAD (TRIÁNGULO SUPERIOR) Y ESTABILIDAD EMOCIONAL (TRIÁNGULO INFERIOR).

(1) Pob. General

(2) P. no Innov.

(3) F. no Innov.

(4) P. Transf.

(5) P. Innov. Doc.

(6) P. Invest.

(7) F. Innov.

(1) Pob. General

---

0.81

1.00

0.70

1.00

(2) P. no Innov.

0.79

---

0.84

0.99

1.00

0.86

0.99

(3) F. no Innov.

0.98

0.35

---

1.00

0.73

1.00

(4) P. Transf.

0.31

0.02

0.81

---

0.95

1.00

(5) P. Innov. Doc.

1.00

0.89

1.00

0.56

---

0.76

0.95

(6) P. Invest.

0.44

0.02 0.00

0.97

0.99

0.78

---

1.00

(7) F. Innov.

0.11

0.66

1.00

0.39

0.97

---

En negrita los p-valores ≤ α = 0.05.

TABLA 11. P-VALORES DE LOS TEST DE TUKEY DE COMPARACIONES ENTRE GRUPOS PARA LOS ÍNDICES DE CREATIVIDAD (TRIÁNGULO SUPERIOR) Y EMPRENDIMIENTO (TRIÁNGULO INFERIOR).

(1) Pob. General

(2) P. no Innov.

(3) F. no Innov.

(4) P. Transf.

(5) P. Innov. Doc.

(6) P. Invest.

(7) F. Innov.

(1) Pob. General (2) P. no Innov. (3) F. no Innov.

---

0.63

1.00 0.53

1.00 0.50 1.00

0.48 1.00 0.40 0.37

0.68 1.00 0.59 0.56 0.99

0.60 1.00 0.51 0.48 1.00 1.00

1.00 1.00 0.97 0.63 0.58 0.00

---

1.00 1.00 0.92 0.95 0.00

---

(4) P. Transf.

0.98 0.68 0.68 0.00

---

(5) P. Innov. Doc.

1.00 1.00 0.08

---

(6) P. Invest. (7) F. Innov.

1.00 0.36

---

0.03

---

En negrita los p-valores ≤ α = 0.05, en cursiva p-valores ≤ α = 0.10.

LA INNOVACIÓN EN EL SECTOR PÚBLICO. ¿QUIÉN ES EL “INNOVADOR”?

EMPRENDIMIENTO

El test de emprendimiento consiste un cuestiona- rio clásico que consta de un conjunto de preguntas orientadas a identificar la predisposición de las personas hacia el emprendimiento. El cuestiona- rio indaga sobre cómo se perciben las personas a sí mismas. En concreto, se preguntan cuestio- nes relacionadas con la actitud y predisposición ante el cambio, la autoconfianza o la tenacidad, o si la persona se considera intuitiva y/o imagi- nativa. A partir del test, se construye un índice en una escala 0-1, donde a mayores valores se aso- cian mayor capacidad emprendedora.

Como se observa en la Tabla 12, el test ANOVA de igualdad de medias señala la existencia de diferen- cias estadísticamente significativas entre colectivos. Observando la Tabla 11 y las Figuras 23A y 24A, las diferencias se sustancian entre el grupo de funcio- narios innovadores y el resto de colectivos, excepto el de los profesores innovadores docentes, dada la mayor heterogeneidad que encontramos en este grupo. Es interesante observar también (Figura 24A) que, aunque sin diferencias estadísticamente signifi- cativas, todos los grupos con acciones de innovación reconocida puntúan más en este índice que los gru- pos no innovadores.

TABLA 12. RESULTADOS TEST ANOVA DE IGUALDAD DE MEDIAS. EMPRENDIMIENTO

Variable

F-value (g.l.)

p-valor

Emprendimiento

2.32 (6)

< 0.001

CONCLUSIONES Este estudio ha tenido por objeto buscar respuesta a la pregunta de si los funcionarios innovadores tienen preferencias o características diferentes a los funcionarios no innovadores o a la población general. Para ello se han utilizado herramientas de economía experimental y cuestionarios de psi- cología para buscar respuestas a esta cuestión. El análisis de los resultados obtenidos distinguiendo entre diversos colectivos caracterizados por reali- zar algún tipo de actividad innovadora y colectivos que no consta que realicen tales actividades no revela ninguna diferenciación sistemática entre ambos grupos (ver Tabla 13).

TABLA 13. RESULTADOS TEST ANOVA DE IGUALDAD DE MEDIAS. Variable F-value (g.l.)

p-valor

Riesgo

1.19 (6)

0.31

Ambigüedad

3.30 (6)

< 0.01

Altruismo

4.04 (6)

< 0.001

Variables Conductuales

Reciprocidad

1.10 (6)

0.36

Confianza

4.72 (6)

< 0.001

Equidad

2.74 (6)

0.01

Extraversión

3.02 (6)

< 0.01

Amigabilidad

1.56 (6)

0.16

Big-5 cuestionario

Responsabilidad

0.79 (6)

0.57

Emotional Stability

3.77 (6)

< 0.01

Curiosidad

1.97 (6)

0.08

Emprendimiento

2.32 (6)

< 0.001

LA INNOVACIÓN EN EL SECTOR PÚBLICO. ¿QUIÉN ES EL “INNOVADOR”?

La conclusión general anterior no implica que no existan diferencias entre ambos grupos y que no puedan adivinarse ciertos patrones que diferencian a los colectivos innovadores y no innovadores, si bien no de forma generalizada. La Tabla 13 resume los resultados de los test ANOVA de igualdad de medias cuyos detalles se ofrecen a lo largo de este informe. En particular, la Tabla 13 muestra para algunas variables conductuales (ambigüedad, altruismo, confianza) y en el índice de emprendi- miento p-valores incluso por debajo de 0.01. Estos resultados indican la existencia de diferencias esta- dísticamente significativas entre algunos colectivos en tales dimensiones. No se detectan, sin embargo, diferencias estadísticamente significativas en tér- minos de actitud ante el riesgo y reciprocidad. Asimismo, en gran parte de características de perso- nalidad no se encuentran diferencias significativas entre funcionarios innovadores y no innovadores y población general. El hecho de no obtener un patrón claro no nos per- mite afirmar la existencia de una diferenciación concluyente entre colectivos, empero no implica la no existencia de diferencias relevantes. En general, los funcionarios innovadores analizados son más altruistas, muestran mayores niveles de confianza y puntúan más en el indicador de emprendimiento que los funcionarios no innovadores y que la pobla- ción general. Grupos específicos de innovadores se distinguen también en otras características. En con- creto, detectamos que, por una parte, el grupo de profesores que realizan transferencia toleran mejor

la incertidumbre o ambigüedad que los sujetos no innovadores y, por otro lado, que el colectivo de funcionarios innovadores muestra una mayor tole- rancia a un reparto no equitativo, incluso en su perjuicio. La Tabla 14 complementa a la Tabla 13 presentando los análisis de las comparaciones dos a dos dentro de cada grupo de características. Para cada variable de comportamiento, de personalidad y de empren- dimiento se representan, en una matriz, todas las comparaciones entre los 7 grupos de la muestra. Se utiliza escala triple de colores (blanco, gris y negro) para señalar los colectivos donde se observan (gris y negro) o no (blanco) diferencias estadísticamente significativas en estas variables. Si la matriz (rec- tángulo) asociada a una de las variables, como por ejemplo riesgo, no contiene ningún elemento negro y/o gris, significa que esa variable no diferencia a nin- gún grupo en particular de nuestra muestra. Es decir, en el caso del riesgo todos los individuos tienen un nivel de riesgo semejante. Por otro lado, en rectán- gulos con celdas grises o negras existirán colectivos con diferencias estadísticamente significativas. Una celda gris o negra apunta hacia la existencia de diferencias estadísticamente significativas entre la pareja de colectivos formada por los identificado- res de fila y columna asociada para la variable que corresponde al rectángulo en el que se ubica, con las celdas más oscuras (negras) señalando a las compa- raciones donde la evidencia es más intensa. La Tabla 14 muestra de forma gráfica y sintética los datos numéricos de las Tablas 4, 6, 7, 9, 10 y 11.

TABLA 14. RESUMEN GRÁFICO PARA LAS DIFERENCIAS ESTADÍSTICAMENTE SIGNIFICATIVAS EN LAS COMPARACIONES DOS A DOS MEDIANTE EL TEST DE TUKEY.

(1) (2) (3) (4) (5) (6) (7)

Riesgo

Ambigüedad

Altruismo

(1) Pob. General (2) P. no Innov. (3) F. no Innov. (4) P. Transf. (5) P. Innov. Doc.

(6) P. Invest. (7) F. Innov.

Reciprocidad

Confianza

Equidad

(1) Pob. General (2) P. no Innov. (3) F. no Innov. (4) P. Transf. (5) P. Innov. Doc.

(6) P. Invest. (7) F. Innov.

Extraversión

Amigabilidad

Responsabilidad

(1) Pob. General (2) P. no Innov. (3) F. no Innov. (4) P. Transf. (5) P. Innov. Doc.

(6) P. Invest. (7) F. Innov.

Estabilidad Emocional

Curiosidad

Emprendimiento

(1) Pob. General (2) P. no Innov. (3) F. no Innov. (4) P. Transf. (5) P. Innov. Doc.

(6) P. Invest. (7) F. Innov.

(1) (2) (3) (4) (5) (6) (7)

En azul los p-valores ≤ α = 0.05, en gris p-valores ≤ α = 0.10.

REFERENCIAS

Abdi, Hervé, and Lynne J. Williams (2010). “Newman- Keuls test andTukey test.”Encyclopaediaof Research Design. Thousand Oaks, CA: Sage: 1-11. Audretsch, David B. “Firm profitability, growth, and innovation.” Review of Industrial Organization 10.5 (1995): 579-588. Berg, Joyce, John Dickhaut, and Kevin McCabe. “Trust, reciprocity, and social history.” Games and economic behavior 10.1 (1995): 122-142. Bolton, Gary E., Elena Katok, and Rami Zwick (1998). “Dictator game giving: Rules of fairness versus acts of kindness.” International journal of game theory 27: 269-299. Covin, Jeffrey G., and Dennis P. Slevin (1989). “Strategic management of small firms in hostile and benign environments.” Strategic management jour- nal 10: 75-87. Digman, John M., and Jillian Inouye (1986). “Further specification of the five robust factors of personality.” Journal of personality and social psychology 50: 116. Fox, Craig R., and Amos Tversky (1995). “Ambiguity aversion and comparative ignorance.” The quarterly journal of economics 110: 585-603. Hasan, Iftekhar, and Christopher L. Tucci (2010). “The innovation–economic growth nexus: Global evi- dence.” Research policy 39: 1264-1276.

Hitchcock, Alexander, Kate Laycock, and Emilie Sundorph (2017). “Towards a leaner, smarter public-sector workforce.” Holt, Charles A., and Susan K. Laury (2002). “Risk aversion and incentive effects.” American economic review 92: 1644-1655.

Mazzucato, Mariana (2011). “The entrepreneurial state.” Soundings 49: 131-142.

OCDE (2018). Fostering Innovation in the Public Sector.

Roper, Stephen, Jun Du, and James H. Love (2008). “Modelling the innovation value chain.” Research policy 37: 961-977.

Rubinstein, Ariel (1982). Perfect equilibrium in a bar- gaining model. Econometrica. 50, 97–109

Scheffe, Henry (1982). The analysis of variance. Vol. 72. John Wiley & Sons.

Verhoest, Koen, Bram Verschuere, and Geert Bouckaert (2007). “Pressure, legitimacy, and innova- tive behavior by public organizations.” Governance 20.3 (2007): 469-497.

ANEXO EXPERIMENTAL Y DE ENCUESTA

En este anexo utilizaremos dos tipos de figuras. En primer lugar, utilizaremos los «gráficos de bigotes», que permiten describir varias características esta- dísticas: media, mediana, los cuartiles y valores máximos y mínimos. Los cuartiles son los valores que dividen un conjunto de datos ordenados en cuatro partes iguales. Q1, Q2 y Q3 de- terminan los valores correspondientes al 25%, al 50% y al 75% de los datos, por tanto, Q2 corresponde a la mediana. La representación consiste en una caja rectangular,

dividida por un segmento horizontal que indica donde se posiciona la mediana y dos brazos (lla- mados bigotes) que determinan el valor máximo y mínimo. El tamaño desde la mediana a la parte supe- rior de la caja ofrece información de la dispersión de los datos entre el tercer y segundo cuartil. De igual forma, el tamaño de la caja desde la mediana a la parte inferior de la caja muestra la dispersión de los datos del primer cuartil a la mediana. Los datos atí- picos se muestran como puntos fuera de los bigotes.

Valor máximo

Leyenda

Variable

(75% Datos) Q3

50% Datos

Mediana

Q1 (25% Datos)

Valor mínimo

LA INNOVACIÓN EN EL SECTOR PÚBLICO. ¿QUIÉN ES EL “INNOVADOR”?

La segunda figura que utilizaremos hace referencia a la media y el error se representa con la variación en la parte superior. Además, en la base se muestra el tamaño de la muestra.

Leyenda

Variable

Media

Error

n= tamaño muestral

ANEXO GRÁFICO Y ESTADÍSTICO

En el estudio de aversión a la ambigüedad se pre- sentan dos figuras y una tabla donde se refleja si hay diferencias significativas entre las medias de la población académica con actividad de trans- ferencia y la población no innovadora. Los tres primeros grupos corresponden a sujetos para los que no existe constancia de haber realizado activi- dades de innovación, los cuatro últimos engloban sujetos sobre los que existe constancia de haber realizado algún tipo de actividad innovadora. La figura 1A muestra una gran similitud entre las distintas muestras. Sin embargo, la figura 2A y la tabla 1 confirma las diferencias significativas antes mencionadas.

LA INNOVACIÓN EN EL SECTOR PÚBLICO. ¿QUIÉN ES EL “INNOVADOR”?

FIGURA 1A. DISTRIBUCIÓN DEL ÍNDICE DE AVERSIÓN A LA AMBIGÜEDAD POR COLECTIVOS

1,0

0,5

0,0

n=59

n=46

n=42

n=25

n=26

n=70

n=49

-0,5

Page 1 Page 2 Page 3 Page 4 Page 5 Page 6 Page 7 Page 8 Page 9 Page 10 Page 11 Page 12 Page 13 Page 14 Page 15 Page 16 Page 17 Page 18 Page 19 Page 20 Page 21 Page 22 Page 23 Page 24 Page 25 Page 26 Page 27 Page 28 Page 29 Page 30 Page 31 Page 32 Page 33 Page 34 Page 35 Page 36 Page 37 Page 38 Page 39 Page 40 Page 41 Page 42 Page 43 Page 44 Page 45 Page 46 Page 47 Page 48 Page 49 Page 50 Page 51 Page 52 Page 53 Page 54 Page 55 Page 56 Page 57 Page 58 Page 59 Page 60

Made with FlippingBook - Online Brochure Maker