Plan Específico de Evaluación FEDER  2014‐2020 de Andalucía                            20 de julio de 2016    Dirección General de Fondos Europeos  Junta de Andalucía Índice  1.  Introducción ................................................................................................................................ 3  1.1.  Contexto de la Evaluación en el ámbito de las Políticas Públicas ................................................. 3  1.2.  Disposiciones reglamentarias en el marco de programación FEDER ............................................ 7    2.  Antecedentes de la evaluación en el marco de los PO FEDER ....................................................... 10  2.1.  Programación 2000‐2006 ............................................................................................................ 10  2.2.  Programación 2007‐2013 ............................................................................................................ 12    3.  El enfoque de la evaluación en el P.O. FEDER 2014‐2020 en Andalucía ........................................ 21  3.1.  Principales objetivos ................................................................................................................... 21  3.2.  Principios de la evaluación .......................................................................................................... 22  3.3.  Actores implicados en el desarrollo del proceso de evaluación ................................................. 24  3.4.  Mecanismos de coordinación ..................................................................................................... 32    4.  Fundamentos de la estrategia del Programa y la lógica de Evaluación ......................................... 39    5.  Gestión del Plan Específico de la Evaluación ................................................................................ 64  5.1.  El proceso de evaluación individual ............................................................................................ 64  5.2.  Evaluaciones en el marco del P.O. FEDER 2014‐2020 de Andalucía ........................................... 68  5.2.1.  Evaluaciones desarrolladas o en curso ................................................................................ 70  5.2.2.  Previsión de evaluaciones a desarrollar .............................................................................. 76  5.3.  Resumen de evaluaciones a desarrollar: Lista, Presupuesto y Cronograma .............................. 80    6.  Fichas de la evaluación ................................................................................................................ 82    7.  Resultados de la Evaluación ...................................................................................................... 111  7.1.  Garantía de calidad ................................................................................................................... 111  7.2.  Difusión y canales de Comunicación ......................................................................................... 116  7.3.  Seguimiento de la Evaluación ................................................................................................... 118    8.  Presupuesto general del Plan de Evaluación Específico ............................................................. 120    Anexo I. Modelo Ficha de Evaluación de Calidad [Informe Final de Evaluación] ................................ 121    Anexo II. Propuesta de estructuración de los Términos de Referencia [TdR] ..................................... 124  1 Índice de Figuras    Figura 1: Evolución normativa en los sistemas de evaluación de los Fondos  Estructurales Europeos......................................................................................................................... 5    Figura 2. Síntesis de evaluaciones realizadas por el Organismo Intermedio en el  ámbito del P.O. FEDER en Andalucía .................................................................................................... 16    Figura 3. Objetivos del Plan Específico de Evaluación ........................................................................... 22    Figura 4. Principios del Plan Específico de Evaluación ........................................................................... 24    Figura 5. Estructura del Partenariado en la fase de Programación del FEDER 2014‐ 2020 en Andalucía............................................................................................................................... 31    Figura 6. Grupos de interés implicados en el desarrollo del Proceso de Evaluación ................................ 32    Figura 7. Rol Principal de los Grupos Técnicos de Evaluación [GTE] según fase del  estudio ............................................................................................................................................... 37    Figura  8. Vinculación de los organismos implicados en el Plan Específico de  Evaluación .......................................................................................................................................... 38    Figura 9. Esquema de la lógica de Intervención en el PO FEDER 2014‐2020 de  Andalucía ............................................................................................................................................ 40    Figura 10. Evaluación integrada en el proceso lógico de intervención ................................................... 41    Figura  11. Esquema sintético del proceso de evaluación individual ...................................................... 67    Figura  12. El ciclo de la evaluación a lo largo del periodo de programación FEDER ................................ 69    Figura 13. Contribución del Fondo FEDER 2014‐2020 en Andalucía:  Complementariedad del sistema de evaluaciones ................................................................................ 78    Figura 14. Aplicación del control de calidad durante el desarrollo del proceso de  Evaluación: Fase/Entregable/Criterios de evaluación de calidad ......................................................... 114    Figura 15. Ejes de actuación y canales para la difusión de resultados .................................................. 118    Figura 16. Presupuesto general del Plan de Evaluación Específico ....................................................... 120  2 1. Introducción  1.1. Contexto de la Evaluación en el ámbito de las Políticas Públicas    La evaluación es una disciplina que ha suscitado en los últimos años un gran interés y una  amplia aportación a la literatura empírica como instrumento clave para apreciar la utilidad de  los programas o políticas públicas. Entre las diversas definiciones que podemos encontrar  sobre esta materia, el enfoque planteado por la OCDE resume los aspectos esenciales que  justifican la proliferación en el uso de esta herramienta dentro del proceso de transformación  y modernización en el que participan las Administraciones Públicas. Según el Organismo  Internacional, la evaluación se entiende como una Apreciación sistemática y objetiva de un  proyecto, programa o política en curso o concluido, de su diseño, su puesta en práctica y sus  resultados. El objetivo es determinar la pertinencia  y  el  logro  de  los  objetivos,  así como la  eficiencia, la eficacia, el impacto y la  sostenibilidad  para  el  desarrollo.  Una evaluación   deberá  proporcionar  información  creíble  y  útil,  que  permita  incorporar  las  enseñanzas  aprendidas en el proceso de toma  de  decisiones  de  beneficiarios  y donantes1.    El avance de la evaluación frente a otros instrumentos de información y valoración se ciñe a la  disponibilidad de un sólido desarrollo metodológico con origen en diversas técnicas de las  ciencias sociales que garantizan la fiabilidad de los datos y conclusiones, permitiendo a los  gestores emitir juicios de valor y facilitar su toma de decisiones a lo largo de la ejecución del  programa.  Precisamente  este  carácter  de  continuidad  hace  que  la  evaluación  no  deba  concebirse como un hito de trabajo aislado y final, sino que debe interpretarse como un  proceso  dinámico  que  transcurre  durante  todo  el  programa,  desde  el  momento  de  la  planificación (evaluación ex ante), continuando con la fase de implementación (evaluación  intermedia) y cierre tras la verificación de los resultados y efectos finales (evaluación ex post).     En este contexto, hay que señalar que  los Fondos Estructurales Europeos han sido un factor  importante  para  la  difusión  de  la  práctica  de  la  evaluación  en  toda  la  Unión  Europea,  introduciéndose esta disciplina en muchos países del sur de Europa para dar cumplimiento a  los requisitos recogidos en los reglamentos comunitarios. Así, desde las primeras exigencias de  evaluación solicitadas en 1988, tras el análisis de las lecciones aprendidas de los cierres de  programaciones, tanto los requerimientos técnicos y metodológicos, como la intensidad de los                                                               1  Glosario de los principales términos sobre evaluación y gestión basada en resultados. OCDE  3 sistemas de evaluación han ido significativamente en aumento, tal y como se desprende en la  Figura 1.     Consecuencia de las experiencia de periodos anteriores y de los requisitos reglamentarios del  periodo  2014‐2020,  se  producen  cambios  sustanciales  en  el  enfoque,  la  actividad  y  los  procesos y recursos involucrados en la evaluación de los Fondos Estructurales y de Inversión  en general en España y sus comunidades autónomas. En este sentido, el sistema de evaluación  en este nuevo periodo de programación debe incorporar un mayor enfoque a resultados, el  cual se logrará a través de tres elementos:  ‐ Condiciones ex ante: Asegura las condiciones necesarias de partida en un territorio  para una implementación eficaz de los programas.  ‐ Lógica de Intervención: Mayor énfasis durante la fase de diseño de los programas, en  las necesidades y los resultados a lograr, definiendo las actuaciones en base a ello.  ‐ Seguimiento y Evaluación: Consecuentemente se realiza un mayor esfuerzo en el  seguimiento y evaluación, antes, durante, y al final de la implementación de los  programas.    Tal y como señala la Comisión Europea, “Hasta ahora, la evaluación de la Política de Cohesión  se ha centrado más en los aspectos relativos a la implementación de los programas que en la  evaluación de los resultados de las actuaciones. De cara al período 2014‐2020, la Comisión  Europea persigue reequilibrar este enfoque, impulsando la actividad de evaluación a nivel  regional, nacional y comunitario, especialmente para conocer el impacto de las intervenciones  de  la  Política  de  Cohesión  sobre  el  bienestar  de  los  ciudadanos:  económico,  social  y  medioambiental”2    Como respuesta a las exigencias normativas incluidas en los reglamentos comunitarios así  como a las disposiciones generales señaladas en el Plan de Evaluación de los Programas  Operativos FEDER 2014‐2020. Elementos Comunes, el presente plan estratégico responde al  encargo que la administración andaluza recibe como organismo intermedio en los programas  operativos de los Fondos EIE para llevar a cabo la elaboración de un Plan de Evaluación  Específico para el Fondo FEDER 2014‐2020 en Andalucía.                                                               2 Comisión Europea. Documento de orientaciones sobre seguimiento y evaluación, periodo 2014‐2020.Conceptos y  Recomendaciones. Abril 2014.  4 Figura 1: Evolución normativa en los sistemas de evaluación de los Fondos Estructurales Europeos      1989‐1993  1994‐1999  2000‐2006  2007‐2103  2014‐2020  ‐ Es  requerida  al  Estado  ‐ Llevada a cabo en colaboración  ‐ El  Estado  miembro  tiene  la  ‐ No hay cambios significativos respecto a  ‐ Se requiere un mayor énfasis en  n   Miembro  para  cada  entre la Comisión y los Estados  responsabilidad  principal  de  esta  la programación anterior.  la orientación hacia los resultados  óe   EvaluaciEx ant p‐c  arLobago rC saoumm pair.so i ópnia p eovdarláu allceivóanr.  a  m‐  Sieem inbcrlousy.e   el impacto ambiental.  e‐s  ovSbaelru epa receli ósmtnae.  d  eisop aemcibali eanteten,c mióenr acal dimop acto  yrae nstpeleari cotro.l  ógicaa   lda e  pirnotgerravmenaccióiónn,   laboral e igualdad de género.  ‐ No requerida.  ‐ Es requerida  una Evaluación a  ‐ La autoridad de gestión es responsable  ‐ El Estado miembro es responsable de la  ‐ Se requiere una evaluación para  medio plazo para programas con  en colaboración con la Comisión, siendo  evaluación en curso, en consulta con la  cada prioridad durante el período  una duración superior a 3 años.  el  órgano  superior  quien  evalúa  la  Comisión.  de programación para evaluar la      n  a  ‐ Inclusión de un análisis crítico de  r elevancia de las evaluaciones.  ‐ Las principales innovaciones respecto al  c ontribución a sus objetivos.  ódi cie los  datos  de  seguimiento  y  ‐ Es llevada a cabo para finales de 2003,  periodo  anterior  es  la  introducción  del  ‐ Un  informe  final  es  requerido  am Evalunter malceadniccieó ne n losos borbej etievlo s. grado  de  adseí  2c0o0m5o ( euvnaalu aaccitóuna lfiiznaacli)ó  n para finales  pproirn cpiapriote d dee p rlao pCoEr cailo dneasliadrardo lylo e dl ees ptílmanuelos   pcoomr o2 0re2s1u mpeanra  deca dloas  rpersouglrtaamdoas,   i   de evaluación en base a las necesidades  de las evaluaciones llevadas a cabo  de los Estados Miembros y las regiones  durante  el  período  de  programación.    ‐ Se  llevan  a  cabo  a  nivel  ‐ Se lleva a cabo conjuntamente  ‐ La  responsabilidad principal recae en  ‐ El  principal  cambio  respecto  a  la  ‐ Sin cambios respecto al periodo  nacional  (No  realizado  en  por  la  Comisión  y  el  Estado  la Comisión.  programación anterior es que debe ser  de programación anterior.       valuación  Ex post  muchos casos).  meepvnriea evlmuisfabutrorn osec.,li   óimns pieandcdeto o  dleol sal a s ofmibnjeaedltiiiddvaoadss    ‐Es isgStuaeid elolne tmveasi e adm ecbla prboeo,r  ideoendn oct ordolea  dbpeor rolaogcsri aótmrne ascc oaiónñn oe.s l   ctioemmpploe tqaudea  euln g aasñtoo  aenst feins a(2liz0a1d5o),.  al mismo  ‐Cmc ooSilemaembrisáobinórra oncs lil óenvoa  dacposeo nnr a   lacloa sb Coeo Esmpstrotieasridc óhonlaas,     E   debiendo estar completadas a la  finalización de 2024.    Fuente: Adaptación de “EVALSED:  The resource for the evaluation of Socio‐Economic Development” 5 En  este  sentido,  la  finalidad  del  Plan  va  más  allá  de  evaluar  los  principales  resultados  alcanzados en los objetivos específicos del programa y el impacto global de la política europea  de desarrollo regional en los problemas estructurales de la región. Se trata de una propuesta  con un alcance de evaluación diseñado para descender al ámbito de las actuaciones más  relevantes que se desarrollan en Andalucía durante el periodo actual de financiación, dando así  cobertura al análisis de las necesidades socioeconómicas particulares identificadas en nuestro  territorio.    Este instrumento operativo se concibe pues como una guía de referencia para orientar y  facilitar  el  trabajo  de  todos  los  actores  participantes  de  la  gestión  de  los  procesos  de  evaluación en el marco del programa FEDER 2014‐2020 para la región de Andalucía. De esta  forma, se pretende consolidar los mecanismos para la realización de evaluaciones de calidad,  sistemáticas, participativas y orientadas a la incorporación de los resultados a lo largo del ciclo  de duración del programa y/o sus intervenciones.    Por último, señalar que el presente Plan de Evaluación Específico se enmarca en la línea de  contribución del funcionamiento de un sistema de evaluación de políticas públicas, recogido  en el artículo 138 del Estatuto de Andalucía, y de manera particular, da cumplimiento al  artículo 12.1 de la Ley 1/2014 de Transparencia Pública de Andalucía:     “Las administraciones públicas, las sociedades mercantiles y las fundaciones    públicas andaluzas publicarán los planes y programas anuales y plurianuales    en los que se fijen objetivos concretos, así como las actividades, medios y  tiempo previsto para su consecución. Su grado de cumplimiento y resultados    deberán  ser  objeto  de  evaluación  y  publicación  periódica  junto  con  los    indicadores de medida y valoración. A esos efectos, se considera evaluación de  políticas  públicas  el  proceso  sistemático  de  generación  de  conocimiento    encaminado  a  la  comprensión  integral  de  una  intervención  pública  para   alcanzar un juicio valorativo basado en evidencias respecto de su diseño,  puesta en práctica, resultados e impactos. Su finalidad es contribuir a la    mejora  de  las  intervenciones  públicas  e  impulsar  la  transparencia  y  la    rendición de cuentas”.      6 1.2.  Disposiciones reglamentarias en el marco de programación FEDER    El  Plan  Específico  de  Evaluación  para  el  fondo  FEDER  2014‐2020  en  Andalucía  se  ha  desarrollado dando cumplimiento al siguiente Marco Normativo:      REGLAMENTO (UE) Nº 1303/2013 DEL PARLAMENTO EUROPEO Y DEL CONSEJO  de 17  de diciembre de 2013  por el que se establecen disposiciones comunes relativas al  Fondo Europeo de Desarrollo Regional, al Fondo Social Europeo, al Fondo de Cohesión,  al Fondo Europeo Agrícola de Desarrollo Rural y al Fondo Europeo Marítimo y de la  Pesca, y por el que se establecen disposiciones generales relativas al Fondo Europeo  de Desarrollo Regional, al Fondo Social Europeo, al Fondo de Cohesión y al Fondo  Europeo Marítimo y de la Pesca, y se deroga el Reglamento (CE) nº 1083/2006 del  Consejo.     REGLAMENTO (UE) Nº 1301/2013 DEL PARLAMENTO EUROPEO Y DEL CONSEJO de 17  de  diciembre  de  2013  sobre  el  Fondo  Europeo  de  Desarrollo  Regional  y  sobre  disposiciones específicas relativas al objetivo de inversión en crecimiento y empleo y  por el que se deroga el Reglamento (CE) nº 1080/2006.     REGLAMENTO DELEGADO (UE) Nº 240/2014 DE LA COMISIÓN de 7 de enero de 2014  relativo al Código de Conducta Europeo sobre las asociaciones en el marco de los  Fondos Estructurales y de Inversión Europeos.    Atendiendo  a  las  disposiciones  reglamentarias  señaladas,  los  principales  requerimientos  normativos establecidos por la Comisión Europea en materia de evaluaciones para los Órganos  Intermedios son:    Disposiciones Generales [art. 54/RDC 1303]       •Sellevaránacaboevaluacionesparamejorarlacalidaddelaconcepciónylaejecucióndelosprogramas, asícomoparavalorarsueficacia,eficienciaeimpacto. •LosEstadosmiembrosproporcionaránlosrecursosnecesariosparaefectuarlasevaluacionesyvelarpor queexistanprocedimientosparaproduciryrecabarlosdatosnecesariosparalasevaluaciones,enespecial los relacionados con los indicadores comunes y, cuando proceda, los indicadores específicos de un programa. •Lasevaluacionesseránllevadasacaboporexpertos,internosoexternos,funcionalmenteindependientes delasautoridadesresponsablesdelaejecucióndelosprogramas. •Todaslasevaluacionessepondránadisposicióndelpúblico.   7 Alcance general del Plan de Evaluación [art. 55, 56, 57, 114/RDC 1303]    •Las evaluaciones ex ante se realizarán bajo la responsabilidad de la autoridad  Evaluación ex ante encargada de la preparación de los programas.   [Aprobada en Andalucía en junio de 2015]                 •Duranteelperíododeprogramacióndeberáevaluarseporlomenosunavezla maneraenquelaayudade losFondosEIEha contribuidoalosobjetivosde cadaprioridad. •Todas las evaluaciones serán examinadas por el comité de seguimiento y Evaluación durante  la  enviadasalaComisión programación •Elplandeevaluaciónsepresentaráalcomitédeseguimientoamástardarun añodespuésdelaadopcióndelprogramaoperativo. •La Autoridad de Gestión presentará a la Comisión no más tarde del 31 de diciembre de 2022, un informe resumen de las conclusiones de las   evaluacionesrealizadassobrecadaPOduranteelperíododeprogramación.   •Las evaluaciones ex post serán llevadas a cabo por la Comisión o por los Evaluación ex post EstadosmiembrosenestrechacolaboraciónconlaComisión. •Las evaluaciones ex post se habrán completado, a más tardar, el 31 de diciembrede2024.     Participación de los socios pertinentes en la evaluación de los programas [art. 16/RD  240]   •Secontaráconlaparticipacióndelossociospertinentesala horadeevaluarlosprogramasenelmarco deloscomitésdeseguimientoy,ensucaso,delosgruposdetrabajoespecíficosquehayanestablecidolos comitésdeseguimientoaestefin. •Seconsultaránalossociossobrelosinformesenlosqueseresumanlasconclusionesdelasevaluaciones realizadasduranteelperíododeprogramación.   Por otra parte, el Plan Específico de Evaluación se ha elaborado tomando como punto de   referencia los criterios metodológicos usados por la Agencia Estatal de Evaluación y Calidad  (AEVAL)  para  la  evaluación  de  políticas  públicas3.  De  manera  complementaria,  para  la  redacción  del  presente  Plan  se  ha  tenido  en  cuenta  las  orientaciones  en  materia  de  evaluaciones recogidas en los siguientes documentos‐guía:                                                                   3  Véase el manual “Guía práctica para el diseño y la realización de evaluaciones de políticas públicas ‐ Enfoque AEVAL".   8 Guía de Seguimiento y  Evaluación  de la  Política Europea de Cohesión  del periodo de  programación 2014‐2020  Informe publicado por la Comisión Europea referencia para el establecimiento de las bases  del modelo del plan de evaluación específico. Este documento incluye orientaciones sobre los  elementos que debe contener el plan de evaluación, detallando los objetivos y alcance, el  propio marco de la evaluación así como los planes de evaluación que de contener el Plan  Estratégico de Evaluación. Asimismo, se presenta en el documento una orientación sobre la  gestión de la calidad en las evaluaciones externas.   Planes de Evaluación de los PO FEDER 2014‐2020. Elementos Comunes  Documento de carácter estratégico publicado por Dirección General de Fondos Comunitarios  que abarca la totalidad de los Programas Operativos FEDER y concreta para el desarrollo de  los planes de evaluación común y específico, cuestiones esenciales como: los objetivos de  evaluación,  las  preguntas  de  evaluación,  alcance,  ámbito,  mecanismos  de  coordinación,  recursos, capacidades, presupuesto, cronograma, metodología y evaluaciones a realizar a  título indicativo.  Evalsed: El recurso de la evaluación en el desarrollo socioeconómico. Guía de Evaluación   Esta guía proporciona una orientación sobre la evaluación en el ámbito del desarrollo socio‐ económico y muestra un enfoque específico de la evaluación en lo que respecta a la política  de cohesión de la UE. En este documento, de carácter eminentemente práctico, se elaboran  mecanismos para el desarrollo de la capacidad de evaluación y enfoques de evaluación, y se  proporcionan orientación sobre cómo diseñar e implementar las evaluaciones, garantizando  la calidad de los procesos y resultados.  Quality Standards for Development Evaluation  Manual publicado por la OCDE que basado en los principios para la Evaluación y Desarrollo de  Asistencia (1991) identifica los pilares fundamentales necesarios para la implantación de un  proceso  de  evaluación  de  calidad.  Para  ello,  se  muestra  metodológicamente  las  consideraciones  generales  a  seguir  en  las  siguientes  fases:  definición  de  propósito,  planificación, diseño, ejecución, comunicación y uso de los resultados.     9