! ! ! ! Fund%Council% ! 13th%Meeting%(FC13)—Bogor,%Indonesia% April%28?29,%2015% % % ! ! ! WORKING(DOCUMENT( % % % % ! Evaluation!of!the!! CGIAR!Research!Program!on!! Aquatic!Agricultural!Systems!(AAS)!! ! % % % % % Submitted!by:!! Independent!Evaluation!Agreement(! ! ! Evaluation of the CGIAR Research Program on Aquatic Agricultural Systems (AAS) Volume 1 – Evaluation Report April 2015 A l 2015     Regina Birner (Co‐Team Leader)  Ram Bhujel  Eva M. Rathgeber   James Sumberg (Co‐Team Leader)  Nadarajah Sriskandarajah   Felix von Sury This evaluation was commissioned by the Independent Evaluation Arrangement (IEA) of the CGIAR.    The Independent Evaluation Arrangement (IEA) of CGIAR encourages fair use of this material  provided proper citation is made.    Correct citation: CGIAR‐IEA (2015). Evaluation of CGIAR Research Program on Aquatic Agricultural  Systems (AAS). Rome, Italy: Independent Evaluation Arrangement (IEA) of the CGIAR (April 2015)  iea.cgiar.org Evaluation of CGIAR Research Program on Aquatic Agricultural Systems   Table of contents Acknowledgments ............................................................................................................................ v  Executive Summary ........................................................................................................ vi  1.  Introduction to the evaluation ............................................................................. 1  1.1  Context of the evaluation ....................................................................................................1  1.2  Purpose and audience ..........................................................................................................1  1.3  Evaluation scope ..................................................................................................................2  1.4  Structure of the evaluation report .......................................................................................2  1.5  The Aquatic Agricultural Systems CRP – An Overview .........................................................3  2.  Evaluation process, approach and methodology ................................................ 13  2.1  Preface .............................................................................................................................. 13  2.2  Evaluation process ............................................................................................................ 14  2.3  Evaluation team ................................................................................................................ 14  2.4  Evaluation approach ......................................................................................................... 14  2.5  Evaluation methods .......................................................................................................... 17  2.5.1  Case studies of roll‐out activities ............................................................................................ 17  2.5.2  Case studies of bilaterally‐funded projects ............................................................................ 18  2.5.3  Assessment of publications .................................................................................................... 18  2.5.4  Staff survey ............................................................................................................................. 19  2.5.5  Interviews ............................................................................................................................... 19  2.6  Propositions and Assumptions of the Evaluation ............................................................. 20  3.  Findings .............................................................................................................. 22  3.1  Program Design ................................................................................................................. 22  3.1.1  Framing ................................................................................................................................... 22  3.1.2  Research questions ................................................................................................................ 25  3.1.3  Assessment ............................................................................................................................. 26  3.2  Human resources – the foundation of research quality ................................................... 27  3.2.1  Profile and allocation of human resources ............................................................................. 27  3.2.2  Assessment and recommendations ....................................................................................... 32  3.3  The operationalization of RinD ......................................................................................... 33  3.3.1  The roll‐out process ................................................................................................................ 33  3.3.2  Assessment and recommendations ....................................................................................... 34  3.3.3  The role of bilateral projects .................................................................................................. 37  3.3.4  Assessment and recommendations ....................................................................................... 39  3.4  Participatory Action Research ........................................................................................... 40  3.4.1  Assessment and recommendations ....................................................................................... 41  3.5  AAS thematic research ...................................................................................................... 42  3.5.1  Sustainable Increases in System Productivity ........................................................................ 42  3.5.2  Equitable Access to Markets .................................................................................................. 45  3.5.3  Socio‐ecological Resilience and Adaptive Capacity ................................................................ 47  3.5.4  Gender Equality ...................................................................................................................... 48  3.5.5  Policies and Institutions to Empower AAS Users .................................................................... 51  3.5.6  Nutrition ................................................................................................................................. 52  3.5.7  Knowledge Sharing and Learning ........................................................................................... 53  3.6  Partnerships and capacity building ................................................................................... 55  i cgiar.iea.org Evaluation of CGIAR Research Program on Aquatic Agricultural Systems   3.6.1  Partnerships ........................................................................................................................... 56  3.6.2  Capacity development ............................................................................................................ 58  3.6.3  Assessment ............................................................................................................................. 59  3.7  Knowledge production and development outcomes ....................................................... 60  3.7.1  Prospects for knowledge production from the Roll‐out Cases ............................................... 60  3.7.2  Publications ............................................................................................................................ 62  3.7.3  Contributions to development outcomes and impacts .......................................................... 65  3.8  Governance and management ......................................................................................... 67  3.8.1  Governance ............................................................................................................................ 67  3.8.2  Management .......................................................................................................................... 70  4.  Overall conclusions and recommendations ........................................................ 81  4.1  Conclusions ....................................................................................................................... 81  4.1.1  Achievements ......................................................................................................................... 81  4.1.2  Relevance ............................................................................................................................... 82  4.1.3  Quality of science ................................................................................................................... 83  4.1.4  Likely effectiveness ................................................................................................................. 84  4.1.5  Overall conclusion .................................................................................................................. 84  4.2  Recommendation on the way forward ............................................................................. 85  4.3  Compilation of suggestions ............................................................................................... 87  4.4  Compilation of recommendations .................................................................................... 88  References..................................................................................................................... 91    Tables Table 1‐ 1: Evolution of AAS (selected events) ....................................................................................... 4  Table 1‐ 2: AAS research themes and Intermediate Development Outcomes (IDOs) ............................ 5  Table 1‐ 3: Main AAS research sites ........................................................................................................ 6  Table 1‐ 4: Overview of AAS Flagship Projects Portfolio (figures in USD thousands)* ........................... 7  Table 1‐ 5: Bilateral projects larger that USD 500,000 (figures in USD thousands) ................................ 8  Table 3‐ 1: Research FTE by degree level and base .............................................................................. 28  Table 3‐ 2: Number of different research theme worked on per staff member. ................................. 29  Table 3‐ 3:Reported number of day spent in the field in the previous year (NB: blue shading extends  to the median interval – i.e. it covers at least 50 percent of the respondents) .............. 31  Table 3‐ 4:Bilateral projects included in review ................................................................................... 38  Table 3‐ 5: Publications produced under AAS and by WorldFish in the three years before the  initiation of AAS. ............................................................................................................... 63  Table 3‐ 6: Number of publications by year .......................................................................................... 63  Table 3‐ 7: Journal articles published 2012‐2014. ................................................................................ 64  Table 3‐ 8: AAS impact / outcome claims. ............................................................................................ 66   ii cgiar.iea.org Evaluation of CGIAR Research Program on Aquatic Agricultural Systems   Figures Figure 1‐1: Links between Findings section of the report and the evaluation criteria ........................... 3  Figure 1‐2: AAS Expenditures (2011‐2013) and expected budget (2014‐2016) in USD thousands ........ 6  Figure 1‐3: Expenditure (from mid‐2011 to 2013) per Theme* ............................................................. 7  Figure 1‐4: Theory of change for AAS ................................................................................................... 11  Figure 1‐5: AAS scaling pathways ......................................................................................................... 11  Figure 1‐6: AAS summary impact pathways and theory of change as presented in the revised  2015/2016 extension proposal (August 2014). ................................................................ 12  Figure 3‐1: Distribution of research FTE by hub and research theme. ................................................. 28  Figure 3‐2: Distribution of research FTE over 30 hub x research theme combinations ....................... 29  Figure 3‐3: Khulna Hub Level Theory of Change ................................................................................... 55  Figure 3‐4: Perception of quality of management of different aspects of AAS .................................... 72  Figure 3‐5: Answers to the question: “In your view, how well are the measures listed below managed  in AAS?” ............................................................................................................................ 79  Figure 4‐1: Three ways to view AAS, and recommended direction of travel. ...................................... 86    Boxes Box 1‐1: The AAS view of Participatory Action Research (PAR) .............................................................. 9  Box 2‐1: International Public Goods (IPGs) and agricultural research .................................................. 16  Box 2‐2: Specific evaluation questions regarding the AAS approach ................................................... 17  Box 2‐3: Propositions and assumptions of the evaluation ................................................................... 20  Box 3‐1: AAS overarching research questions ...................................................................................... 26  iii cgiar.iea.org Evaluation of CGIAR Research Program on Aquatic Agricultural Systems   Glossary and acronyms  AAS    Aquatic Agricultural Systems (also, the program)  ACIAR    Australian Center for International Agricultural Research  AIN    Aquaculture for Income and Nutrition  BoT    Board of Trustees (also, the board)  BUS    Basic Unit of Science  CGIAR    Consultative Group for International Agricultural Research  CO    Consortium Office  CRP    CGIAR Research Program  FARA    Forum for Agricultural Research in Africa  FC    Fund Council  FTE    Full‐time equivalent  GCARD   Global Conference on Agricultural Research for Development  GFAR    Global Forum for Agricultural Research  GTA    Gender Transformative Approach  ICLARM   International Center for Living Aquatic Resources Management  IDO    Intermediate Development Outcome  IEA    Independent Evaluation Arrangement  IWMI    International Water Management Institute  IPGs    International Public Goods  ISPC    Independent Science and Partnership Council  JD    Job description  KSL    Knowledge Sharing and Learning  LEGS    Livelihood Enhancement Groups  M&E    Monitoring and Evaluation  MT    Management Team  NARS    National Agricultural Research Systems  NRM    Natural Resource Management  OCS    One Common System  PacFish   Improving Community‐based Fisheries Management in Pacific Island Countries  PAR    Participatory Action Research  PLT    Program Leadership Team  PMP    Performance Management Plan  POP    Program Oversight Panel  POWB    Program of Work and Budget  PSU    Program Support Unit  R4D    Research for Development  RCT    Randomized control trial  RFF    Rice Field Fisheries  RG    Reference Group  RinD    Research in Development  SILC+    Savings and Internal Lending Communities Plus  SLG    Strategic Leadership Group  SRF    Strategy and Results Framework  TOC    Theory of Change  TOR    Terms of Reference  WF    WorldFish  iv cgiar.iea.org Evaluation of CGIAR Research Program on Aquatic Agricultural Systems   Acknowledgments  This evaluation has been prepared by a team led by Regina Birner and James Sumberg under the  supervision of Dr Sirkka Immonen, senior evaluation officer of the Independent Evaluation  Arrangement (IEA) of the CGIAR, following the Inception Report that was issued in October 2014.  Other members of the core team were Ram Bhujel, Nadarajah Sriskandarajah, Eva M. Rathgeber,  and Felix von Sury. Staff in the IEA provided invaluable assistance to the core team.  The IEA and the evaluation team especially wish to acknowledge the extensive cooperation of the  AAS Director, Dr Patrick Dugan, the AAS country leaders, theme leaders, staff and partners at all  levels for their continued availability for interviews and for thoughtful contributions. We also wish to  thank WorldFish Director‐General, Dr Steve Hall, WorldFish senior scientific and administrative staff,  and the members of the WorldFish Board and the AAS Program Oversight Panel for making  themselves available for extended interviews and discussions.   Finally, we are grateful to AAS hub staff in Bangladesh, Zambia, Solomon Islands and Cambodia for  making the country visits both richly rewarding and enjoyable. Many partners and community  members made themselves freely available during these visits, and they deserve a very special thank  you.      v cgiar.iea.org Evaluation of CGIAR Research Program on Aquatic Agricultural Systems   Executive Summary  Background and Context  The CGIAR Research Program (CRP) on Aquatic Agricultural Systems (AAS) was designed to bring  together the CGIAR’s strengths in agricultural research together with the experience and local  knowledge of research and development partners. The program’s aim is to improve the well‐being of  the people who depend on aquatic agricultural systems, defined as “agricultural systems in which  the annual production dynamics of freshwater and/or saline or brackish coastal systems contribute  significantly to total household income.” The lead center is WorldFish, and there are two  participating centers – Bioversity and IWMI.  The program is currently organized into four program flagships. Three flagships present the major  aquatic agricultural that the program identified: Asia’s Mega Deltas, Island Systems of South‐East  Asia and the Pacific, and African Inland Waters. The fourth focuses on program‐level research and  syntheses. The research covers seven themes and is designed to contribute to seven intermediate  development outcomes (IDOs) related to income, nutrition, future options (greater resilience for  advanced ecosystem services), productivity, gender and empowerment, and the capacity to innovate  and capacity to adapt.  The program introduced an approach it termed “Research in Development” (RinD), in which  agricultural research is embedded in on‐going development actions and processes, and adds value  by leveraging potential for innovation. RinD is operationalized through participatory action research  (PAR) within the geographically defined hubs, which entail close collaboration with stakeholders  from community to national levels. The ambition of AAS extends well beyond the boundaries of  aquatic agricultural systems. Developing the RinD approach, AAS aims at influencing the way in  which agricultural research is conducted in the CGIAR more generally. At the same time,  conventional research continues to be conducted under AAS, mostly supported by bilateral funding.  At the time of the evaluation, the program had approximately 100 Full Time Equivalent (FTE) staff  members. From its inception in July 2011 until the end of 2013, total expenditure by the programme  was approximately US$ 37.5 million, and the 2014 budget was estimated to be US$ 31 million.  Approximately half of the funds were supplied through bilateral projects, and 95 percent were  allocated through WorldFish.  Purpose, Scope and Objectives of the Evaluation  The primary purpose of this evaluation of the AAS CRP was to provide essential evaluative  information to program management, funders and partners that can inform decision‐making on  issues such as modification, extension and expansion, and program structure. The primary audience  of the evaluation was the program and its core partners, its governing bodies, the CGIAR and the  Fund Council. The evaluation was also intended to be of interest to the broader community involved  vi cgiar.iea.org Evaluation of CGIAR Research Program on Aquatic Agricultural Systems   in research on aquatic agriculture systems.  Given the long‐term nature of agricultural research, the nature of this specific program, and the fact  that AAS was operational for less than four years at the time of the evaluation, this evaluation was  principally formative. As such the focus was on the design, implementation and evolution of the  program since inception; the relevance and quality its research, the plausibility of the impact  pathways for achieving their respective IDO; and the progress in relation to gender, partnerships and  capacity building. The summative element to the evaluation assessed research that was done in the  run up to AAS (the so‐called “legacy” research).  The evaluation addressed two sets of evaluation questions. The first was a set of generic evaluation  questions that refer to the standard criteria applied across the CRP evaluations: relevance, quality of  science, likely effectiveness, expected impact, gender, capacity development and partnerships, and  program governance and management. The second set of questions referred specifically to the AAS  RinD approach, including its uniqueness, its implementation and its potential as a model for CGIAR  research.   Approach and Methodology   Taking the program’s focus on action research into account, the evaluation team developed a  methodology that can be characterized as “case‐based, multi‐level and mixed methods”.  Case  studies formed an essential building block of the evaluation. Two types of cases were conducted:  "roll‐out" cases and "bilateral project" cases. These case studies were conducted in four countries:  Bangladesh (Southern Polder Zone (Khulna) Hub), Cambodia (Tonle Sap Hub), Zambia (Barotse Hub)  and the Solomon Islands (Malaita Hub and Western Hub). Methods used for the case studies  addressed the nested structure of the program and included an intensive review of documents,  interviews with staff and stakeholders at national level and hub level, and community visits involving  focus group discussions, participatory methods and field observations. The information from the  case studies was combined with data collected through:  (cid:120) desk review of key program documents;  (cid:120) reviews of previous evaluations/assessments that were relevant;  (cid:120) interviews of AAS managers, staff involved with the program, external partners, and  professional peers (including interviews held for the case studies, 173 persons were  interviewed, not including the focus groups);  (cid:120) electronic survey of AAS staff and partners (91 responses);  (cid:120) review and assessment of 83 research outputs published between 2009 and 2014; and a  (cid:120) a bibliometric analysis of AAS publications from the same period.  Main Findings, Suggestions and Recommendations  As further detailed below, the picture that emerged from the evaluation was mixed. The evaluation  team found that in the 3.5 years since its initiation AAS can point to a number of important  vii cgiar.iea.org