Effective Teaching  Framework:  2015‐16 ETF 2015‐16    DRA Report No. 16.10  Effective Teaching Framework (ETF):   Final Report 2015‐16    Abstract  The Effective Teaching Framework (ETF) initiative was designed toprovide a common language and lens for  understanding the skills, strategies, and resources needed for teachers and school leaders to create an  optimal learning environment for all students.  ETF training consisted of six full days of training for  principals, assistant principals (APs), and selected Central Services staff, as well as an abridged version (24  hours) for Instructional Resource Teachers (IRTs).  Beginning and mentor teachers also received some  training.  Training was provided to all cohorts as planned.  Generally, the training sessions were well‐ attended and highly‐rated by the participants; in 2015‐16, 92.7% agreed it helped them become more  effective in their roles.  The trainings were supplemented by an ETF website that provided a wide range of  online resources.  However, the website was underutilized, with only 26.3% of teachers indicating that they  used the website to improve their teaching.  In most cases, implementation of ETF was limited to individuals  applying their learning to classroom observations and teacher evaluations.  Based on focus group interviews  with APs, barriers to school‐wide ETF efforts included:  a) confusion about expectations for orchestrating an  ETF “rollout” at their schools, b) lack of communication and follow‐up from Central Services staff, c)  leadership changes, d) lack of communal training and planning time among the schools’ administrative  teams, and e) lack of grassroots support for the initiative at the school level.  While training quality was high,  building stronger buy‐in before implementation, communicating clearer expectations, and implementing  structures to support long‐lasting roll‐outs at the school level are recommended.       TABLE   OF   CONTENTS Summary  3  Background  7  Methods  8  Implementation – Training Efforts  9  Implementation – School Level  14  Discussion/ Recommendations  20  Appendices  24    Authors  Andrew Jackl, Nancy Baenen, Roger Regan   Data, Research, and Accountability Department  Wake County Public School System  Raleigh, North Carolina    January 2017  |  DRA Report No. 16.10  2 ETF 2015‐16    DRA Report No. 16.10  Summary  What is ETF?    Wake County Public School System (WCPSS) developed, piloted, and delivered the Effective Teaching  Framework (ETF) as a professional learning initiative over several years.  ETF was designed to support  the work of teachers by defining and providing models of the research‐based skills and strategies  considered foundational to effective teaching.  Topics included essential beliefs, establishing a “growth  mindset,” motivation (e.g., relationships, expectations, classroom climate), curriculum planning,  instructional strategies, and cultural proficiency.  A map of these pedagogical domains is included in  Appendix A.  Participants were introduced to ETF through six initial days of training, and received several  books and other written materials related to the sessions, with special emphasis given to The Skillful  Teacher (Saphier, Haley‐Speca, & Gower, 2008) and Mindset: The New Psychology of Success (Dweck,  2006).  To bolster ongoing learning at the school level beyond the initial training the district also  developed the ETF website, which provided numerous resources for teachers related to the training and  the state teacher evaluation standards.  Resources on the site were indexed to reflect the content of  ETF, as well as the state teacher evaluation instrument otherwise known as the North Carolina Educator  Evaluation System (NCEES).  Expenditures for ETF in 2014‐15 were about $687,000, with expenditures in  2015‐16 of $619,588; most of this cost each year was for development of a district ETF website and  licensing for the Edivate© website.  ETF also took a great deal of time for the district staff who served as  trainers, as well as the trainees who attended.      What were the goals of ETF?    The Effective Teaching Framework (ETF) was designed to provide a common language and lens for  understanding the skills, strategies, and resources needed for teachers and school leaders to create an  optimal learning environment for all students.  The Pathway of Change for ETF, revised in 2015‐16, is  provided in Figure 1.  It illustrates intent for administrators to be trained, and then to apply the skills  learned in observing and goal‐setting with individual teachers, as well as to plan and implement school‐ wide training as appropriate.  In turn, this was expected to impact teaching practices and student  learning.  The website resources were intended to support administrators and teachers in this effort.  A  more detailed logic model describing specific outcomes and measures over several school years can be  found in Appendix B.  For multiple reasons, the model and timeframes for accomplishment of these  goals evolved significantly over time.  Implementation data suggested that assessment of stated short  and long‐term outcomes would not be appropriate in 2015‐16 as planned.  Accomplishment of ETF’s  long‐term goals may still be achieved through the district’s current reshaping of its professional  development infrastructure to better align with WCPSS’ Vision 2020 Strategic Plan.          Data, Research, and Accountability                                                         3 ETF 2015‐16    DRA Report No. 16.10  Figure 1  Pathway of Change      Effort: Effective Teaching Framework (ETF)                                          Definition from Program Staff:  The Effective Teaching Framework is designed to provide a common language  and lens for understanding the skills, strategies, and resources needed for teachers and school leaders to  create an optimal learning environment for all students.    s   Train school and  n   Administrators apply  s   Teachers’  s   Increased student  e central  o learning in  e instruction and  e learning outcomes,  gi administrators in  ti professional  m effectiveness  m but not possible to  e a o o t high quality in‐ t learning  c ratings improve on  c separate the  a n t t r person sessions  e opportunities,  u NCEES and EVAAS  u influence of ETF due  t S m observations, and  O low areas  O to concurrent   Train teachers  e evaluations  m  m  initiatives and  online and  pl r   r interventions  through  m  School  e e T T administrators  I administrators  ‐ ‐   t g identify issues for  r n  Develop website  o o school‐wide focus  h L with extensive  S and utilize  resources for  appropriate  teachers and  resources and  other staff  training     Teachers apply  learning to  classroom  instruction      To What Extent was ETF Implemented as Planned?    Outcomes of the training were monitored through surveys and personal feedback, but measurement of  implementation after the training in schools was more difficult to secure.  Nevertheless, after collecting  data from multiple sources, it was determined that:     The ETF training sessions were delivered to targeted staff as planned.  In 2015‐16, new  principals, assistant principals (APs), and selected Central Services staff received 48 hours of  training.  Elementary and middle school Instructional Resource Teachers (IRTs) received an  abridged version of the training totaling 24 hours of professional development.  Other  miscellaneous staff, such as new teachers, mentor teachers, Academically Gifted (AG) teachers,  etc., received training in key elements of ETF at their regularly scheduled meetings.    Data, Research, and Accountability                                                         4 ETF 2015‐16    DRA Report No. 16.10   Attendance rates were exceptionally high (nearly 100%) for school‐based administrators, but  less so for the Instructional Resource Teachers (IRTs) and Central Services staff, especially as the  training progressed throughout the academic year.  Program staff reported that the lower  attendance rate for IRTs was attributed to the fact that many of them worked in year‐round  schools and were "tracked out" on some of the training days, as well as a perceived lack of  accountability to leadership if they declined to attend.     Overall, satisfaction with the training was high, with 92.7% of the participants agreeing that the  ETF training would help them become more effective in their roles.  However, Chi‐Square  analyses showed that satisfaction with the 2015‐16 training was significantly lower than 2014‐ 15; for example, in 2015‐16 only 88.4% of the participants rated the training as either  "excellent" or "good," versus 98.1% in 2014‐15.  The most likely explanations for this variance  were that:  a) different classifications of staff members were being trained (mostly APs in 2014‐ 15 versus mostly IRTs in 2015‐16), b) the IRTs received a condensed version of the training, and  c) much of the 2015‐16 training relied on videotapes of the training from the previous year, as  opposed to being almost entirely face‐to‐face, and the shift in delivery format was not popular  with all participants.       Data from various sources indicate that the APs found the training valuable when observing  teachers, providing feedback, and directing them to additional resources.  Yet, in many cases  there was persistent confusion about how to implement a school‐wide "rollout" of the ETF  initiative.  Survey data revealed that approximately two‐thirds (70.8%) of WCPSS teachers were  familiar with ETF; conversely, approximately one‐third were not.     The ETF website was intended to be a key resource for implementation, yet it remained  underutilized.  Only 37.3% of WCPSS teachers agreed that they had visited the website to gather  information, and only 26.3% agreed that they used these online resources to improve their  teaching.     A sample of School Improvement Plans (SIPs) were reviewed to see if ETF had been incorporated  into goals, key processes, action steps, or planned staff development activities.  Approximately  one‐half of the plans contained terminology commonly associated with ETF (e.g., "growth  mindset" or "cultural proficiency").  However, ETF is broad enough to cover virtually all best  teaching practices supported by research, so it is difficult to identify language that is uniquely  germane to ETF.    Results:  Short and Long‐Term Outcomes    Due to the significant changes to the program and the district’s recent retooling of their professional  development infrastructure, evaluation of short and long‐term outcomes stated in Figure 1 was not  Data, Research, and Accountability                                                         5 ETF 2015‐16    DRA Report No. 16.10  feasible.  Any improvements (or lack thereof) on any of those metrics to date, even if they were  measurable, could not be fairly attributed to ETF due to these midstream changes in the program.    Conclusions/Recommendations     The ETF training was, overall, well‐received and well‐attended.  However, issues with implementation  prevented ETF from becoming the far‐reaching, over‐arching, and heavily‐used framework for  instruction that was envisioned at its conception.  Thus, as reflective practitioners, we should consider  what can be learned from the ETF initiative that could help direct future professional learning efforts to  drive district improvement.  A more detailed discussion of DRA's recommendations can be found at the  end of this report, but can be summarized as follows:     Make staff expectations clear and transparent from the onset.  Many school‐based  administrators were unsure about how to implement a “rollout” at their schools and what  successful implementation was supposed to look like.  Several administrators reported that they  had delayed developing a school‐based implementation plan because they were waiting for  clarification from Central Services.     Provide a step‐by‐step roadmap for implementation.  The trainings and online resources  associated with ETF were formidable in size and scale, and many administrators found them  overwhelming.  Providing guidance through more manageable "action steps" increases the  likelihood of sustainable change, albeit at a slower, more incremental pace.       Encourage staff buy‐in.  Many APs claimed they didn’t have enough time to develop an ETF  rollout for their school, which means, by extension, they believed other work should be given  higher priority.  Some APs complained that district priorities seemed to evolve from one year to  the next, leading some to express skepticism about the lifespan of the ETF initiative.  In short,  the level of grassroots support required for sustainable change was lacking, and the district may  wish to brainstorm ways to help overcome this obstacle.       Modify the Professional Learning Model.  When staff are trained in annual cohorts by position  (first principals, then APs, then IRTs, etc.) the content of the learning evolves by the time it  reaches the classroom teachers, and time constraints and scheduling made planning together as  an administrative team difficult.  Furthermore, a number of APs reported principal turnover at  their schools, and that having new leadership contributed to a lack of continuity when it came to  moving forward with ETF.  An easy solution to this problem is not immediately apparent, but  different rollout models are worth consideration, especially since WCPSS is moving forward with  other large‐scale training efforts in 2016‐17.       Provide adequate support and follow‐up.  One of the most recurrent themes to emerge from  the focus group interviews was that the APs complained about a lack of follow‐through after the  training sessions were completed.  In short, the APs said that they attended the six days of  Data, Research, and Accountability                                                         6 ETF 2015‐16    DRA Report No. 16.10  training, but then heard little else about ETF from Central Services until the schools’  administrative teams were allocated time to plan together during a summer work session in  2015.  The breakdown in communication increased with the Central Services' personnel changes  that occurred during the implementation phase of the initiative.       Intentionally build implementation science standards into all phases of large‐scale initiatives,  including the initial program planning, implementation, and evaluation stages.  When large,  complex initiatives like ETF are “rolled out” without a solid implementation and evaluation plan  in place, it is much more difficult to determine what is working and what is not.  The district has  expertise in implementation and research designs that can yield timely feedback during the  early stages of implementation, as well as more definitive effectiveness determinations once  implementation is complete.  Effective communication and collaboration between WCPSS  departments, Central Services, and schools will strengthen future professional development  initiatives such that the intended impacts are eventually realized.    Background    What was the research underlying ETF strategies?    ETF was “evidence‐based” in terms of the content of the training and the method of delivery.  The  content of the ETF training was largely based on research about effective instructional strategies, with  extensive source material referenced in the key texts utilized (Saphier, Haley‐Speca, & Gower, 2008;  Lindsey, Robins, & Terrel, 2009; Dean, Hubbell, Pitler, & Stone, 2012; Dweck, 2006). ETF delivery  methods were also supported by brain research on adult learning, which indicates that effective  professional learning experiences builds on prior knowledge, shows respect for the learners, avoids  cognitive overload (by providing short blocks of new information followed by active engagement by  participants), and allows opportunities for practice and collaboration with others (Terpstra, 2012).     WCPSS also considered The Standards for Professional Learning (Learningforward, 2016), which are  supported by research.  These standards point to seven areas as critical for effective professional  learning that increases educator effectiveness and improvements for students:     1. Learning communities committed to continuous improvement, collective responsibility, and goal  alignment;  2. Resources which support the participants and which are prioritized, monitored, and  coordinated;  3. Learning designs that integrate theories, research, and models of human learning;  4. Data of various types to plan, assess, and evaluate professional learning;  5. Leadership which is skilled in developing capacity, as well as advocating and creating support  systems for learning;  6. Outcomes which are aligned with educator performance and curriculum standards; and  7. Implementation which reflects Implementation Science research and provides sustained  support.   Data, Research, and Accountability                                                         7 ETF 2015‐16    DRA Report No. 16.10  The implementation model for ETF reflected the first three standards from the Standards for  Professional Learning more fully than the others.  Standard 4 was partially addressed, with impact on  teacher evaluation ratings and student outcomes impossible to assess due to the rollout design.  This in  line with the findings of Guskey (2003), who reports that much of the research on effective training  focuses primarily on the delivery of the training and not its impact on teachers’ practices and student  learning.    For more detail, see Appendix C and sections of the full report which follow.       Methods    This study of ETF provides findings that are descriptive in nature for implementation trends to date (see  Table 1).  A stronger research design with a comparison group was not feasible because ETF was rolled  out to all WCPSS schools simultaneously.  All members of a position classification group participated in  the training at the same time (i.e., principals first, then assistant principals and central administrators,  then Instructional Resource Teachers).  Key questions addressed by the study were whether the  centralized training was implemented as planned, and the extent to which the training was in turn  applied at the school level.      Table 1  Study Design and Supported Conclusions    Research Design  Conclusions that Can be Drawn      Experimental  We can conclude that the program or policy caused changes in  outcomes because the research design used random assignment.     Quasi‐Experimental     We can reasonably conclude that the program or policy caused  changes in outcomes because an appropriate comparison strategy  was used.   Descriptive   These designs provide outcome data for the program or policy, but       Quantitative            differences cannot be attributed directly to it due to lack of a       Qualitative     comparative control group.    Sources: List, Sadoff, & Wagner (2011) and What Works Clearinghouse (2014).    A variety of quantitative and qualitative data sources were collected for this evaluation, including  registration and attendance rosters for the centralized training sessions, surveys regarding the quality of  the training, interviews and focus groups with training participants, and internet resource usage data.   More detailed information regarding the study methodology can be found in Appendix D.      This document serves as the final report on the ETF initiative, covering implementation up to and  including the 2015‐16 school year (Figure 2).   Changes for 2016‐17 included not renewing the Edivate©  contract, moving some of the website content into Canvas, and moving other key content into the new  Teaching and Learning professional development infrastructure rather than offering ETF as a separate  training.  As such, ETF is not continuing in its original form in 2016‐17.      Data, Research, and Accountability                                                         8 ETF 2015‐16    DRA Report No. 16.10  Figure 2  Reporting Timeline for ETF  Final Report on  Interim  Status Report on  2015‐16 for staff  Document on  2014‐15 for staff and district  2014‐15 for staff leadership       Implementation – Training Efforts    Were the intended target groups trained?    Prior to 2015‐16, central and school administrators provided ETF professional  learning sessions for principals, assistant principals, and selected Central Services  staff.  In 2015‐16, a contractor facilitated 48 hours of training for new principals,  assistant principals, and additional central staff in three separate cohorts.  Two  additional cohorts of elementary and middle school Instructional Resource  Teachers (IRTs) received an abridged version of ETF, consisting of eight three‐ hour sessions (24 hours).  The 2015‐16 training sessions utilized videos from  training in 2014‐15 as well as “live” presentation of material and discussion.  The  attendance rate for new principals and assistant principals was close to 100%,  but the attendance rates for the other cohorts declined as training progressed.   Finally, central staff provided training to beginning teachers, teachers for  Academically Gifted students, mentor teachers, and schools (upon request).     Given the high number of teachers in WCPSS (over 10,000), it was not considered feasible to provide  this extensive six‐day training in‐person directly to all teachers.  Leadership staff decided instead to  focus on those who supported teachers.  The expectation was that school leadership staff would share  the information most needed by their staff as a whole in group meetings, that the learning would be  applied to teacher observations and evaluations, and that individual teacher feedback would  incorporate key concepts from the training.  Based on data from staff focus groups, the expectation for  sharing key concepts related to school needs was not understood as fully as the expectation to apply the  learning in observations and evaluations.    Virtually all school‐based administrators, and many Central Services administrators, were trained in ETF  during 2013‐14 and 2014‐15.  In 2015‐16, a contractor provided training for Instructional Resource  Teachers (IRTs), selected Central Services staff, and new school‐based administrators in five separate  cohorts.  Sessions utilized videos from 2014‐15 sessions and “live” presentation of material and  discussion. The Central Services staff and new school‐based administrators received six full days of  Data, Research, and Accountability                                                         9 ETF 2015‐16    DRA Report No. 16.10  training (48 hours), while the IRTs received an abridged version of the training that had been condensed  to 24 total hours.  Attendance was highest for new principals and assistant principals, and lower for IRTs  and Central Services staff (see Table 2).  Program staff suggested that the attendance was lower for the  IRTs than other groups because many of them worked at year‐round schools that might have been  “tracked out” during the training days, and that there seemed to be a lack of accountability to  leadership if they did not attend.      On a smaller scale, staff from Academic Programming and Support provided beginning teachers, mentor  teachers, and Academically Intellectually Gifted (AIG) teachers with exposure to the most important  elements of the ETF trainings as time permitted at their regularly scheduled meetings.  They also  provided training on use of the ETF website and to schools upon request.    Table 2  2015‐16 ETF Attendance Summary by Cohort    Hours of  Cohort Group n Trends/Comments from Program Staff Training New Principals and  1 49 48 Attendance was high ‐ Close to 100%. Assistant Principals 2 ‐ 3 Central Services Staff 109 48 Attendance dropped as training progressed. Attendance fluctuated.  IRTs at year‐round schools were  4 Elementary School IRTs 117 24 sometimes "tracked out." Attendance was consistent.  Many IRTs were part‐time  5 Middle School IRTs 35 24 administrators and preferred to attend the training  sessions with Cohort 1. Total 310     Costs    Expenditures for ETF in 2014‐15 were about $608,875, with expenditures in 2015‐16 of $556,087.  As  shown in Table 3, most of this cost each year was for development of a district ETF website and licensing  for the Edivate© website.  Edivate© (formerly known as PD 360©) describes itself as an on‐demand  professional learning resource that creates a highly personalized learning experience for educators who  want to improve their practice.  The ETF website continues to house videotapes of each training session  for use by school staff, as well as other district resources and Edivate© videos as of December 2016.   WCPSS funds were not allocated to continue Edivate© in 2016‐17.      ETF was delivered in multiple‐day face‐to‐face sessions for most cohorts.  In 2013‐14, ETF training  cohorts included primarily principals; in 2014‐15, ETF involved mostly assistant principals and selected  central administrators; in 2015‐16, those trained included new principals, assistant principals,  Instructional Resource Teachers, and others (e.g., beginning teachers) in modified formats.  Data, Research, and Accountability                                                         10