E P : An External Review DUCATION LANNER.CA Prepared by Al Atkinson EDUCATIONPLANNER.CA: An External Review © Copyright 2009 by the British Columbia Council on Admissions and Transfer. BCCAT is the official mark of the BC Council on Admissions and Transfer, as published by the Registrar of Trade-marks of the Canadian Intellectual Property Office. This Report is also available in Adobe Acrobat Portable Document Format (pdf), from BCCAT Online, the Internet service of the BC Council on Admissions and Transfer: www.bccat.ca. Photocopying and further distribution of this document is permitted. Please credit source. Prepared by: Al Atkinson 709 – 555 Seymour Street Vancouver BC Canada V6B 3H6 bccat.ca | [email protected] t 604 412 7700 | f 604 683 0576 TABLE OF CONTENTS        Executive Summary ……………………………………………………………………………………………. 5    I  Introduction………………………………………………………………………………………………. 13      II  Governance and Project Management……………...……………………………………... 15      III  Effectiveness (Usefulness and Navigability)………………………………………………. 19    IV  Marketing…………………………………………………………………………………………………. 31    V  Site Security………………………………………………………………………………………………. 34    VI  Sustainability………………………………………………………………………………………....... 36    VII  Summary Comments…………………………………………………………………................. 40    VIII  Summary of Recommendations………………………………………………………………… 41    Appendices……………………………………………………………………………………………………….. 45      Appendix 1:  Advisory Committee Survey ……………………………………………. 45    Appendix 2:  Education Planner Institutional Contacts Workshop ……….. 51    Appendix 3:  User Group Survey ………………………………………………………….. 57  A. User Group Survey ‐ Complete Survey Responses ………………………  57  B. User Group Survey  ‐ Partial Survey Responses …………………………… 66    Appendix 4:  Professional Groups Survey …………………………………………….. 73  A. Professional Groups Survey ‐ Complete Survey Responses …………. 73  B. Professional Groups Survey ‐ Partial Survey Responses ………………. 83      Appendix 5:  Education Planner Institutional Contacts Survey ……………… 91    Appendix 6:  Focus Group Template …………………………………………………….. 97    Appendix 7:  Web Traffic Summary ……………………………………………………… 99  3 | Page 4 | Page EXECUTIVE SUMMARY    I  BACKGROUND    The  Education  Planner  website  provides  a  searchable  database  of  approximately  1,700  undergraduate post‐secondary programs in B.C.  It is intended as a “one‐start entry point” for  students  looking  for  post‐secondary  options.    The  site  also  provides  information  for  professionals who work with students.  The site is maintained and updated on a regular basis by  the BC Council on Admissions and Transfer (BCCAT).  Funding is provided by the Ministry of  Advanced Education and Labour Market Development.    In 2007 the Admissions Committee of BCCAT recommended that an independent review of  Education Planner should be undertaken to determine its overall effectiveness, and to serve as  an accountability mechanism to government.    In May of 2008, Mr. Al Atkinson was retained to conduct the review.    It was determined that the scope of the review would include:    • Governance and Project Management  • Effectiveness (Usefulness and Navigability)  • Marketing  • Site Security  • Sustainability    II  GOVERNANCE AND PROJECT MANAGEMENT    The Education Planner site is governed through advice provided by an Advisory Committee  composed  of  stakeholders  representing  government,  the  K‐12  system,  the  post‐secondary  system, parents, contractors, and key BCCAT staff members.      Management of the site is provided by a Project Team made up of key BCCAT staff and the  principles of the companies contracted by BCCAT to provide the content and the technological  architecture and support (Pardy and Associates; Bayleaf Software Inc.).    An annual work plan is prepared by the Project Team based on the advice of the Advisory  Committee, and any input received from the Education Planner Institutional Contacts (the  group of contacts at each institution with whom BCCAT works to update content).    A survey of the Advisory Committee was conducted to determine the effectiveness of the  governance/management model.  One hundred percent of the respondents either strongly  agreed or agreed that all major stakeholders are represented on the Committee, their advice is  incorporated into the annual work plan, the Project Team is committed to continuous quality  5 | Page improvement, the working relationship with the Project Team is effective, and the annual work  plan is effectively implemented and monitored.    An initial meeting of the Education Planner Institutional Contacts (EPIC) with the Project Team  was held in May, 2008.  Based on the success of this first meeting, it has been proposed that  regular meetings with this group become an integral part of the project management model.    Overall,  the  model  adopted  for  the  governance  and  project  management  of  Education  Planner is very effective.  The proposed inclusion of regular meetings with the institutional  contacts will make it even more so.    III  EFFECTIVENESS (USEFULNESS AND NAVIGABILITY)    The core of the review centred on the overall effectiveness of Education Planner, in terms of its  usefulness (actual and perceived), and its navigability.  Information for this part of the review  was obtained through a web‐based users’ survey, a survey of professionals deemed most likely  to  use  the  resource  with  their  students,  surveys  of  the  Advisory  Committee  and  the  Educational Planner Institutional Contacts, and a Focus Group of secondary school students.      The user group survey and the survey for professional groups were based on the components  of Education Planner identified in the site map.  Respondents  in both groups were asked to  indicate their familiarity with each of the components, as well as the actual and perceived  usefulness  of  the  components  for  various  audiences  (secondary  school  students,  post‐ secondary  students,  adults  entering  or  returning  to  post‐secondary  education,  parents,  secondary school counselors and advisors, and post‐secondary counselors and advisors).    User’s Survey    • When asked to indicate the usefulness of each of the components of Education  Planner,  the  range  of  responses  was  very  high;  between  85%  and  96%  of  respondents either agreed or strongly agreed.  • Program Search, Institutional Information, Career Developer, Money Matters,  Focus Now, and For Educators were identified as the most useful (all 90% or  above) components.  • In terms of the perceived usefulness for various audiences, the range of those  indicating agreement or strong agreement was between 74% (counselors and  advisors in post‐secondary institutions) and 89% (secondary school students).  • When asked about their familiarity with each of the components, the range of  responses was between 32% and 69% (85% of the users who responded to the  survey identified themselves as new users).  6 | Page Professional Groups Survey    • When asked about the usefulness of each of the components of Education  Planner  between  75%  and  96%  of  the  respondents  indicated  that  the  components were either somewhat or very useful.  • Program Search, Who Offers What, For Educators, and Money Matters were  identified as the most useful (90% or above).  • In  terms  of  perceived  usefulness  for  various  audiences,  the  range  of  those  indicating agreement or strong agreement was between 81% (post‐secondary  students) and 91% (secondary school counselors).  • The most used component was Program Search (91% use this component either  often or occasionally in their work with students and prospective students).  • A significant number of respondents indicated that they were not aware of many  of the components (21% to 62% range).    Advisory Committee Survey    • When asked about the perceived usefulness of Education Planner for various  audiences, the range of those indicating agreement or strong agreement was  between  83%  (post‐secondary  students,  post‐secondary  counselors  and  advisors,  parents,  and  adults  contemplating  entering  or  returning  to  post‐ secondary  education)  and  100%  (secondary  school  students  and  secondary  school counselors and teachers).    Education Planner Institutional Contacts Survey    • When asked about the perceived usefulness of Education Planner for various  audiences, the range of those indicating agreement or strong agreement was  between 57% (post‐secondary counselors and advisors) and 80% (secondary  school students).    Focus Group of Secondary School Students    • The components of Education Planner most often used were Program Search,  Institutional Information, Who Offers What, and Money Matters.    • All students that participated in the Focus Group found the site to be extremely  useful.  • All students in the focus group agreed that information about programs funded  by the Industry Training Authority would be a great enhancement.  7 | Page Navigability    The surveys for users and professional groups contained a section on navigability; the students  who participated in the focus group were also asked to comment on this element.  Generally,  the site is perceived to be both user‐friendly and easy to navigate.  Some useful comments for  improving navigability were received through the surveys and through the focus group.      Key Observations    • Users and professionals indicate that the site is very useful, and they perceive the  site to be useful for the identified target audiences.  • A significant number of users were not familiar with many of the components of  Education Planner.  • The site is generally perceived to be “less useful” for post‐secondary students and  post‐secondary counselors and advisors; the perceptions of the post‐secondary  contacts were rated significantly lower than those of the other groups surveyed.  • Many respondents from the “professionals” group were not aware of many of  the components of Education Planner.  • Overall, the site is perceived as user‐friendly and easy to navigate, but some  minor enhancements could improve its navigability.    Recommendations    • A follow‐up study should be conducted to determine why so many users are not  familiar with nor have used many of the components of Education Planner, to  determine why many of the professionals who use Education Planner are not  aware of nor use many of the components, and to determine whether the site is  as useful for post‐secondary students and those working with post‐secondary  students as is presumed.    • In order to enhance navigability, the site map could be modified to make it more  descriptive of the various components.    IV  MARKETING    A variety of marketing strategies have been developed and implemented since BCCAT launched  Education Planner:  the inclusion of Education Planner within the Planning 10 component of  the  B.C.  secondary  school  curriculum;  marketing  directly  to  potential  users  through  an  advertising campaign with Skytrain and the BC public bus system; establishing links with other  websites;  and  introducing  the  resource  to  professional  groups  and  organizations,  either  through direct contact or through workshops.    8 | Page The survey results from the user group and the professional groups indicate a direct correlation  to the strategies employed above, an indication of their effectiveness.    • 60% of users had learned of Education Planner from a Planning 10 teacher or  from a secondary school counselor, 9% through direct advertising,  9% from  other sources (friend, colleague, presentation or workshop, post‐secondary  counselor or advisor), and the remainder from related on‐line activities (e.g.  browsing, searches, links).  • 58%  of  the  professionals  who  use  Education  Planner  had  learned  of  the  resource through their professional organization or from a colleague, 23% as a  result of attending a presentation or workshop, 13% through an advertisement,  and 13% through related on‐line activities.    Key Observations    • The marketing strategies employed to date have been very effective.  • The  target markets  identified  by  the  Project Team  as  “challenges”  (parents,  adults contemplating entering or returning to post‐secondary education, and the  post secondary sector) remain so; few in these categories responded  to the  surveys.  • The assumption that Education Planner is as useful a tool for post‐secondary  students and post‐secondary counselors and advisors may not be accurate.    Recommendations    • The  marketing  strategies  employed  to  date  should  be  continued,  with  an  emphasis on fostering and maintaining relationships with the professional groups  and organizations working with students and prospective students.  • Other groups of professionals who may be working with adults preparing for or  contemplating  entering  the  post‐secondary  system  should  be  included  in  outreach  activities:  e.g.,  Continuing  Education  professionals  in  the  school  districts, Adult Basic Education instructors in the colleges and the school districts,  professionals working in Community Centres and Libraries.  • A follow‐up study should be conducted to determine the actual usefulness of  Education Planner for post‐secondary students and post‐secondary counselors  and advisors.  • Many school districts publish a “School Bulletin” for students and parents.  This  may be a useful tool for increasing awareness of Education Planner for parents.  9 | Page V  SITE SECURITY    A security assessment for the Education Planner website was conducted with the assistance of  Mr. Piotr Kisiel, the Director of Educational and Information Technology from Douglas College.   His overall assessment of the site indicates that:    “The security provisions for the Education Planner website, designed, maintained and  operated  by  Bayleaf  Software  Inc.,  adhere  to  the  best  practices  and  standards  commonly accepted for installations of this nature.  The technological infrastructure  and operational framework of the website have been architected with thoughtful  consideration given to achieving high availability and excellent protection of data for  the benefit of users.”    VI  SUSTAINABILITY    Early on in the review, sustainability was identified by the Project Team as one of the major  challenges for Education Planner.    As the review progressed, five major factors emerged as relevant for this part of the review:   risk management, technological efficiency, content management, scalability, and planned  enhancements.    Risk Management    Responsibility  for  content  management  and  technological  infrastructure  and  support  are  contracted to two private firms.  In the case of an emergency, there is no risk management  strategy in place should either of the contractors be unavailable.  At the time of this review, the  project team had identified this as a high priority, and a strategy is under development.    Technological Efficiency    Many technological efficiencies (e.g. customized report capabilities, electronic verification of  institutional reports, electronic tools to assist with research and editing) have been built into  Education Planner that have alleviated what was once an even more labour‐intensive, manual  process.    Content Management    The current content management process remains very labour intensive, heavily reliant on two  people who are in constant contact with the post‐secondary institutions to develop, update,  and verify content.  Options are being pursued to develop some online content management  protocols.  10 | Pa ge