How the New York State Testing Program Aligns to the Common Core State Standards in Mathematics July 2011 Mission Statement About the College Board The College Board is a mission‐driven not‐for‐profit organization that connects students to  college success and opportunity. Founded in 1900, the College Board was created to expand  access to higher education. Today, the membership association is made up of more than 5,900  of the world’s leading educational institutions and is dedicated to promoting excellence and  equity in education. Each year, the College Board helps more than seven million students  prepare for a successful transition to college through programs and services in college readiness  and  college  success  —  including  the  SAT®  and  the  Advanced  Placement  Program®.  The  organization also serves the education community through research and advocacy on behalf of  students, educators and schools.  For further information, visit www.collegeboard.com. Contents Executive Summary 2 Alignment Methodology 3 Overall Findings and Recommendations 4 Limitations of this Study 5 Mathematics: Grade 5 Analysis 6 Mathematics: Grade 8 Analysis 10 Mathematics: Integrated Algebra Analysis 14 Appendixes 19 Appendix A: New York State Grade 5 Side-by-Side Alignment Table Appendix B: New York State Grade 8 Side-by-Side Alignment Table Appendix C: New York State Integrated Algebra Side-by-Side Alignment Table Appendix D: New York State Integrated Algebra Side-by-Side Alignment Table– Common Core Algebra I Pathway Analysis of the Alignment between the New York State Testing Program and the Common Core State Standards for Mathematics July 2011 Executive Summary The Common Core State Standards (CCSS) articulate the knowledge and skills students need to be ready  to succeed in college and careers.  The College Board conducted an alignment study to determine the  relationship between the New York State Testing Program and the Common Core State Standards for  Mathematics.  This study examines the current assessments for grade 5, grade 8, and the Regents  Integrated Algebra assessment and identifies items that are aligned to the CCSS as well as key gaps that  should be addressed to produce a closer alignment.  Following the request of the New York State  Education Department (NYSED), this study focuses greater attention on gaps as opposed to coverage  between the CCSS and the New York State Testing Program in order to help guide New York towards  developing greater alignment between the CCSS and the assessments.     This alignment study addresses the following questions:  1. To what degree do the New York test items align with the content and skills outlined in the  Common Core State Standards?  2. What are the major content and skills areas within the Common Core State Standards that are  currently not being measured by the New York test specifications and items?  3. What enhancements, revisions, and improvements can be made to the New York assessments  to align more closely to the Common Core State Standards, considering the existing design  parameters of the New York tests?  Preceded by an overall analysis that cuts across the grades, the enclosed report provides the following  analyses for each assessment:  (cid:131) Overview of the Alignment Coverage: This section provides a general discussion of the degree of  alignment coverage that currently exists between the assessment and the CCSS.  (cid:131) Balance of Coverage: This section addresses the extent to which central concepts and skills  included in the standards framework are given relatively equal attention by the test items.   This  section also provides an examination where the alignment occurs in terms of both grade level  and content domain within the CCSS.  (cid:131) Suggestions for Strengthening the Alignment: This section offers recommendations for  strengthening the alignment in terms of content (increasing content coverage of the CCSS) and  test design (adjusting the test specifications or item types currently used).  2 The full side‐by‐side alignment tables are also enclosed as an appendix.  These side‐by‐side tables should  be reviewed in conjunction with the analyses included within this report.    Alignment Methodology   In order to determine the degree to which a sample of assessments from the New York State Testing  Program aligns to the Common Core State Standards, two test forms of the following assessments were  aligned to the Common Core State Standards for Mathematics (CCSS):  Mathematics Test for Grade 5  (January 2009 and April 2010), Mathematics Test for Grade 8 (January 2009 and April 2010), and  Regents High School Examination: Integrated Algebra (January 2011 and June 2011).   Given the structure and progression of the CCSS, the mathematics assessments were aligned across  multiple grade levels within the CCSS in order to determine the most appropriate matches.  The items  from the Mathematics Grade 5 assessment were aligned to the CCSS across grades 3‐8, the items from  the Mathematics Grade 8 assessment were aligned to the CCSS across grades 3‐high school, and the  items from the Regents Integrated Algebra were aligned to the CCSS across grades 3‐high school.  Since  the high school level CCSS are not organized by course, but rather by conceptual category, the high  school level alignment is based upon the CCSS conceptual categories.   The CCSS for Mathematical  Practice were not included in this study, but general considerations regarding the Practices are included  in the overall findings and recommendations on the following page of this report.  The alignment study is an item‐based alignment in which each item from each form was coded and  mapped to the appropriate CCSS. Each test item was analyzed, and specific skills intended to be  measured by the item were identified.  Consideration was given to all the possible approaches and  strategies a student might use in order to respond to the item.  In addition, the prerequisite skills (sub‐ skills) necessary to respond to the item correctly were also identified.   Aligners were not limited in the number of standards that could be mapped to an item.  For each item, if  the identified skills and sub‐skills had an appropriate equivalent in CCSS, a match between the item and  the standard was noted. However, a match between a test item and a CCSS should not suggest that all  skills identified in the standard are fully addressed by the item. The Mathematics CCSS generally include  broad standards that require (or imply) many sub‐skills in order to meet the standard.  Therefore, test  item generally can only partially address a Common Core State Standard.  Two College Board content specialists conducted the alignments for each assessment.  In all cases, one  specialist served as the primary aligner and the other specialist served as the reviewer to ensure the  accuracy of the alignment decisions.  The College Board content specialists have deep expertise in the  areas of content, curriculum, standards, test development and alignment, and they also supported the  development of the Common Core State Standards.    3 Overall Findings and Recommendations   Overall Coverage  Given the structure and progression of the CCSS, this analysis determined which items for each  assessment are currently aligned on grade level within the CCSS and which items are aligned to CCSS  content, but the alignments occurs in earlier or later grades within the standards.  It is recommended  that the NYSED closely review the enclosed summary findings and tables as well as the full side‐by‐side  alignment tables included in the appendix, as this information can identify items that might be better  suited for different grades within the New York State Testing Program.    Balance of coverage  This criterion measures the extent to which the central concepts and skills included in the CCSS  framework are given relatively equal attention by the test items. This analysis found coverage to be  uneven in this area.  There were multiple items in each test form that repeatedly measured the same  skill. Often in test design, different items do target the same skill, especially when that skill is deemed  important. However, the information obtained from these items is most useful when the difficulty level  varies across the items.  For the test forms analyzed in this study, the difficulty level remained relatively  the same for all test items.  Close consideration should be given to those items that measure the same  skills at the same difficulty level.  These items should be replaced with new items that measure a  broader scope of the CCSS.       Mathematical Practices  The CCSS for Mathematical Practice are of central importance in the standards frameworks, and the  design of existing math assessments include items and item‐types that specify a certain mathematical  approach, tool, or strategy to be used when responding to the item.  Overall, this does not correlate well  to the principles behind the CCSS for Mathematical Practice, since those standards encourage  performances and assessment tasks that require students to gain proficiency with multiple tools and  strategies and to make appropriate decisions about when and how to employ different tools and  strategies.  Although items were not mapped to the CCSS for Mathematical Practice in this study, it is  important to consider this issue when designing items and test specifications to align to the CCSS.  Testing Vocabulary   A considerable number of items in each exam were focused solely on testing vocabulary, in that  answering these items correctly would fully depend on knowing definitions of specific terms. Although  measuring this kind of knowledge can be part of the test specifications, the targeted skills are generally  of low cognitive demand and not highly important.   Considerations should be given to reduce the  prevalence of these types of items.  Constructed Response Items  Encouraging students to explain their mathematical thinking and to be able to construct viable  arguments is one of the most emphasized skills in the CCSS. This skill is most effectively measured using  constructed response (CR) items. More attention is recommended to classifying those skills that would  4 be better measured through a CR format as opposed to the prevailing multiple choice (MC) format. CR is  more suitable for items for which there are multiple ways to answer and solve problems, those that are  more theoretical in nature, or those that are relevant to proving a statement. In the items reviewed, it  was not possible to see any distinction in the classification of skills measured by these two item types;  items in one format could have also been given in the alternate format.   Cognitive Model  If assessments are to provide meaningful information on students’ knowledge and skills, it is important  that test developers have a cognitive model in place before writing the items.  Along with identifying the  content topics and skills that are considered important for students to master, a model is needed that  analyzes the potential ways students’ responses might be impacted by the way the item is designed, the  inferences that can be drawn from those responses, and how variations on the ways a question is posed  affect students’ thinking process is essential for ensuring test quality. From the review of the items and  specifications, it seems that more attention to defining and clarifying this cognitive model would be  beneficial.  Limitations of this Study  The College Board based this alignment solely on the CCSS and items found within full forms of the New  York assessments.  Due to confidentiality restrictions, the College Board was not able to access  additional guiding materials, such as CCSS content and assessment frameworks that are currently under  development by the Partnership for the Assessment of Readiness of College and Careers (PARCC) as well  as forthcoming RFPs issued by the NYSED.  For future studies, these additional resources can enable the  College Board to tailor the analyses and recommendations to more fully support the assessment  strategy of the NYSED.     5 Mathematics: Grade 5 Analysis  Overview of Coverage  (cid:131) The Grade 5 items align to the CCSS across grades 3 through 8, with the highest concentration of  aligned standards occurring on the 4th grade level (See Table 1).   Table 1: Number of CCSS, Grades 3‐8 Aligned to the New York Grade 5 Assessment  Number of Common Core State Standards Addressed    Grade 3  Grade 4  Grade 5  Grade 6  Grade 7  Grade 8  NY 2009 Form  8  16  11  7  1  2  NY 2010 Form  3  18  5  10  0  3  Total number CCSS  33  34  35  42  37  33    (cid:131) Concurrent with this is the fact that the greatest number of test items on each test also aligned  to 4th grade CCSS (See Table 2).    Table 2: Number of Grade 5 Test Items Aligned to the CCSS, Grades 3‐8    Grade 3  Grade 4  Grade 5  Grade 6  Grade 7  Grade 8  2009  10  27  12  9  1  2  2010  3  27  5  11  0  7    (cid:131) A significant number of test items also aligned with CCSS on higher grade levels, particularly in  2010.      Balance of Coverage   From a grade level perspective, there is very limited alignment between the Grade 5 assessment and the  Grade 5 CCSS in that very few test items aligned to the Grade 5 CCSS (see Table 3).     (cid:131) Operations and Algebraic Thinking: 8.5% of the Grade 5 CCSS are within this domain, but there  were no items on either assessment that aligned to these standards.  There were four CCSS at  the 3rd and 4th grade levels that aligned to items on the Grade 5 assessment.       6 (cid:131) Number and Operations‐ Fractions:  31.4% of the Grade 5 CCSS occur in this domain, but only  one question on the 2010 assessment aligned to standards in this domain. This is a significant  concern because of the proportion of standards within this domain on the fifth grade level.    (cid:131) Geometry/Measurement and Data:  Four Grade 5 CCSS in these domains align to four questions  found in the 2009 and 2010 tests. There are no CCSS on the 5th grade level within the domain of  Probability and Statistics.   In comparison, 50% of the New York State Examination Specifications  fall within the strands of Geometry, Measurement or Probability and Statistics (See Table 3). A  shift in test design is warranted in order to be more reflective of the CCSS breakdown of content  strands.    Table 3: Grade 5 New York State Examination Specifications by Strand    STRAND  Number  Algebra  Geometry  Measurement  Probability  Sense and  and Statistics Operations    Percent of  39%  11%  25%  14%  11%  the test    (cid:131) Number and Operations in Base Ten: Items in this domain are partially aligned to the CCSS, with  stronger coverage occurring in the 2009 form (See Table 4).     Table 4: Grade 5 CCSS by Domain and Aligned New York Items    Domain  # of CCSS  % of grade  Number of test items on the  level CCSS  Grade 5 assessment  2009  2010  Operations and  3  8.5%  0  0  Algebraic Thinking  (5.OA)  Number and  8  22.9%  9  3  Operations in Base  Ten (5.NBT)  Number and  11  31.40%  0  1  Operations‐Fractions  7 Domain  # of CCSS  % of grade  Number of test items on the  level CCSS  Grade 5 assessment  2009  2010  (5.NF)  Measurement and  9  25.7%  2  0  Data (5.MD)  Geometry (5.G)  4  11.4%  1  1  Total # CCSS  35  100%  12  5      (cid:131) Geometry: Concepts of congruence, similarity, and angle relationships are found in the CCSS on  the 7th and 8th grade levels.  While four CCSS align to 10 test items found in the 2009 and 2010  tests, eight of those ten test items align to only two standards.      (cid:131) On the 5th grade level, 50% of the CCSS within the domain of Geometry involve graphing points  on the coordinate plane to solve real‐world and mathematical problems.  The remainder of the  CCSS in Geometry are concerned with classification of two‐dimensional figures within a  hierarchy, based upon properties identified by attributes.   The Grade 5 assessment did not  assess any of these skills.   The geometry concepts measured on the assessment pertain to area  and perimeter as well as angle measurement, congruence and similarity.  These concepts align  to the CCSS, but not at grade 5.    (cid:131) An important skill identified as a fluency skill is aligned on the 5th grade level.   5.NBT.5 identifies  the skill of fluently multiply(ing) multi‐digit whole numbers using the standard algorithm.  In  future testing programs inclusion of this skill should continue.    (cid:131) Ratios and Proportional Relationships: The Grade 5 assessment includes items that align to the  CCSS at the 6th grade level.        Suggestions for Strengthening Alignment to the CCSS  Content  Based upon the observed gaps and the importance given to certain skills in the CCSS, the College Board  suggests that the Grade 5 assessment include items that measure the following skills:    (cid:131) Evaluating numerical expressions using parentheses, brackets or braces, and applying the order  of operations      8