Garry G. Azgaldov Alexander V. Kostin Alvaro E. Padilla Omiste The ABC of Qualimetry Toolkit for measuring the immeasurable Ridero 2015 Fonts kindly provided by ParaType, Inc. Garry G. Azgaldov, 2015 Alexander V. Kostin, 2015 Alvaro E. Padilla Omiste, 2015 Eric Azgaldov ,translation, 2013 The publication provides basic information on the history, theory and practice ofqualimetry.TheAppendixcontainsanexampleimplementationofthealgorithm quality assessment using asimplified method. The book is intended for all those whoseprofessionalactivityisconnectedwiththequantitativeevaluationofquality and the creation ofqualitative techniques: students and University teachers, researchers, evaluators, quality assurance specialists, and HR-specialists. ISBN978-5-4474-2248-6 Работа подготовлена при финансовой поддержке Российского научного фонда, проект № 14–18-01999 Contents About the authors .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  7 Introduction .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  10 Chapter 1. Qualimetry inOutline .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  14 1.1. General Information about Quality and Quality Control 14 1.1.1. The Essence ofQuality and Quality Control .  .  .  .  .  .  .  .  .  .  14 1.1.2. The Term Control and Its Difference from Other Similar Terms .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  21 1.1.3. The Origin, Growth and Future ofQualimetry .  .  .  .  .  .  .  .  26 1.1.3.1. The Reasons Behind the Rise ofQualimetry as aScience .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  26 1.1.3.2. History ofQualimetry: From Aristotle toOur Times 31 1.1.3.3. Qualimetry inRussia Today .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  38 1.1.3.4. Qualimetry Beyond Russia Today .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  43 1.1.3.5. The Future ofQualimetry: Developing inBreadth and inDepth .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  45 1.1.4. Qualimetry: An Independent Scientific Discipline .  .  .  .  48 1.1.5. Interrelations ofQualimetry .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  51 1.1.6. Qualimetry’s Birthplace and Time ofOrigin Revisited 60 Chapter 2. Main Methods ofQualimetry .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  66 2.1. Basic Terminology ofQualimetry .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  66 2.2. Main Methods ofQualimetry: Features and Areas ofApplication .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  68 2.3. Expert and Non-expert Quality Evaluation Methods: Pros andCons .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  70 2.3.1. Expert Methods .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  70 2.3.2. Non-expert Methods .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  71 2.3.3. Features ofthe Expert Quality Evaluation Process .  .  .  .  71 2.3.3.1. Forming aSteering Group(SG) .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  72 2.3.3.2. Formation ofaTechnical Group(TG) .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  72 2.3.3.3. Determining the Required Strength ofan Expert Group(EG) .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  73 2.3.3.4. Forming an Expert Group .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  74 2.3.4. Qualimetric Scales .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  76 2.3.4.1. Ordinal Scale (Synonym: Rank Scale) .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  77 2.3.4.2. Interval Scale .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  77 2.3.4.3. Ratio Scale .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  78 2.4. Quality Assessment Algorithm .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  78 2.5. Defining the Evaluation Context .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  80 2.5.1. The Essence ofthis Stage .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  80 2.5.2. Questions Regarding Features ofApplication / Use / Operation / Consumption ofObjects ofthe Kind Being Evaluated .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  82 2.5.2.1. Must All the Stages ofan Object’s Life-Cycle Be Taken into Consideration? .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  82 2.5.2.2. Must the Possibility ofaFuture Modernisation ofthe Object Be Taken into Account? .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  83 2.5.2.3. What Is the Life ofan Object tobe Centred On: Its Depreciation Period, Obsolescence Period or Both? .  .  .  .  .  .  .  .  .  84 2.5.2.4. What Groups ofPeople Contacting with the Object Must Be Taken into Consideration inQuality Evaluation? .  .  85 2.5.2.5. What Is the Place ofthe Evaluation Object inthe Dimensional Classification? .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  86 2.5.2.6. Which Climatic and Natural Conditions Affect the Quality ofan Object and Thus Must be Taken into Account inIts Evaluation? .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  87 2.5.2.7. What Properties ofan Object Reflecting Its Environmental Impact Must Be Considered inEvaluating Its Quality? .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  87 2.5.3. Features ofApplication ofthe Quality Index .  .  .  .  .  .  .  .  .  88 2.5.3.1. What Level ofSocial Hierarchy Must Be Taken into Account inAppraising the Quality ofan Object? .  .  .  .  .  .  .  .  .  .  .  .  88 2.5.3.2. Must the Quality ofan Object Be Evaluated on the Basis ofthe Quality Index or the Integral Quality Index? .  .  .  89 2.5.3.3. Must an Object Be Evaluated bythe Rigorous, Approximate or Short-Cut Method? .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  90 2.5.3.4. Is the Comparability ofQuality Index Values Desirable? If It Is, What Type? .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  90 2.5.3.5. InWhich Scale Must aQuality Index Be Expressed: Rank or Ratio? .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  92 2.5.3.6. What Is the Time Limit for Evaluating One Object? .  92 2.5.3.7. How Often Is aQEM toBe Used: Once Only or Repeatedly? .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  93 2.5.3.8. Is aQuality Index Calculated Manually or on Computer? .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  94 2.5.3.9. Do Quality Indices Need toBe Differentiated ByElement, Application Environment etc.? .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  94 2.5.4. Questions Concerning QEM Development Features .  .  95 2.5.4.1. Has Any Other Organisation aQEM for the Evaluation Object? If It Does, Can the QEM Designer Make Use ofIt? .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  95 2.5.4.2. Has the QEM Designer the Opportunity toGet Hold ofAny Supplementary Material Needed for QEM Development? .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  95 2.5.4.3. What Are the Allowable Labour Costs ofQEM Development inaParticular Context? .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  96 2.5.4.4. What is the Allowable Time Cost ofQEM Development inaParticular Context? .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  97 2.6. Building aProperty Tree and Identifying the Indices tobe Appraised .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  98 2.6.1. General Observations .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  98 2.6.2. The Tree as aKnowledge Tool: ABrief HistoricalNote 100 2.6.3. Terminology .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  102 2.6.4. Tree Derivation Methods .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  106 2.6.5. Tree Derivation Rules .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  109 2.6.5.1. General Derivation Rules for Tangible Product Property Trees .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  110 2.6.5.2. General Rules for Deriving Purpose Property Sub trees .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  113 2.6.5.3. Specific Rules for the Application ofthe Expert Method toWeight Factor Determination .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  121 2.6.5.4. Specific Rules toBe Used if the Amount ofInformation Obtained inaQuality Assessment Can be Reduced Through the Use ofthe Rank Scale .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  122 2.6.5.5. Specific Rules toBe Used if the Amount ofInformation Obtained inQuality Assessment May / May Not Be Reduced byMore Precise Methods .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  122 2.6.6. Completion ofthe Property Tree Derivation .  .  .  .  .  .  .  .  .  .  123 2.6.6.1. Completion ofthe Purpose Property Sub tree Derivation .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  123 2.6.6.2. Completing the Derivation ofSub trees Other than Purpose PropertiesOnes .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  125 2.6.6.3. Choosing Property Indices .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  129 2.6.6.4. Preparing aProperty Tree forUse .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  131 2.7. Determining Weight Factor Values .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  133 2.7.1. Basic Concepts .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  133 2.7.2. Analytical Method for Determining WF Values .  .  .  .  .  .  .  136 2.7.3. Expert Method for Determining WF Values .  .  .  .  .  .  .  .  .  .  .  136 2.7.3.1. Procedure ofInterviewing byan SG Facilitator (as Applied tothe Figure 25Tree and the Sample Individual Form inTable5) .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  137 2.7.3.2. Processing Expert Survey Results .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  138 2.7.3.3. WF Normalisation Tier-Wise .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  139 2.8. Determining Reference and Rejection Values ofProperties .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  140 2.8.1. Basic Concepts .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  140 2.8.2. Determining the Values ofqrefand qrejfor Property Indices Having no Physical Units ofMeasurement .  .  .  .  .  .  .  .  .  .  141 2.8.3. Documentary Method for qrefand qrejDetermination .  .  142 2.8.4. Expert Method for qrefand qrejDetermination .  .  .  .  .  .  .  .  .  143 2.8.5. Determining the Reference Value ofthe Reliability Index .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  144 2.9. Determining the Values ofProperty Indices and Quality inGeneral .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  146 2.9.1. Determining the Values ofAbsolute Indices .  .  .  .  .  .  .  .  .  .  146 2.9.1.1. Non-expert Methods .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  146 2.9.1.2. Expert Method .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  147 2.9.2. Determining Relative Index Values .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  148 2.9.3. Convolution ofIndices (Final Problem Solution) .  .  .  .  .  148 Appendix .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  151 Taking Stock ofaNational/International Competition: How toImprove Its Objectivity? .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  151 ACase Study ofaQualimetric Methodology .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  151 Constitution ofthe QEM Development and Application Groups (SG, EG andTG) .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  153 References .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  165 About the authors ProfessorGarry G. Azgaldov,apioneerofQualimetry,isaDoctor of Economics and a fellow of the International Academy of Infor- matisation,theRussianAcademyofNaturalSciences,theAcademy ofEconomicSciencesandBusiness,theFuturesResearchAcademy, the Academy of Quality Problems and the International Guild ofQualityProfessionals.HeisachiefresearcherattheCentralEco- nomics and Mathematics Institute, Russian Academy of Sciences, Moscow. Contact phone: +7495 6143024 (home); e-mail:[email protected] 7 GARRY G. AZGALDOV, ALEXANDER V. KOSTIN, ALVARO E. PADILLA OMISTE Alexander V. Kostin is a PhD in Economics, a certified appraiser of intellectual property, a corresponding member of the Academy of Quality Problems. He is a senior researcher at the Central Eco- nomics and Mathematics Institute, Russian Academy of Sciences, Moscow; the Creator of the on-line library QUALIMETRY.RU. Contact phone: +7916 1058104 (mobile); е-mail [email protected] 8 THE ABC OFQUALIMETRY Professor Alvaro E. Padilla Omiste is a Doctor of Education, a Biochemist and a Bolivian Chemist. He is a Lecturer of Distance learning programs, Education Management and Education ResearchMethodologyatseveralBolivianandLatinAmericanuni- versities; Author and Co-author of several books and articles on issues related mainly to the R & D and innovation. Contact phones: +591 44721878 (home); +591 70713681 (mobile); e-mail:[email protected] 9 Introduction Anything that people produce with in aperiod of time, as well as, anythingtheyencounterinthecourseofcommodityexchangeand consumptionand,generallyintheireverydaylife,canbeexpressed byasetoffourelements:products,services,information,andener- gy.1 Each of these elementscan be fully described by three funda- mental variables: —Quantity(in conventional units of measurement); —Cost ofproduction,distribution2andconsumption/utilisation/ exploitation / application of a unit of quantity; and —Qualityof the unit of quantity. Thefirstofthese,quantity,isbasictocalculationintheengineering disciplines.Thesecond,cost,isrecognisedandstudiedbythebody ofeconomicdisciplines.Astothethirdcharacteristic,quality,until quite recently it was seldom if ever taken into account by either engineering or economic or management disciplines. The reason was a lack of a theory and a toolbox for avalid quan- tification (assessment) of quality, such as the quality of products / services/information/energy.Withoutthiskindofassessmentitis very difficult, if not impossible, to maintain an effective economic orsocialstructure,e.g.,animportantomnibusstructurecalledthe quality of life, otherwise known as the standard of living. Theforegoingapplies,amongotherthings,tomanagement,politi- cal, legislative or analytical activities. 1Some times information and energy are subsumed under products or services. 2Distribution may be subsumed under consumption. 10