ISSN 1822-1645 12 http://dx.doi.org/10.7720/1822-1645.9.1 Jean-Luc PATRY1, Angela GASTAGER Zalcburgo universitetas • salzburg university nepriklausomŲ peer reVieWers’ eksperTŲ DiLeMos: DiLeMMas:1 1 VerTyBiŲ anTinomijos VaLues antinoMies VerTinanT aukŠTojo When eValuaTinG hiGher MoKsLo instituCijas2 eDuCation institutions2 SantRaUKA aBsTracT Atliekant bet kokius įvertinimus, visada at­ Whenever evaluations are done, there are an­ siranda interesų konfliktų tarp socialinių tinomies of interests both within and between dalininkų ir jiems patiems. Norint paaiškinti stakeholders. To ac count for such antinomies, tokias antinomijas, buvo sukurta taksonomi­ taxonomy has been developed which will ja, pristatoma ir aptariama šiame straipsnyje. be presented and discussed using the peer­ Kaip pavyzdys panaudotas universitetų įver­ review processes in university evaluations as tinimo procesas, atliekamas nepriklausomų example. ekspertų. The taxonomy contains four dimensions: Taksonomija yra keturių dimensijų: a) iš­ a) seven values domains are distinguished skiriamos septynios vertybių sritys (etinės, (ethical, methods, social and in teractive, legal, metodinės, socialinės ir interaktyvios, teisi­ economic, personal, and societal values); an­ nės, ekonominės, asmeninės, visuomeninės tinomies can be within or between domains; ir politinės); b) antinomijos gali būti „arba... b) antinomies can be of the either­or­type arba“ (dichotomija; „alternatyvi antinomi­ (dichotomy; “alternative antinomy”), or they ja“) arba „daugiau ar mažiau“ tipo (labiau can be of the more­or­less type (more of one išreiškiamas kažkuris klausimas; „palaips­ issue implies less of the other; “gradual an­ ninė antinomija“); c) egzistuoja tikslų svar­ tinomy”); c) there are antinomies on the goal bos antinomijos (prieštaringi to paties arba dimension (dif erent goals of the same or of kito socialinio dalininko tikslai, t. y. skirtin­ diferent stakeholders are in antinomy, i.e., gi tikslai negali būti pasiekti vienu metu) ir cannot be achieved simultaneously) and on priemonių masto antinomijos (nors tikslai the means dimension (although the goals are ir neprieštarauja vieni kitiems, jų pasiekimo not in antinomy, the means to achieve them priemonės nesuderinamos), abiem atvejais 1 Part of Patry’s contribution was written while he was 1 J.­L. Patry dalį straipsnio parašė būdamas Melburno Mo­ a visiting scholar at the Monash University, Melbourne, nash universiteto Australijoje kviestiniu mokslininku. Australia. 2 Autoriai dėkoja dviem anonimiškiems ekspertams ir 2 The authors wish to thank two anonymous reviewers and Denis Phillips bei Kęstučiui Pukeliui už naudingas pastabas Denis Phillips and Kestutis Pukelis for their helpful remarks ankstesnėms šio rankraščio versijoms. to earlier versions of this manuscript. Jean-Luc PATRY, Angela GASTAGER NEPRIKLAUSOMŲ EKSPERTŲ DILEMOS: VERTYBIŲ ANTINOMIJOS VERTINANT AUKŠTOJO MOKSLO INSTITUCIJAS PEER REVIEWERS’ DILEMMAS: VALUES ANTINOMIES WHEN EVALUATING HIGHER EDUCATION INSTITUTIONS 13 gali būti taikoma alternatyvi ir palaipsninė are incompatible), on both dimensions there antinomija; d) antinomijos atveju siūloma ir can be alternative and gradual antinomies; d) įrodinėjama normatyvinė sprendimų priėmi­ a normative hierarchy for decision making in mo hierarchija. the case of antinomies is proposed and argued Nepriklausomiems ekspertams verti­ for. nant aukštojo mokslo įstaigas, galima ap­ In evaluating higher education institu­ tikti įvairius antinomijų tipus. Pateiksime tions with peer review, all types of antinomies praktinio vertinimo metu aptiktus pavyz­ can be found. Examples for such antinomies džius ir detaliai išanalizuosime prototipinę we have encountered in practical evaluations antinomiją: nepriklausomi ekspertai laiko­ will be given, and a prototypical antinomy will mi socialiniais dalininkais, todėl bus aptarti be analyzed in det ail: The peers are seen as jų interesai ir tikslai (vieno socialinio dali­ stakeholders, and their interests and goals will ninko vidaus antinomijos). Taikant norma­ be discussed (antinomies within one stake­ tyvinę hierarchiją, galima atrasti sprendimą, holder). Applying the normative hier archy can bet negalima pakeisti vertintojų asmeninių help to find a solution, yet it cannot replace the sprendimų. evaluators’ personal decision. paGrinDiniŲ TerminŲ apiBrĖŽimai DeFinitions oF Key terMs • Aukštojo mokslo institucijos – tai vertini­ • Higher education institutions – the database mo antinomijų analizės duomenų bazė, kurią for the analysis of antinomies in peer review nepriklausomi ekspertai, dirbantys įvairiose valuations of higher education institutions is aukštojo mokslo institucijose – universitetų the authors’ own experience as peer review­ katedrose, taikomuosiuose universitetuose, ers in higher education institutions of dif erent pedagoginiuose universitetuose ir pan. (Aus­ kinds: University departments, Applied Uni­ trijoje, Šveicarijoje, Lietuvoje ir kitose šalyse), versities, Teachers’ Colleges, etc. in Austria, vertina remdamiesi savo patirtimi. Switzerland, Lithuania and other countries. • Ekspertinis vertinimas – ekspertų koman­ • Peer Review – the aim of a peer reviewing dos atliekamas vertinimas apie institucijos evaluation is typically to check the institu­ veiksmingumą specifiniais aspektais, pavyz­ tion’s efectiveness by a team of experts with džiui švietimo, tyrimų ir administravimo respect to specific aspects, such as education, klausimais ir pan. Dalis ekspertų yra to paties research, and administration. At least some of akademinio lygmens kaip ir vertinami kole­ the reviewers are on the same academic level gos bei dirba panašiose institucijose. (“peers”) as the evaluees and work in similar • Vertybių dilemos – kai veiksmas sutelk­ institutions. tas į tam tikras vertybes, pavyzdžiui, etines, • Values dilemmas – in a “dilemma” the pro­ asmenines, ekonomines ar teisines, t. y. „di­ tagonist can do either P or P, but no combi­ 1 2 lemos“ atveju protagonistas gali atlikti P nation of both. The action is focused on certain 1 arba P , bet ne abu. Kitų antinomijų atveju values, like ethical, personal, economic, and 2 nesuderinamumas nėra griežtas – labiau sie­ legal values. In other antinomies the mutual kiama kompromiso tarp dviejų vertybių: ry­ exclusion is not strict, instead there is a trade­ šiai tarp P ir P priklauso tipui daugiau P, of between the two values: the relationship 1 2 1 mažiau P ; mes tai vadiname palaipsninėmis between P and P is of the type the more P, 2 1 2 1 antinomijomis. the less P; we call it gradual antinomies. 2 14 aukŠtojo mokslo kokybė • the quality of higher education •2012/9 antinoMijos soCiaLiniuose anTinomies in social neTWorks tinKLuose In the intersection of social networks an­ Socialinių tinklų susikirtimo taškuose gali tinomies between the involved persons and susidaryti antinomijos tarp susijusių asmenų institu tions may occur since diferent people ir institucijų, nes skirtingi žmonės gina skir­ defend diferent and often contradicting aims tingus ir dažnai prieštaringus tikslus bei in­ and interests. This holds also in evaluations: teresus. Tai tinka ir įvertinimų atžvilgiu: bet any stakeholder (and we include the evalua­ kuris socialinis dalininkas (įvertintojus pri­ tors among the stakeholders) is confronted skiriame prie socialinių dalininkų) susiduria with several antinomies between values. su keliomis antinomijomis tarp vertybių. In evaluation processes such antinomies Įvertinimo procesų metu tokios antino­ between values are quite frequent: most eval­ mijos tarp vertybių pasitaiko gana dažnai: uators (Turner, 2003) or at least two third of dauguma įvertintojų (Turner, 2003) arba them (Morris & Cohn, 1993) reported that bent jau du trečdaliai (Morris, Cohn, 1993) they had encountered ethical antinomies. As teigė susidūrę su etinėmis antinomijomis. to the directors of foundations that financed Trečdalis fondų direktorių, finansavusių evaluations, one third reported ethical antino­ įvertinimus, pranešė apie etines antinomijas mies (Morris, 2007). Hence such antinomies (Morris, 2007). Taigi tokios antinomijos yra are not the exception, but the rule. Modeling ne išimtis, o taisyklė. Jų, kaip laiko momen­ them as a moment in time, or as a single prob­ to ar pavienės spręstinos problemos, mode­ lem to be resolved, will not suffice (see Meter, liavimas nėra pakankamas (žr. Meter, 2006, 2006, 151), rather evaluation must be seen as 151). Įvertinimas turi būti labiau laikomas process with per sistently antinomic aims and procesu su nuolat antinomiškais tikslais ir interests. Ac cording to Morris (2007, 413), “it interesais. Pasak M. Morris (2007, 413), „at­ appears that many challenges in this domain rodo, kad daug šios srities sunkumų vis dar continue to slip under the radar, causing an­ ignoruojama, dėl ko vėliau vertinant atsiran­ tinomies later in the evaluation”. Addressing da antinomijų“. Jas nagrinėti – išankstinė są­ them is a precondition and the first step if lyga ir pirmasis žingsnis, jei ne į sprendimo, not towards a solution, so in any case towards tai bent į supratimą ir racionalų tvarkymąsi, awareness and dealing rationally with them, kas gali reikšti apgalvotą ir pagrįstą pasirin­ which might mean a deliberate, yet justified kimą iš kelių variantų. Šiame darbe pirmiau­ choice among the options. In this paper we siai pristatysime pagrindinius duomenis apie present, first, a short background of the type naudojamą įvertinimų tipą: aukštojo mokslo of evaluations with which we are dealing: peer institucijų nepriklausomų ekspertų įvertini­ review evaluation of higher education insti­ mą. Antra, pateiksime hierarchinę taksono­ tutions. Secondly we introduce a hierarchi­ miją antinomijų įvertinimams, kurią sudaro cal taxonomy of antinomies in evaluations, keturios tarpusavyje susijusios dimensijos consisting in four interrelated dimensions (vertybių sritys; alternatyvi ir palaipsninė (domains of values; alternative and gradual antinomijos; antinomijos tikslo ir priemo­ antinomies; antinomies on the goal and on nių lygmenimis; siūloma principų, taikomų, the means levels; and a proposed hierarchy of susidūrus su antinomija, hierarchija). Trečia, principles to be applied when confronted with panaudosime taksonomiją prototipinėms an antinomy). Thirdly we use the taxonomy to antinomijoms analizuoti nepriklausomų eks­ analyze proto typical antinomies in peer review pertų atliktuose aukštojo mokslo institucijų evaluations of higher education institutions. Jean-Luc PATRY, Angela GASTAGER NEPRIKLAUSOMŲ EKSPERTŲ DILEMOS: VERTYBIŲ ANTINOMIJOS VERTINANT AUKŠTOJO MOKSLO INSTITUCIJAS PEER REVIEWERS’ DILEMMAS: VALUES ANTINOMIES WHEN EVALUATING HIGHER EDUCATION INSTITUTIONS 15 įvertinimuose. Galiausiai aptarsime ryšius Finally the relationships between the diferent tarp skirtingų taksonomijos dimensijų ir jų dimensions of the taxonomy and their useful­ naudingumą. ness are discussed. 1 1 aukŠTojo mokslo insTiTucijŲ peer reVieW eValuaTions oF eksperTinis VerTinimas HigHer eDuCation institutions Nepriklausomų ekspertų atliekamas vertini­ A peer reviewing evaluation is one type of eval­ mas – vienas iš įvertinimo tipų. Jį organizuoja uation among others. It is or ganized either by įgaliojanti įstaiga (nepriklausoma įstaiga ar a mandating agency (an independent agency politinis prižiūrėtojas) arba pati instituci­ or the politi cal supervisor) or the institution ja. Pastaruoju atveju institucija veikia ir kaip itself; in the latter case the institution is also the įgaliojanti įstaiga, bet dažniausiai įvertinimas mandating agency, but initiates the evaluation inicijuojamas dėl išorinio spaudimo. Paprastai most often under some external pressure. The tikslas būna patikrinti institucijos veiksmin­ aim is typically to check the institution’s efec­ gumą specifiniais aspektais, pavyzdžiui, dėl tiveness with respect to specific aspects, such as švietimo, tyrimų ir administravimo. Dėmesys education, research, and administration. The būna sutelktas į: 1) institucijos darbą, kurį rodo focus is (1) on the performances of the institu- joje dirbančių ar besimokančių asmenų arba tion, represented through the achievements, at­ asmenų, kaip nors susijusių su švietimo ins­ titudes, etc., of persons working or studying at titucijos darbo ir mokymosi procesais (tai yra that institution or who are involved in any way kai kurie iš vertinimo socialinių dalininkų), in the working and learning processes of the pasiekimai, požiūris ir pan.; 2) faktus ir turinį, edu cational institution (these are some of the pavyzdžiui, studijų turinį, mokslo programą, stakeholders of the evaluation); (2) on the facts mokslinius pajėgumus ir pan. Jų autoriai gali and contents such as the curriculum, the scien­ būti kita socialinių dalininkų grupė, 3) proce- tific program, the scientific out put, etc., whose sai ir pagrindinės struktūros (pvz., sprendimų authors may be another group of stakeholders, priėmimo struktūros ir procesai, organizavi­ (3) on the processes and underlying structures mas ir pan.), skirti šiam procesui atlikti arba (e.g., decision making structures and process­ sukurti tokius faktus ir turinį. es, the organization, etc.) to reach those perfor­ Paprastai procedūra vyksta taip: pasi­ mances or to develop these facts and contents. renkama skirtingas kvalifikacijas turinčių The procedure is typically that a team of ekspertų komanda (mažiausiai vienas eks­ reviewers of diferent qualifications (usually pertas pagal temą, kuria rūpinasi institucija, at least an expert on the topic the institution dėstymo ir studijavimo ekspertas, vertinimo is concerned with, an expert on teaching and ekspertas; dažnai būna ir administravimo learning, and an expert on evaluation; often ekspertas, prireikus – ir praktinio pritaikymo also an expert in administration and if ap­ ekspertas). Kai kurie jų yra to paties akademi­ propriate one dealing with practical applica­ nio lygmens („kolegos“), kaip vertinamieji, ir tion) is chosen. At least some of the reviewers dirba panašiose institucijose – šis darbas su­ are on the same academic level (“peers”) as the telktas būtent į tokius įvertintojus. Paprastai evaluees and work in similar institutions – the ekspertai privalo deklaruoti nepriklausantys focus of the present paper lies on these evalu­ institucijai, kuri bus įvertinama. ators. The reviewers have usually to declare 16 aukŠtojo mokslo kokybė • the quality of higher education •2012/9 Pasak F. A. van Vught ir D. F. Westerheij­ their independence from the institution to be den (1994), vertinant aukštąjį mokslą, būdin­ evaluated. gi keturi elementai: vadovaujantis atstovas, According to van Vught and Westerhei­ įsivertinimas, ekspertinis vertinimas apsilan­ jden (1994) four elements are characteristic for kius vietoje ir ataskaita. Tiksliau, vertinimo evaluations in higher education: a managing procedūras, kuriose dalyvavome, sudarė to­ agent, a self­evaluation, a peer review with site kie žingsniai (žr. Speer, 2010; panašaus sąrašo visit, and a report. More precisely, the evalua­ 1 langelis): tion procedures we were involved in consisted 1. Įgaliojanti įstaiga (veikianti ir kaip in the following steps (see also Speer, 2010, įgaliojantis atstovas) sudaro vertinimo dar­ box 1, for a similar list): botvarkę, į kurią įtraukiami įvertinimo metu 1. The mandating agency (which acts also atsakytini klausimai. as managing agent) formulates an evaluation 2. Vertintojus (kolegas ir kitus) parenka agenda including the questions to be answered įgaliojanti įstaiga. within the evaluation. 3. Įvertinta institucija atlieka įsivertini­ 2. The evaluators (peers and others) are mą, kurio rezultatai pateikiami ataskaita. chosen by the mandating agency. 4. Ekspertai perskaito ataskaitą, paprašo 3. The evaluated institution performs papildomos medžiagos, jeigu reikia, ir sudaro a self­evaluation whose results are document­ klausimų, į kuriuos turės atsakyti institucija, ed in a report. sąrašą. 4. The reviewers read the report, ask for 5. Institucija suteikia reikalingą pa­ additional material if necessary, and formu­ pildomą medžiagą ir atsako į kai kuriuos late a question pool to be answered by the klausimus. institution. 6. Ekspertai apsilanko institucijoje ir 5. The institution provides the required bendraudami su jos žmonėmis bei būdami additional material and responds to some of vietoje ieško atsakymų į klausimus; dažnai tai the questions. apima pirmąją atsakomąją reakciją. 6. The reviewers visit the institution and 7. Ekspertai parašo ataskaitą. through interaction with the people of the institu­ 8. Paprastai institucijai suteikiama gali­ tion and a site visit look for answers to the ques­ mybė pateikti pastabas dėl ataskaitos. tions; frequently this includes a first feedback. 9. Vertintojai (ekspertai) sudaro galutinę 7. The reviewers write a report. ataskaitą ir įteikia ją įgaliojančiai įstaigai. 8. Usually the institution has the opportu­ 10. Įgaliojanti įstaiga imasi tolesnių žings­ nity to comment on the report. nių (įvertinimo pasekmės ir pan.). 9. A final report is authored by the peers Procedūros gali skirtis, bet bendra struk­ and handed over to the mandating institution. tūra paprastai būna gana panaši. Ši procedūra 10. The mandating institution takes the fur­ ir taikoma antinomijų analizei; naudojant ki­ ther steps (consequences of the evaluation, etc.). tokią procedūrą, reikia atitinkamai pritaikyti The procedures may vary, but the general analizę. structure is usually quite similar. This will be Nepriklausomų ekspertų aukštojo the procedure assumed for the analysis of the mokslo institucijų įvertinimo antinomijų antinomies; if a difering procedure is used, analizės duomenų bazė – tai autorių, kaip the analysis needs to be adapted. nepriklausomų ekspertų, patirtis skirtingose The database for the analysis of antinomies aukštojo mokslo institucijose: universitetų in peer review evaluations of higher educa­ katedrose, taikomuosiuose universitetuose, tion institutions to be presented below is the Jean-Luc PATRY, Angela GASTAGER NEPRIKLAUSOMŲ EKSPERTŲ DILEMOS: VERTYBIŲ ANTINOMIJOS VERTINANT AUKŠTOJO MOKSLO INSTITUCIJAS PEER REVIEWERS’ DILEMMAS: VALUES ANTINOMIES WHEN EVALUATING HIGHER EDUCATION INSTITUTIONS 17 pedagoginiuose universitetuose ir pan. authors’ own experience as peer reviewers in Austrijoje, Šveicarijoje, Lietuvoje ir kitose higher education institutions of dif erent kinds šalyse; dėl etinių priežasčių šių instituci­ (University departments, Applied Universities, jų nenurodome. Įvertinimo komitetuo­ Teachers’ Colleges, etc.) in Austria, Switzer­ se straipsnio autoriai paprastai atlikdavo land, Lithuania and other countries; for ethical dėstymo ir studijavimo ekspertų funkci­ reasons we do not disclose the respective insti­ jas, paprastai programos didaktinės dalies tutions. The authors’ function in the evaluation įvertinimą; pedagoginiuose universitetuose committees was usually the expert in teaching visi kolegos buvo dėstymo ir studijavimo, and learning focusing particularly on the eval­ bet skirtingų sričių specialistai: straipsnio uation of the education part of the program; in autoriai – švietimo tyrėjai, dauguma kitų Teachers’ Colleges, all peers were specialists of kolegų – universitetų, kurių prioritetai ne teaching and learning, but with diferent foci: tokie moksliški, dėstytojai. Be to, straipsnio the authors were the researchers in education; autoriai dažnai atliko įvertinimo specialistų mostly the other peers where teachers from funkcijas įvertinimo grupėje; būtent atlik­ other Colleges whose priorities were less sci­ dami šias funkcijas dažniausiai susidurdavo entific. In addition, the authors had often the su antinomijomis. function of evaluation specialists within the evaluation group; it is in this function that they encountered antinomies most frequently. 2 2 Keturių DiMensijų antinoMijų a Four-DiMensionaL taXonoMy taKsonoMija Vertinant oF antinoMies in eVaLuation Antinomija – tai situacija, kai protagonistas An antinomy is a situation in which the pro­ gali pasirinkti vieną iš dviejų galimybių – tagonist has the choice between two possibili­ P arba P . Kiekviena jų pasižymi tam tikra ties, P and P. Each of these possibilities has a 1 2 1 2 verte (arba verčių rinkiniu), bet pasirinkus cer tain value (or set of values) for him or her, P galimybę, nebus pasiektos vertybės, sie­ but choosing possibility P will result in not 1 1 jamos su galimybe P , o pasirinkus P , su P achieving the values associated with possibil­ 2 2 1 susijusios vertybės tampa neįmanomos. Kad ity P, and doing P renders the values related 2 2 ir ką protagonistas darytų, vertybės, sieja­ with P impossi ble. Whatever the protagonist 1 mos su viena ar kita galimybe, bus atmestos. does will break the value related with one or Galima sakyti, kad vertybės, susijusios su P the other possibility. One can also say that the 1 ir P yra antagonistinės. Vertybės, kuriomis values related with P and P are antagonistic. 2, 1 2 rizikuojama šiose antinomijose, nepriklauso The values that are at stake in these antino­ vertintinų programų ar institucijų verty­ mies are not the values of the programs or in­ bėms, nebent prieštarautų vertintojų gina­ stitutions to be evaluated unless these are in moms ar kitoms įvertinimo procesui svar­ opposition to the values the evaluators defend bioms vertybėms. or other values that are important within the Dažnai egzistuoja daugiau nei dvi ga­ evaluation process. limybės ir išplaukiančios vertybės. Pavyz­ Often there are more than two possibili­ džiui, S. Delamontas (2005) nurodo keturis ties and ensuing values. Delamont (2005) for antagonistinius vertybių rinkinius, iš kurių instance mentions four antagonistic sets of 18 aukŠtojo mokslo kokybė • the quality of higher education •2012/9 įvertintojas gali rinktis: praktinę vertybę, values an evaluator may have to choose from: mokslinį reikšmingumą (immortality), žlug­ practical value, scholarly immortality, project ti pasmerktą projektą ir „nežinomų pasaulių doomed to fail, and explore the wonders of stebuklų tyrinėjimą“. Dėl paprastumo nagri­ unknown worlds. For sake of simplicity, we nėsime dvi vienalaikes vertybes. will deal only with two simultaneous values. Jeigu nenurodyta kitaip, šiame darbe Unless specified otherwise, throughout sąvoka vertybės aprėpia daugiau nei įpras­ this paper the concept of values is broader than tai literatūroje vartojama sąvoka. Ji apima typically used in the literature; it includes what tai, ką atitinkamas asmuo laiko svarbiais is regarded as important, relevant or necessary dalykais, pvz., jos ar jo interesai, susiję su to achieve from the standpoint of the respective tuo ką būtina pasiekti ir pan.; tam tikru person and includes his or her interests, etc. In požiūriu vertybės gali būti laikomos tiks­ some way, values can be seen as goals someone lais, kuriuos kažkas nori įgyvendinti. Šiame wants to achieve; however, in this text the term tekste terminas tikslas priešinamas priemo- “goal” is opposed to the means that someone nėms, naudojamoms tiems tikslams pasiek­ uses to achieve these goals (see the third di­ ti (žr. 3 taksonomijos dimensiją), ir siekiant mension of the taxonomy below) and will not išvengti painiavos nebus vartojamas kita be used elsewhere to avoid confusion. reikšme. It must also be mentioned that many of the Be to, reikia paminėti, kad dauguma ver­ values are formulated as maximum (e.g., “get­ tybių formuojamos kaip maksimumas (pvz., ting as much information as possible”). The „gauti kuo daugiau informacijos“). Straipsnio authors are well aware that focusing uniquely autoriai puikiai supranta, kad nedera susi­ on such values is inappropriate, and that many telkti tik ties šiomis vertybėmis ir kad daugu­ of these maximum values are unattainable. ma tokių maksimumų yra nepasiekiama. Jų The reason for their inappropriateness and un­ netinkamumo ir nepasiekiamumo priežastis attainability is always that they are antinomic ta, kad jos visada antinomiškos kitoms verty­ with other values; to address these antinomies bėms; norint nagrinėti šias antinomijas, reikia it is necessary to put the values bluntly so that tiesiai nurodyti vertybes, kad būtų atskleistas their role in the antinomies and the respective jų vaidmuo antinomijose ir atitinkamos prie­ opposite values can be revealed. šingos vertybės. The taxonomy to be presented has four in­ Taksonomija, kurią pateiksime, yra ketu­ terrelated dimensions: rių tarpusavyje susijusių dimensijų: • First, seven domains that are relevant in • Pirmiausia išskiriamos septynios sri­ evaluation studies are distinguished. tys, svarbios įvertinimo tyrimams; • Second, two types of antinomies are dis­ • Antra, išskiriami du antinomijų tipai: tinguished: alternative antinomies (dilemmas) alternatyvios antinomijos (dilemos) ir pa­ and gradual antinomies. laipsninės antinomijos; • Third, antinomies on the goal and on • Trečia, išskiriamos tikslų svarbos ir the means dimensions are distinguished. priemonių masto antinomijos; • Fourth, a tentative hierarchy of princi­ • Ketvirta, siūloma bandomoji principų, ples to be used when trying to solve antino­ kurie bus naudojami antinomijas įvertinimo mies in evalua tion studies is pro posed. tyrimų metu, hierarchija. The first three dimensions have been ap­ J.­L. Patry ir A. Gastager (2004) pritaikė plied to the evaluation of teaching in a spe­ pirmas tris dimensijas mokymui įvertinti tam cific university in Patry and Gas tager (2004). tikrame universitete. Šiame darbe pirmoji In the present paper, the first dimension has Jean-Luc PATRY, Angela GASTAGER NEPRIKLAUSOMŲ EKSPERTŲ DILEMOS: VERTYBIŲ ANTINOMIJOS VERTINANT AUKŠTOJO MOKSLO INSTITUCIJAS PEER REVIEWERS’ DILEMMAS: VALUES ANTINOMIES WHEN EVALUATING HIGHER EDUCATION INSTITUTIONS 19 dimensija šiek tiek patobulinta, pridėta ket­ been improved slightly, the fourth dimension virtoji dimensija ir visos pritaikytos nepri­ has been added, and the application is to peer klausomam aukštojo mokslo institucijų eks­ reviewing in the evaluation of higher educa­ pertiniam įvertinimui. tion institutions. 2.1. VerTyBiŲ sriTys 2.1. DoMains oF VaLues Norint identifikuoti vertybių antinomijas To identify values antinomies in evaluation, it is vertinant, pirmiausia reikia išskirti tas, ku­ first necessary to distinguish the values that are rios yra „statomas ant kortos“ (svarbiausios). at stake in an evaluation. In order to avoid being Vengiant siauro požiūrio, naudinga sudaryti too narrow in doing this it is useful to have a list galimų antinomijoje būsiančių vertybių są­ of potential values that could be in antinomy so rašą, kad nebūtų pamiršta nė viena svarbi that no important domain gets forgotten. sritis. In a meta­evaluation study of evaluators’ Vertintojų (Gastager, Patry, 2006) antino­ antinomies (Gastager & Patry, 2006) six areas mijų meta­įvertinimo metu buvo išskirtos še­ of values were distinguished: Ethical, methodi­ šios vertybių sritys: etinės, metodinės, socia­ cal, social and intera ctive, legal, economic, and linės ir interaktyviosios, teisinės, ekonominės personal values; further analyses showed that a ir asmeninės; vėlesni tyrimai parodė, kad seventh domain was necessary: societal issues. reikalinga ir septinta sritis – visuomeninės Six of seven domains can be found in the litera­ vertybės. Šešios iš septynių sričių minimos ture on evaluation; only the economic domain is literatūroje apie įvertinimą; retai kalbama rarely addressed. The domains are presented be­ tik apie ekonominę sritį. Šiame straipsnyje low with a few examples from peer review evalu­ aptariant sritis pateikiami keli pavyzdžiai iš ations of higher education institutions; these ex­ ekspertinio aukštojo mokslo institucijų verti­ amples are by no means exhaustive, but rather nimo. Pavyzdžiai nėra išsamūs, tik iliustruoja serve as illustrations for the values at stake. svarbiausias vertybes. 1. Ethical values include values based on 1. Etinės vertybės apima etiškai pagrįstas ethical justification. Examples for such values vertybes: sąžiningumą ir skaidrumą (pvz., are honesty and transparen cy (e.g., explain­ aiškinant vertinimo priemones ir pagrindi­ ing the in struments and the central is sues of nius dalykus tiriamiesiems). Kita vertybė – the evaluation to the investigated persons). pažado laikymasis (pvz., dėl konfidencialu­ A further value is holding ones promi se (for mo). Tokio pobūdžio vertybės aptariamos instance regarding confidentiality). Values of per etinius debatus, tiriant įvertinimą (pvz., this kind are dis cussed in the ethical debates Morris, 2005; Schwandt, 1997; Simons, 2006); in evaluation research (e.g., Morris, 2005; dauguma vertinimo asociacijų yra sukūru­ Schwandt, 1997; Simons, 2006), most evalua­ sios etines normas (pvz., Amerikos įvertini­ tion association have developed ethical guide­ mo asociacija, 2004; Australazijos įvertinimo lines (e.g., American Evaluation Association, bendrija, 2000; Jungtinis švietimo įvertinimo 2004; Australasian Evaluation Society, 2000; standartų komitetas, 1994), o visi vertintojai Joint Committee on Standards for Educational vienaip ar kitaip atsižvelgia į etinius aspek­ Evaluations, 1994), and all evaluators include, tus. Pavyzdžiui, W. Shadish, T. D. Cook ir in one way or another, ethical reflections. L. C. Levington (1991) atskleidė įvairių auto­ Shadish, Cook, and Levington (1991), for in­ rių etines nuostatas vertinant; vienos nuoro­ stance, showed the ethical backgrounds of dif­ dos į etiką yra išsamesnės už kitas, skiriasi ir ferent important authors in evaluation; some autorių požiūriai. refer ences to ethics are more explicit, others 20 aukŠtojo mokslo kokybė • the quality of higher education •2012/9 Reikia paminėti, kad čia vartojama etinių are rather implicit, and there are many difer­ vertybių sąvoka yra siauresnė už bendrąją. ences between authors. Etinės vertybės aptariamos per etinius de­ It must be mentioned that the concept of batus, pagrindinį dėmesį skiriant tam, kaip ethical values used here is narrower than the žmonės turėtų elgtis vieni su kitais; šiuo kon­ concept of values in general (see above). Ethi­ krečiu atveju – kaip įvertintojai turėtų elgtis cal values are values which are addressed in su dalyvaujančiais asmenimis (socialiniais ethical debates, the focus being on how people dalininkais, žmonėmis, dirbančiais aukštojo should deal with each other, in this particular mokslo institucijoje ir pan.). case how the evaluators should deal with the Tipiškos nepriklausomų ekspertų eti­ people involved in the evaluation (stakehold­ nės vertybės – etiškas elgesys, pavyzdžiui, ers, people working in the higher education gerbiamas dalyvio savarankiškumas, infor­ institution, etc.). macija dėl sutikimas, vengiama skriaudos ir Typical ethical values of peer reviewers apgaulės, ir pan.; sąžiningumas ir skaidru­ are ethical conduct like respecting the partici­ mas, pavyzdžiui, vertybių detalizavimas, su­ pants’ autonomy, informed consent, avoiding sikoncentravimas į faktus, o ne į insinuacijas, harm and deception, etc.; honesty and trans­ ir pan.; konfidencialumas, vadinasi, negalima parency, like making values explicit, focusing atskleisti informantų vardų (anonimiškumas on facts instead of insinuations, etc.; confiden­ neįmanomas, nes skirtingų grupių atstovai tiality, which means not revealing the names susitinka asmeniškai); taip pat gerbtinas ins­ of the informants (anonymity is not possible titucijos poreikis gauti grįžtamąją informaci­ since in the site visit the representatives of the ja ir reaguoti į ją. diferent groups of the institution are met in 2. Metodais renkama informacija – tai person); and respecting the institution’s need pavyzdžių rinkimas, plano sudarymas, ver­ for information through feedback and giving tinimas, tikėtinų konkuruojančių hipote­ the possibility to respond. zių atmetimas, tinkama duomenų analizė 2. The methods include everything that is ir interpretavimas, ir pan. Tam priklauso done to gather valid information, such as sam­ ir metateorinės, metaetinės bei metodolo­ pling, design, assess ment, ruling out plausible ginės vertybės, pabrėžiančios pagrindinius rival hypotheses, but also appropriate analysis vertinimui naudojamus metodus. Ko gero, and interpretation of the data, etc. Included metodai yra labiausiai aptarinėjami vertini­ are also the meta­theoretical, meta­ethical, mo klausimai; M. C. Alkin ir C. A. Christie and methodo logical values underlying the ac­ (2004, p. 13), D. T. Campbell, T. D. Cook ir tual met hods used in the evaluation. Methods L. J. Cronbach suvokia vieną iš trijų „įverti­ belong probably to the most discussed issues nimo medžio“ šakų kaip metodų šaką; kita in evaluation; Alkin and Christie (2004, p. 13) vertus, E. Guba ir Y. S. Lincoln (1989, 2000), conceive one of the three main branches of their aprašydami medžio „įvertinimą“, kritikuoja “evaluation tree” as the me thods branch with šiuos metodus. authors like Campbell, Cook, and Cronbach; on Bendras metodų vertybių tikslas – gauti the other hand, authors like Guba and Lincoln optimalius duomenis apie instituciją; šiame (1989, 2000), who are depicted in the “valuing” kontekste sąvoką optimalus autoriai gali su­ branch of the tree, criticize these methods. prasti skirtingai. Vis dėlto, metodai nagrinėja Methods values serve the general aim of klausimą, kaip vertintojai renka duomenis ir gaining optimal information about the institu­ argumentuoja savo teiginius (įskaitant ir savo tion; diferent authors may difer in what they padarytas išvadas). Nors metodais kartais consider optimal in this context. In any case, Jean-Luc PATRY, Angela GASTAGER NEPRIKLAUSOMŲ EKSPERTŲ DILEMOS: VERTYBIŲ ANTINOMIJOS VERTINANT AUKŠTOJO MOKSLO INSTITUCIJAS PEER REVIEWERS’ DILEMMAS: VALUES ANTINOMIES WHEN EVALUATING HIGHER EDUCATION INSTITUTIONS 21 suabejojama (pvz., rezultatais nepatenkinti methods address the question how the evalu­ socialiniai dalininkai; žr. Chelimsky, 2006), ators proceed in gathering data and in arguing susijusius klausimus paprastai sprendžia įver­ their statements (including the conclusions they tinimo specialistai. reach). Although sometimes methods are being Visais įvertinimų atvejais viena svar­ challenged from the outside (e.g., by stakeholders biausių vertybių – pagrįstumas (validity). who are not satisfied with the results, see Chelim­ Tai suprantama kaip idealus niekieno ne­ sky, 2006, for an example), the relevant issues are paveiktas vertinimas; kadangi tai nerealu, typically dealt with by specialists in evaluation. svarbu pagrįsta teorija paaiškinti šališkumą In all evaluations one of the most impor­ (pvz., Patry, 2011). Visos pastabos priklauso tant values is validity. This includes the ideal nuo teorijos (Hanson, 1958), tad vertinto­ of uninfluenced assessment; because this is not jams žinoti pagrindinę teoriją, net jeigu ver­ realistic, it is important to account for biases tinimas ir nėra skirtas teorijoms patikrinti. with a reasonable theory (see, for instance, Pa­ Dėl epistemologijos skirtumų (žr. Alkin, try, 2011). Further, since all observation is the­ Christie, 2004; Shadish ir kt., 1991; ir kt.) ory­dependent (Hanson, 1958), it is necessary reikėtų atsižvelgti į asmens nuomonę – juk that the evaluators are aware of their underly­ įvertinimo komiteto ekspertų požiūriai gali ing theory even if evaluation does not aim at skirtis, o neišsiaiškinus kyla nesusipratimai testing theories, and because of the diferences ir painiava. in epistemology (see Alkin & Christie, 2004; 3. Socialinės ir interaktyvios vertybės su­ Shadish et al., 1991; and others), it is also ap­ sijusios su elgesiu ir aprėpia pagarbą, man­ propriate to be aware of one’s stand in this re­ dagumą, bendravimo stilių, derybas ir pan., gard – it might well be that the peers within jautrumą (Forss ir kt., 2002, p. 35), taktą (van an evaluation committee might have diferent Manen, 1991) arba tinkamus ryšius (Abma, opinions which, if not made explicit, may lead 2006) bendraujant ir pan. Sąvokos pataria- to misunderstandings and confusion. masis demokratinis požiūris (House, 1980; 3. Social and interactive values concern House, Howe, 2000; ir pan.), ketvirtos kar- requests and expectancies about dealing with tos įvertinimas (Guba, Lincoln, 1989) ar su- each other and include courtesy, politeness, teikiantis mokėjimų įvertinimas (Fetterman appropriate interaction stiles, negotiation, etc., ir kt., 1996) dažniausiai vartojamos šiems “Fingerspitzengefühl” (Forss and others, 2002, tikslams. 35), tact (van Manen, 1991) or adequate rela­ Šios srities vertybės – socialinės psicho­ tionship (Abma, 2006) in social interaction, logijos tema, kur pagrindinis dėmesys skiria­ etc. Concepts like the deli berative democratic mas socialiniams ryšiams optimizuoti, o viską approach promoted by House (1980; House & siejanti vertybė – renkant būtiną informaciją Howe, 2000; etc.), the fourth generation evalu­ gerbti partnerių orumą, asmenybę, poreikius ation (Guba & Lincoln, 1989) or empower­ ir savarankiškumą. ment evaluation (Fetterman and others, 1996) Bet koks socialinis bendravimas ir tinka­ focus partic ularly on this issue. mas elgesys priklauso nuo situacijos (Patry, The values addressed in this domain are 2011), vadinasi, vertintojai turi atsižvelgti į the topic of social psychology and focus on the kontekstą. Kitaip sakant, vertinant jų vaid­ question of optimizing social interaction, the muo yra kitoks nei įprastai bendraujant, susi­ overarching value being that the dignity, the tikus kitomis aplinkybėmis, – tokiose mažose personality, the needs and the autonomy of the šalyse kaip Austrija, Šveicarija ar Lietuva tai partners are respected while the necessary in­ atsitinka dažnai. formation is acquired.