+",."$),--+-,/ !"#$%"#&%'()*+$'&'$",-#" --#$-'#&0,"1(-$2"#$--#$"*3('%,"4'(.4 Marja Creemers Van Panopticum tot Arena, een etnografie van een auditpraktijk. November 2016 2 ‘Hebt u nog een blik op de documentatie kunnen werpen?’ vroeg de Gids. De Onderzoeker knikte. ‘Uiterst instructief, nietwaar? Ik heb het niet zelf voor u verzameld, ik heb alleen de voortgang in de gaten gehouden. Toen de afdeling Tijdelijke Behandeling werd ingekrompen heb ik een medewerker toegewezen gekregen. Die heeft het voor u verzameld. Jammer genoeg kan hij niet voor me blijven werken, hij wordt overgeplaatst naar de afdeling Conceptualisatie. Een medewerker als hij vind je niet vaak: briljant, nauwgezet en gemotiveerd, die het hele plaatje opmerkelijk goed in het oog weet te houden: volkomen representatief voor de cultuur van het Bedrijf. Zoals hij zouden we er meer moeten hebben.’ Het leek de Onderzoeker beter om maar niet te reageren. En waarop ook eigenlijk? Philip Claudel uit ‘Het onderzoek’ Marja Creemers Van Panopticum tot Arena, een etnografie van een auditpraktijk. November 2016 3 Inhoudsopgave Enkele woorden vooraf 1. Introductie en onderzoeksvraag 4 2. Onderzoeksverantwoording 23 3. De audit als panopticum 42 4. Licht in de toren van het panopticum 55 5. Een panopticum zonder toren 74 6. De casus van de onvoldoenden voor examens die niet waren afgenomen 97 7. Van panopticum tot arena 138 8. Panopticum of sensemaking? 147 Literatuurlijst 163 Overige bronnen 166 Engelse samenvatting 170 Marja Creemers Van Panopticum tot Arena, een etnografie van een auditpraktijk. November 2016 4 Voorwoord Marja Creemers Van Panopticum tot Arena, een etnografie van een auditpraktijk. November 2016 5 1. Introductie In dit hoofdstuk introduceer ik mijn onderzoek met enkele voorbeelden uit de auditpraktijk van KCE,1 de organisatie waar ik de data voor dit onderzoek heb verzameld. KCE voert audits uit in het onderwijs. Audits naar de kwaliteit van de uitvoering van inburgeringsexamens en audits naar de kwaliteit van procedures voor Erkenning van eerder Verworven Competenties (EVC). Na deze introductie volgen de onderzoeksvragen en een verkenning van de begrippen auditing en toezicht. Het hoofdstuk wordt afgesloten met een vooruitblik op de overige hoofdstukken. Een voorbeeld Suzy vertelt tijdens de maandelijkse kennisdelingsbijeenkomst van auditoren van KCE over haar ervaringen bij een instelling waar een aanvullend onderzoek moest worden uitgevoerd. Bij deze instelling waren 20 van ruim 4000 dossiers onderzocht. Bij een aantal dossiers ontbraken pagina’s van het gemaakte examenwerk en kon de auditor niet vaststellen of kandidaten het hele examen hadden gemaakt. Ook kon niet worden vastgesteld of de uitslag van het examen juist was. Het management van de instelling was ervan overtuigd dat het toeval was dat de tekortkomingen in de steekproef tevoorschijn waren gekomen. Het management was er zeker van dat in de overige dossiers geen tekortkomingen zaten. In overleg met de instelling was daarom gekozen voor een aanvullend onderzoek. Vijftig extra dossiers zouden worden onderzocht. Als in deze dossiers geen tekortkomingen zouden worden geconstateerd, dan zou de instelling het voordeel van de twijfel krijgen en een goedkeurende verklaring ontvangen. ‘We werden door de directeur-eigenaar en een medewerker ontvangen. Ze waren duidelijk gespannen. De directeur zei weinig. De medewerker benadrukte dat ze ervan overtuigd was dat het toeval was dat er tekortkomingen zaten in de onderzochte dossiers. De medewerker raakte geëmotioneerd toen ze vertelde hoe ze het afgelopen jaar hadden gewerkt aan het verbeteren van de kwaliteit van de uitvoering van de examinering. Ze waren er in geslaagd om een belangrijk deel van de regionale markt te verwerven. De tranen stonden in haar ogen toen ze zei dat het bedrijf de activiteiten zou moeten staken als ze geen goedkeurende verklaring zouden krijgen. De directeur keek strak en bevestigde al knikkend haar verhaal.’ Suzy vertelt dat ze als auditteam in eerste instantie de impasse hebben proberen te doorbreken. Ze gingen niet al te veel in op de zware druk die op hen als auditoren werd gelegd door de details van de werkzaamheden van de dag te bespreken. ‘De dossiers werden gebracht en in stapels van tien neergelegd. Tijdens het onderzoek kwam de medewerker regelmatig binnen. Soms met een vraag, soms met verse koffie. Iedere keer volgde de gespannen vraag: Hoeveel dossiers zijn al onderzocht? Hebben jullie iets gevonden? Naarmate er meer dossiers onderzocht waren en we konden melden dat er niets gevonden was, werd de sfeer meer ontspannen. De medewerker werd vrolijker en we werden door haar opluchting meegevoerd. We begonnen de dag min of meer neutraal. Iedere keer als er weer een dossier in orde was, voelden ook wij ons opgelucht. We voelden zelfs een toenemend enthousiasme. Na dertig dossiers waren we er eigenlijk al uit: ze hadden gelijk. Het was toeval! We zeiden er natuurlijk nog niets over tegen de medewerkers van de instelling. Tijdens de lunch die we samen met de directeur en een paar medewerkers gebruikten was duidelijk dat ze er alle vertrouwen in hadden en de sfeer was dan ook ronduit plezierig.’                                                                                                                 1  Kwaliteitscentrum  Examinering   Marja Creemers Van Panopticum tot Arena, een etnografie van een auditpraktijk. November 2016 6 ‘Na de lunch duurde het een half uur voordat het gebeurde. Daar was de gevreesde tekortkoming. Ik keek ernaar. ‘Ik heb het niet gezien’, flitste het door mijn hoofd. ‘Ik kan gewoon doorbladeren. Er kraait geen haan naar.’ Ik aarzelde een paar seconden voordat ik tegen Gert-Jan kon zeggen: ‘Hier ontbreekt een pagina van een examen.’ Ik keek hem aan en zag de teleurstelling in zijn ogen en hoorde zijn verwensing. ‘Ik had het ze zo gegund!’. We zeiden niet veel meer. Dit dossier werd niet op de stapel van de andere dossiers gelegd. We gingen verder met het onderzoek. Een kwartier later merkte Gert-Jan op dat hij nog een examen had gevonden met ontbrekende pagina’s. Toen een van de medewerkers van de instelling opgewekt met thee binnenkwam in de veronderstelling goed nieuws te krijgen, moest ik met een brok in mijn keel vertellen dat we in twee dossiers iets hadden gevonden. Ze trok bleek weg. Bladerde door de twee dossiers en siste woedend: ‘Kunnen jullie jezelf nog aankijken in de spiegel!’ Ze verliet de kamer. Ik voelde me verslagen en schuldig. In de resterende dossiers vonden we nog een paar examens waar pagina’s aan ontbraken. Het gesprek met het management aan het einde van de dag verliep ijzig. We vertelden zakelijk dat de instelling een voorwaardelijke verklaring zou krijgen en dat over zes maanden opnieuw een onderzoek zou plaatsvinden. We legden uit dat dan alle dossiers volledig zouden moeten zijn. Ze luisterden naar wat we te zeggen hadden, maar reageerden nauwelijks. Het afscheid was kortaf. ‘Toen we naar de parkeerplaats liepen zeiden we tegen elkaar dat we niet anders hadden kunnen handelen. Dat dit nu eenmaal de regelgeving was. Dat de regelgeving er niet voor niets was. Het halen van het inburgeringsdiploma is voor inburgeraars verplicht. Het volledige examendossier moet bewaard worden. Het examen zou een kwestie kunnen zijn bij de verlening van een verblijfsvergunning. Een onvolledig examendossier kan een dergelijke procedure hinderen en mogelijk nadelig zijn voor de inburgeraar. Dat het aan de instelling was ervoor te zorgen dat de dossiers in orde waren.’ Kort na deze kennisdelingsbijeenkomst sprak ik met Suzy over haar aarzeling de tekortkoming daadwerkelijk te zien. ‘Het was de hele opgewekte en positieve sfeer die ik zou verpesten. Ik zou hun hoop op een goede afloop wegvagen. Eigenlijk voelde ik sympathie voor ze. Ik gunde hen gewoon die goedkeurende verklaring. Alle medewerkers maakten zo’n goede indruk. Ze hebben duidelijk hart voor de zaak en komen professioneel over. Het viel me zwaar hun werkzaamheden negatief te moeten beoordelen.’ Ze haastte zich te benadrukken dat ze zich heel goed realiseerde dat ze die verantwoordelijkheid moest nemen en dat ze in deze situatie ook niet anders kon dan de tekortkoming te zien en te betrekken bij het oordeel. Nadat ze zich had verontschuldigd voor de ongerijmdheid ervan, voegde ze eraan toe dat ze blij was dat het niet maar één tekortkoming was en dat er meer tekortkomingen waren. Er was geen twijfel meer. De kans dat in de overige ruim 3.900 dossiers ook nog tekortkomingen zouden zitten, was aanzienlijk. Nog een voorbeeld Glimlachend geeft de voorzitter van College van Bestuur van het ROC aan blij te zijn dat besloten is geen afkeurende, maar een voorwaardelijke verklaring te verstrekken. Ze vervolgt met de opmerking dat ze zich weinig zorgen had gemaakt. Op mijn vraag waarom ze er geen probleem in zag, antwoordde ze dat ze begin juli gebeld was door de directeur Wonen Werken & Integratie (WWI) van het ministerie van VROM.2 Dit was kort na de ontvangst van het ontwerprapport en de melding dat er een voorgenomen besluit lag over te gaan tot het verstrekken van een afkeurende verklaring. ‘We kennen elkaar uit verschillende gremia,’ vervolgt ze. ‘De directeur WWI wilde me persoonlijk op de hoogte brengen van de bevindingen die waren gedaan. Ik heb natuurlijk meteen aangegeven dat het verbeterplan al in concept klaar is en binnenkort naar KCE zal worden gestuurd. Maar ik heb ook aangegeven dat de criteria leiden tot veel extra bureaucratische rompslomp.’ Ik vraag haar                                                                                                                 2  VROM  =  Ministerie  van  Volkshuisvesting,  Ruimtelijke  Ordening  en  Milieubeheer   Marja Creemers Van Panopticum tot Arena, een etnografie van een auditpraktijk. November 2016 7 hoe ze in dat licht aankijkt tegen de bevindingen en adviezen van de commissie externe validering.3 Deze commissie beoordeelt of het onderzoek van KCE deugdelijk is geweest, voordat het besluit wordt genomen een afkeurende verklaring te verstrekken. ‘Ik vind dat de commissie terecht aangeeft dat de normering te zwaar is en ik neem dan ook aan dat dit de reden is dat we nu een voorwaardelijke verklaring hebben gekregen. Dat ze adviseren in een beleidsregel vast te leggen hoe het management intern toezicht moet houden op de uitvoering van de examens, begrijp ik vanuit het perspectief van transparantie. Het raakt wel nogal aan de autonomie van de instelling.’ Een heel ander voorbeeld De directeur van de exameninstelling heet de auditoren van harte welkom en geeft aan dat hij de hele dag aanwezig zal zijn om vragen te beantwoorden of zaken te verduidelijken. Hij geeft aan dat het de derde audit is, sinds hij met de exameninstelling is gestart. Hij ziet een audit als een kans om informatie te krijgen en als organisatie iets te leren. In de aanloop van de audit heeft iedereen de werkprocessen nog eens doorgenomen en is gekeken of er verbeteringen mogelijk zijn. ‘Dat zou je anders misschien pas doen als er een probleem is’. Emoties die auditpraktijken oproepen Deze teksten maken deel uit van de data die ik gedurende ruim twee jaar heb verzameld. Tijdens het PhD-programma van de Universiteit voor Humanistiek legden de deelnemers aan het programma af en toe teksten aan elkaar voor. De teksten die ik aan andere deelnemers voorlegde leidden zelden tot een analyse van de situaties waar auditoren in verzeild kunnen raken. Het roept heel andere reacties op. Een bloemlezing: ‘Het perspectief van de auditees is toch veel interessanter, waarom richt je je onderzoek daar niet op?’ ‘Als auditoren zo veel moeite hebben met hun werk, gaan ze toch iets anders doen.’ ‘Het is toch duidelijk dat de examinatoren toegewijd hun werk uitvoeren. Wat maken die paar foutjes in een dossier uit? Waarom is de kwaliteit van het onderwijs minder belangrijk dan de administratie?.’ ‘Ik kan niet bevatten waarom iemand ooit dit beroep zou willen uitoefenen, gezien het destructieve effect op organisaties en professionals die aan een audit worden onderworpen. ‘Waarom tonen deze auditoren niet wat meer inlevingsvermogen?’ ‘Ik begrijp helemaal niets van de manier waarop jullie werken. Ik kan het niet opbrengen het te lezen. Ik ben ermee gestopt. Ik kan en wil er niet op reflecteren.’ ‘Dit staat heel ver af van mijn belevingswereld. Wat zijn jullie voor mensen?’ ‘Ik vind juist dat jullie veel te omzichtig handelen. Waarom al die vriendelijkheid en openheid? Het is veel beter zonder omwegen helder te maken dat jullie in de machtspositie zitten en daar niet omheen te draaien. Direct aangeven dat zaken niet in orde zijn. Dat schept helderheid over de rol van auditoren.’ Wie een kijkje neemt in de leefwereld van de auditor, reageert vaak geëmotioneerd en voelt weerstand. De sympathie ligt meestal bij de auditee die als vanzelfsprekend de rol van een machteloos slachtoffer lijkt toe te komen. De auditor rest dan de rol van dader en machthebber.                                                                                                                 3  Commissie  Externe  Validering  ,  13  september  2010,  oordeel  van  de  commissie  externe  validering   Marja Creemers Van Panopticum tot Arena, een etnografie van een auditpraktijk. November 2016 8 De emoties wekken bij mij als directeur van een auditorganisatie, maar ook als onderzoeker verwarring. Ik vraag me af of ik na ruim tien jaar werken in de auditpraktijk zo ben afgestompt dat ik niet eens meer kan zien dat ik zo veel tijd aan een nutteloze, verwerpelijke en ontwrichtende activiteit heb besteed. Maar hoe zit het dan met de voorbeelden van onderwijsinstellingen die financiële middelen aan andere zaken dan aan onderwijs hebben besteed? En de voorbeelden waar het leek te draaien om futiliteiten. Een onbeduidend detail zoals een niet goed afsluitbaar dakraam van de ruimte waar de eindexamens van de Ibn Ghaldounschool waren opgeborgen. Een paar sleutels van de kluis die verdwenen waren en waar niemand een risico in zag. Het desastreuze gevolg staat de meesten mensen nog bij: eindexamens werden gestolen en te koop aangeboden op internet. Duizenden leerlingen moesten examens opnieuw maken. De kwestie riep vragen op over de waarde van examens. De traditie van eindexamens als sluitstuk van het voortgezet onderwijs stond ter discussie. De affaire kostte de overheid veel geld. Een auditor die een school wijst op het risico van onzorgvuldig sleutelbeheer of niet- afgesloten ruimten of een ander schijnbaar onbeduidend detail, ziet veelal spottende blikken en schouderophalende managers en professionals tegenover zich. De Ibn Ghaldounkwestie is niet de enige kwestie in het onderwijs die duidelijk maakt dat publieke taken niet altijd als vanzelfsprekend goed worden uitgevoerd. Hoewel auditoren ook geregeld tegenkomen dat auditees de voordelen van audits expliciteren, worden toezicht en audits regelmatig als storend en soms zelfs als destructief ervaren. En vooral die terugkoppeling roept de vraag op of we niet zonder audits kunnen. Het rapport van de Wetenschappelijke Raad voor het Regeringsbeleid (WRR, 2013) over toezicht spreekt over ‘uiteenlopende trekkrachten die onder meer de concrete wijze waarop een toezichthouder in de praktijk zijn taken vervult, beïnvloedt’. De trekkrachten benoemt de WRR als volgt: ‘De politiek wil een assertieve waakhond die incidenten voorkomt, maar ook zo min mogelijk toezichtlasten oplevert voor bedrijven en instellingen. Het bestuur wil toezicht met minder mensen en middelen, maar ook dat het toezicht een gelijkblijvend of hoger nalevings- en kwaliteitsniveau garandeert. De onder toezicht staande sectoren willen ruimte voor vertrouwen en zelfregulering en niet te veel lasten door toezicht, maar ook dat toezicht de “free riders” stevig aanpakt. Burgers willen dat de toezichthouder tijdig alle grote problemen en risico’s aanpakt, maar ook dat hij responsief omgaat met allerlei meldingen en klachten. Het vertrouwen in de toezichthouder is mede gebaseerd op de mate waarin hij tegemoet kan komen aan al die verwachtingen’.4 Het instrument auditing wordt in dit speelveld van tegengestelde maatschappelijke behoeften en de daarmee gepaard gaande ‘trekkrachten’ ingezet om gedrag van professionele organisaties te beïnvloeden. Auditing wordt door de overheid ingezet. Organisaties zetten ook zelf auditing in. Bijvoorbeeld om de kwaliteit van de financiële bedrijfsvoering te controleren, de kwaliteit van ICT-systemen te laten vaststellen, de operationele bedrijfsvoering te controleren, producten of diensten te laten certificeren. ‘Toezicht beoogt wetten tot leven te brengen (Mertens, 2011)5 en is een maatschappelijk ritueel (Mertens, 2011)6 van controleren of men zich houdt aan wet- en regelgeving’. Achterliggende doelen hiervan zijn het beschermen en bevorderen van publieke waarden. ‘Om de zwakke burger te beschermen tegen nalatigheid, slordigheid, onvermogen, incompetentie van organisaties waar de burger, vrijwillig of onvrijwillig op aangewezen is’ (Mertens, 2011).7 Toezicht wordt uitgeoefend ter bescherming van een specifiek en                                                                                                                 4  Wetenschappelijke  Raad  voor  het  Regeringsbeleid  (2013)  Toezien  op  publieke  belangen,  39.       5  Mertens  F.  (2011)  Inspecteren,  toezicht  door  inspecteurs,  7.   6  Mertens  F.  (2011)  Inspecteren,  toezicht  door  inspecteurs,  8.   7  Mertens  F.  (2011)  Inspecteren,  toezicht  door  inspecteurs,  13   Marja Creemers Van Panopticum tot Arena, een etnografie van een auditpraktijk. November 2016 9 welomschreven belang (de Ridder, 2013).8 Toezicht wordt ook steeds vaker ingezet om problemen te voorkomen. ‘Toezicht als vorm van preventie heeft vaak de functie van afschrikking en disciplinering, gebaseerd op het idee dat mensen zich anders gedragen als ze weten dat ze in de gaten kunnen worden gehouden. Toezicht als voorwaarde voor preventie heeft de diagnostische functie van ‘vroegsignalering’ voortvloeiend uit de logica van preventie om risico’s zo vroeg mogelijk aan te pakken. Preventie en toezicht stimuleren elkaar. Preventie wordt vaak gekarakteriseerd door praktijken van toezicht en tegelijkertijd wordt toezicht vaak instrumenteel gemaakt aan preventiedoelstellingen’ (Peeters, 2015).9 Tegelijkertijd is toezicht niet erg zichtbaar. Toezicht speelt zich over het algemeen buiten het gezichtsveld van deze zwakke burger af. ‘Het brede publiek ziet weinig uit de eerste hand van het toezicht, ook al is het alom aanwezig. Het toezicht is onzichtbaar aanwezig in zo goed als elk systeem. Mede dankzij de aanwezigheid van toezicht zijn veel systemen, producten en plaatsen ‘veilig’ en kwalitatief op orde. Dankzij de onzichtbare aanwezigheid van het toezicht hoeven mensen zich amper druk te maken over voor hun fysieke, sociale en economische veiligheid cruciale zaken’ (Steen, 2013).10 Als onderzoeker verwonderen de reacties van andere deelnemers van het PhD-programma en docenten me. Hebben ze nooit een positieve ervaring gehad met een audit? Zien ze het nut van toezicht voor de samenleving niet? Vinden ze preventie minder belangrijk? Wat is het dat deze heftige emoties opwekt bij mensen die bij de beschreven situaties niet betrokken zijn geweest? Herkennen ze de situatie en voelen ze een soort plaatsvervangende machteloosheid? Identificeren zij zich met het vermeende slachtoffer; de professional wiens professionaliteit wordt aangetast? Zijn auditees slachtoffers en als dat zo is, maakt dat dan auditoren tot daders? Zijn die rollen zo zwart-wit? Zit er tussen al dat zwart en wit niet een heel breed grijs gebied? Hebben auditees geen mogelijkheden de auditor te beïnvloeden en als die mogelijkheden er wel zijn, gebruiken ze die dan? Waarom wel of niet? Worden auditoren geraakt emoties en teleurstelling en in hoeverre beïnvloedt hen dat? Zijn er misschien nog andere factoren die auditoren beïnvloeden in hun oordelen? Auditing als panoptisch systeem Auditing wordt in de literatuur geregeld neergezet als een panoptisch systeem onder verwijzing naar het gebruik van deze metafoor door Foucault (2010).11 Foucault gebruikt Bentham’s panopticum (1995)12 om te illustreren hoe macht werkt. Foucault zegt dat macht die wordt uitgeoefend, moet worden opgevat als een strategie waarbij de dominerende effecten worden toegeschreven aan disposities, manoeuvres, tactieken, technieken en procedés. Macht is een netwerk van altijd actieve, altijd gespannen verhoudingen. Macht is het gezamenlijke effect van haar strategische posities, een effect dat zich niet alleen in de posities van hen die overheerst worden manifesteert, maar hierdoor dikwijls ook wordt bestendigd. (…) De macht kapselt hen in, gaat via hen en doordringt hen, ze steunt op hen, zoals ook zij op hun beurt in de strijd tegen haar steunen op de aanslagen die ze op hen pleegt. Dit betekent dat deze verhoudingen diep in alle lagen van de maatschappij doordringen, dat ze niet beperkt zijn tot de verhouding tussen staat en burgers (…), dat ze niet enkel de algemene vormen van wetgeving of regering weergeven op het niveau van het individu, zijn lichaam, zijn handelingen en gedrag. (…) Er is sprake van specifieke mechanismen en modaliteiten(…), ze impliceren een oneindig aantal wrijfpunten en bronnen van instabiliteit, die ieder afzonderlijk het gevaar in zich dragen van een conflict, een strijd of op zijn minst een tijdelijke omkering van de krachtsverhoudingen (Foucault, 1975).13                                                                                                                 8  Ridder  J.  de  (3013)  Proxytoezicht  in  Tijdschrift  voor  Toezicht  2013/1  23-­‐40,  24   9  Peeters  R.  (2015)  Het  verlangen  naar  voorkomen,  113   10  Steen  M.  v.d.  e.a.  (2013)  Ruimte  voor  strategie  uit  Tijdschrift  voor  Toezicht  2013/3,  26-­‐42,  28   11  Foucault  M.  (2010)  Discipline,  Toezicht  en  Straf   12  Bentham  J.  (1995)  The  Panopticon  Writings   13  Foucault  M.  (2010)  Discipline,  Toezicht  en  Straf,  42  en  43   Marja Creemers Van Panopticum tot Arena, een etnografie van een auditpraktijk. November 2016 10