De kwaliteit van het hoger onderwijs staat de laatste tijd flink ter discussie. Kwaliteitszorg en het daarmee samenhangende accreditatieproces zijn dan ook hot items binnen hogescholen en universiteiten. In dit artikel, gepubliceerd in het blad Onderwijsinnovatie beschrijf ik hoe het slim toepassen van BI de kwaliteitszorg in het hoger onderwijs ten goede komt.

In iedere organisatie van enige omvang speelt het uitwisselen van informatie een belangrijke rol.  Het komt dan ook geregeld voor dat er van bepaalde informatie verschillende versies circuleren. Stel je voor: Een hogeschool slaat van alle ingeschreven studenten informatie op in een centraal inschrijfsysteem. Daarnaast gebruikt iedere faculteit haar eigen op zichzelf staande studievolgsysteem (voor de niet ingewijden: een systeem waarin studieresultaten worden bijgehouden).  Ook hierin is informatie over studenten opgeslagen die oorspronkelijk bij instroom is overgenomen van het centrale inschrijfsysteem. Zowel in het inschrijfsysteem, als in het studievolgsysteem kunnen vanaf dat moment onafhankelijk van elkaar wijzigingen worden aangebracht op de studentgegevens. Het is dientengevolge heel goed mogelijk dat in beide systemen tegenstrijdige informatie rondom een bepaalde student is opgeslagen. Dit voorbeeld is slechts het topje van de ijsberg. Soortgelijke problemen doen zich voor bij medewerkers die zowel in het HRM systeem, het financiële systeem en soms ook in het studievolgsysteem (docenten) staan opgeslagen. En nog een (uit eigen ervaring): Als studenten die ingeschreven staan bij faculteit A een cursus volgen bij faculteit B dan wordt de betreffende cursus in het studievolgsysteem van beide faculteiten overgenomen. Kortom:  Er zijn legio voorbeelden.

En dan rijst nu de vraag: Wat is waar? Je zou kunnen zeggen dat dit op zich geen interessante vraag is. De student kan immers netjes zijn studie doorlopen en daar is het ons toch allemaal om te doen. Dit is op zich waar. Het punt is alleen dat wanneer we managementinformatie willen gaan afleiden, we voor een dilemma staan. Deze managementinformatie is geen doel op zich maar speelt een belangrijke rol in de kwaliteitscyclus (en uiteindelijk ook in het accreditatieproces). Als de juiste mensen op het juiste moment kunnen beschikken over de juiste managementinformatie, kan er beter gestuurd worden.  Misschien doorloopt de student zijn studie dan wel wat sneller, of sluit zijn kennis beter aan op de arbeidsmarkt, om maar eens wat te noemen.

Hoe voorkomen we dat er onduidelijkheid bestaat over welke informatie we moeten gebruiken voor het afleiden van managementinformatie?

Een antwoord hierop is Master Data Management (MDM). Het komt er dan op neer dat van alle niet transactionele informatie er een centrale administratie wordt aangewezen die als leidend beschouwd wordt binnen alle werkprocessen in de organisatie. Het decentraal wijzigen van gegevens die onder het MDM regime vallen is dan dus vloeken in de kerk. Dit betekent uiteraard wel dat alle werkprocessen en geautomatiseerde systemen hierop geënt moeten zijn. Dit is geen sinecure. Teruggrijpend naar de bovenstaande voorbeelden moet er dan MDM worden toegepast op de entiteiten Student, Medewerker en Cursus. Als er gekozen is voor een data warehouse als middel voor het verkrijgen van managementinformatie is het laden ervan door MDM een stuk eenvoudiger geworden. Transactionele data uit de verschillende bronsystemen kan dan relatief eenvoudig aan de entiteiten gekoppeld worden die onder MDM vallen.

Veel organisaties “kiezen” noodgedwongen voor een alternatief voor MDM. Namelijk door voor het verzamelen van brondata voor managementinformatie te kiezen voor een bronsysteem dat als leidend gezien moet worden. Deze leidende data wordt dan eventueel nog aangevuld met data uit niet leidende bronnen. Dit levert in de praktijk bijna per definitie problemen op met betrekking tot het aan elkaar koppelen van data uit verschillende bronsystemen. Het kan in dat geval haast niet anders dan dat de trukendoos open moet om toch maar zoveel mogelijk data wel te kunnen koppelen. Tijdens dit koppelproces zal naar alle waarschijnlijkheid bepaalde data afkomstig uit niet leidende systemen, genegeerd worden. In het beste geval zijn alle betrokkenen (van eigenaren van de bronsystemen tot aan eindgebruikers van de managementinformatie) het eens over de gekozen aanpak. Maar uiteindelijk zullen slechts weinigen kunnen overzien wat de gevolgen zijn van de toegepaste trucs voor de kwaliteit van de managementinformatie die hieruit voortkomt. Waarschijnlijk zijn dit alleen die personen die verantwoordelijk zijn voor de technische realisatie ervan. De verantwoordelijkheid voor datakwaliteit wordt op deze manier bij de verkeerde personen gelegd. Hoe dan ook: deze praktijk komt zeer veel voor.

Bij het ontbreken van MDM pleit ik ervoor om in ieder geval alle brondata ‘as is’ te bewaren met een tijdsstempel. Namelijk het is best mogelijk dat we bijvoorbeeld door voortschrijdend inzicht bedenken dat het koppelen van data uit verschillende bronnen toch anders moet verlopen. Als we data historisch hebben bewaard, kunnen we met terugwerkende kracht deze nieuwe manier van koppelen alsnog gaan uitvoeren. Een data warehouse ingericht volgens principes als Data Vault  en Anchor Modelling is hier heel geschikt voor.

We zijn nu op de helft. Als we eenmaal zover zijn dat de we brondata bij elkaar hebben gezocht, moet er nog managementinformatie van gemaakt worden.  In de volgende blogpost ga ik hier wat dieper op in.

Accreditatie is in hoger onderwijsland een heet hangijzer. O.a. de bekostiging en het imago van de instelling of opleiding hangen hier van af dus eens in de zes jaar is het weer tijd om de bloemetjes buiten te zetten. Het accreditatieproces wordt veelal ervaren als een grote inspanning. Begin dit jaar is door de NVAO het nieuwe accreditatiestelsel voor instellingen in het hoger onderwijs geïntroduceerd. De focus dit nieuwe stelsel is verschoven van kwaliteitsborging naar kwaliteitsverbetering. Daarnaast zou het de administratieve last voor onderwijsinstellingen wat moeten verlichten, met name door de introductie van een instellingstoets kwaliteitszorg. Een onderwijsorganisatie die op deze toets een positieve beoordeling behaalt, komt in een ander (lichter) accreditatie regime terecht voor haar opleidingen, waarvoor dus minder informatie aangeleverd hoeft te worden.  Voor meer info kijk hier.

Instellingen en opleidingen moeten voor accreditatie twee typen informatie aanleveren. Enerzijds moet tekstuele informatie worden geleverd zoals diverse beleidsstukken rondom kwaliteitszorg, een kritische zelfreflectie en niet kwantificeerbare bewijzen van deugdelijkheid van de onderwijskwaliteit.  Anderzijds zal ook de nodige getalsmatige onderbouwing geleverd moeten worden om de effectiviteit van de kwaliteitszorg aan te tonen.  Zeker nu focus nadrukkelijker op kwaliteitsverbetering komt te liggen zal een opleiding des te meer moeten kunnen aantonen hoe zij deze kwaliteitsverbetering dan wel denkt te kunnen meten en vervolgens hierop te acteren.

Een accreditatie kost meer tijd en moeite naarmate kwaliteitszorg een slechter geïntegreerd onderdeel van het werkproces is. Als kwaliteitszorg door de gehele organisatie structureel aangepakt zou zijn, zou het opleveren van de juiste informatie voor de auditcommissie niet zo’n grote last zijn. Beleidsplannen kunnen dan zo van de plank getrokken worden en de getallen die bewijzen dat deze plannen werken kunnen vlot berekend worden. Namelijk de data die een organisatie gebruikt om kengetallen te berekenen die de effectiviteit van haar kwaliteitszorg inzichtelijk maakt voor de auditcommissie zou dezelfde moeten zijn als  waarop de organisatie de haar processen stuurt. Als dit niet het geval is, dan zou men zich moeten realiseren dat er kennelijk iets mis is met het ‘Check’ deel in de PDCA cyclus die het hart van het stelsel van kwaliteitszorg vormt. Dien ten gevolge kan aan het ‘Act’ deel ervan ook geen goede invulling gegeven worden, wat weer tot de conclusie leidt dat men kwaliteitszorg niet op orde heeft.

Bovengenoemd scenario treedt typisch op als men de accreditatie als een zesjaarlijkse verplichte exercitie ziet waarin men even door een hoepeltje moet springen en na het bereiken  van een positief oordeel weer rustig achterover kan leunen.

Om de (verbetering van) kwaliteit van een onderwijsproces te kunnen meten zal op regelmatige basis aan zowel aan de input als aan de output kant gemeten moeten worden. Informatie aan de output kant kan worden vergeleken met een norm om zo te bepalen of men op koers ligt. Hierbij dient te worden opgemerkt dat veel processen op zich weer op te delen zijn in deelprocessen. Op alle niveaus kan gemeten en vergeleken worden.

Op het  niveau van opleiding kun je wat betreft input bijvoorbeeld denken aan het vastleggen van informatie rondom instroom van studenten zoals: de gevolgde opleidingsvorm, nationaliteit, leeftijd, vooropleiding,  geslacht etc. Wat betreft output kun je denken aan informatie rondom uitstroom zoals: uitstroom met/zonder diploma,  moment van uitvallen, doorstroom naar betaalde baan of vervolgopleiding, tevredenheid over de opleiding etc.

Op cursusniveau kun je aan de inputkant denken aan het vastleggen van informatie rondom  bestede FTE’s per werkvorm (hoorcollege, werkcollege, stage etc.), bepaalde karakteristieken van docenten zoals: specialisme, type aanstelling, nationaliteit en studenten gebonden aspecten zoals: hoofdopleiding, nationaliteit, major of minor cursus, cursus wel niet verplicht etc.  Aan de outputkant valt in dit verband te denken aan het werkelijke aantal contacturen tussen student en docent, het werkelijk aantal besteedde uren door student en docent,  studenttevredenheid over: cursusmateriaal, deskundigheid van de docent, didactische vaardigheden van de docent, bereikbaarheid van de docent, studielast etc.

Met name de informatie aan de outputkant van processen is doorgaans lastig of zelfs onmogelijk op een later tijdstip (bij een accreditatie) te bepalen. Het is daarom zaak om te meten en vast te leggen zo snel dit mogelijk is. Deze regel moet ‘ingebakken’ zijn in ieder proces in de organisatie. Maar dat alleen is niet genoeg. Als het meten van de kwaliteit per geval (bijvoorbeeld per cursus) weer op een andere wijze gebeurt en wordt vastgelegd, resulteert dit alsnog in heel veel werk als je dit soort informatie wilt bundelen in een overzicht of kengetal.  Daarom is het nodig dat er een algemeen geldende werkwijze van evaluatie wordt gehanteerd, over de verschillende processen heen.  De verzamelde data kan dan weer op een centrale plek worden bewaard, en bijvoorbeeld via een data warehouse worden ontsloten voor de organisatie. Deze werkwijze moet organisatiebreed gedragen worden en helder zijn vastgelegd. Dit is dan meteen een mooi document om aan de auditcommissie te overhandigen.  Dit kan mijns inziens alleen maar werken als iedereen in de organisatie het belang hiervan inziet en de managementinformatie die hierdoor beschikbaar komt ook kan gebruiken om de eigen processen bij te sturen op het moment dat het nodig is en niet alleen voor de accreditatie. Het accreditatieproces is op deze manier het logische verlengde van de hele kwaliteitszorgcyclus.