Kwaliteitszorg onderzoek


In internationale vergelijkingen scoort het onderzoek aan de Nederlandse universiteiten en onderzoeksinstituten onverminderd hoog. Systematische evaluaties van wetenschappelijke kwaliteit en relevantie dragen daar sinds de jaren ’80 in grote mate aan bij. Door deze systemen voortdurend te verbeteren tonen de universiteiten en onderzoeksinstituten van KNAW en NWO zich eigenaar en bewaker van de hoge kwaliteit van de wetenschapsbeoefening.

De evaluaties van wetenschappelijk onderzoek worden uitgevoerd met een Standaard Evaluatie Protocol (SEP) ontwikkeld door KNAW, NWO en VSNU. Het SEP vormt de kern van het stelsel voor kwaliteitszorg van onderzoek en heeft zijn grote waarde inmiddels bewezen. In 2013 is het SEP 2009-2015 geëvalueerd en door de VSNU, NWO en KNAW geheel herzien om het stelsel beter te laten aansluiten op de eisen die wetenschap en maatschappij nu stellen. Het SEP 2015-2021 heeft vervolgens een aantal verbeterpunten doorgevoerd en is het huidige functionerende protocol. Het nieuwe SEP 2021-2027 is in 2020 gelanceerd en is omgedoopt tot Strategie Evaluatie Protocol om sterker de rol van de strategie van onderzoeksgroepen te benadrukken. Ook zijn actuele ontwikkelingen op gebied van Erkennen en Waarderen van wetenschappers en Open Science geïntegreerd in dit protocol. Vanaf 2021 zullen evaluaties worden uitgevoerd Het SEP 2021-2027.
 

Het Standard Evaluation Protocol

 

Het SEP geeft richtlijnen voor het evalueren van onderzoek en van onderzoeksbeleid. Alle onderzoeksinstituten en onderzoeksgroepen bij universiteiten worden eens per zes jaar door een externe evaluatiecommissie beoordeeld op drie criteria:

•    Kwaliteit van het onderzoek
•    Maatschappelijke relevantie van het onderzoek
•    Levensvatbaarheid van de onderzoeksgroep
 
Ter voorbereiding op deze evaluatie schrijft de onderzoeksgroep een zelfevaluatierapport. In dit rapport wordt aandacht besteed aan de bovengenoemde criteria.
De evaluatiecommissie beoordeelt de zelf-rapportage en bezoekt de onderzoeksgroep tijdens een zogenoemde 'site-visit'. Samen met het zelfevaluatierapport vormt deze site-visit de basis voor het oordeel van de commissie.



Strategie Evaluation Protocol 2021-2027

 

Het Strategy Evaluation Protocol (SEP) voor 2021-2027 is vastgesteld door VSNU, NWO en KNAW. Het SEP wordt gebruikt om in een zesjarige cyclus de kwaliteit, relevantie en levensvatbaarheid van onderzoek in publieke instellingen in Nederland te evalueren.

De zelf-gestelde doelen en strategie van een onderzoekseenheid zijn daarbij leidend. Het nieuwe protocol is omgedoopt tot Strategy Evaluation Protocol om te benadrukken dat de evaluatie van het onderzoek wordt gedaan in de context van de doelen en strategie van de onderzoekseenheid.

Het SEP is een flexibel instrument, bedoeld om met minimale inspanning maximale winst uit onderzoeksevaluaties te halen. De onderzoekseenheden kunnen zelf bepalen welke indicatoren ze geschikt achten voor het evalueren van het onderzoek van hun eenheid. De basis van de evaluatie vormt een zelfevaluatierapport van maximaal 20 pagina’s. De SEP-evaluaties geven besturen en onderzoekseenheden de gelegenheid de kwaliteit van het onderzoek te volgen en te verbeteren in het kader van de voortgaande institutionele kwaliteitszorgcyclus. Er worden geen kwantitatieve beoordelingscriteria meer gegeven aan onderzoekseenheden; de nadruk ligt op kwalitatieve beoordelingen waarmee de eenheid in de toekomst aan de slag kan. Ook krijgen aspecten als Open Science, Academic Culture, HR-beleid, en PhD-beleid aandacht in de evaluatie. Hiermee krijgen maatschappelijke ontwikkelingen zoals het erkennen en waarderen van wetenschappers een plek.


 

Standard Evaluation Protocol 2015-2021
 

Het Standaard Evaluatie Protocol (SEP) 2015-2021 beschrijft de doelstellingen en methodiek van de zesjaarlijkse evaluaties van het wetenschappelijk onderzoek dat aan de universiteiten en in de NWO- en KNAW-instituten wordt verricht.

In dit SEP is de strategie van de onderzoeksgroep leidend geworden in het evaluatieproces. Er is meer en meer systematische aandacht voor maatschappelijke relevantie en een uitbreiding en aanscherping van de beoordeling van promotieopleidingen. Er is een beoordeling van het wetenschappelijke integriteit beleid toegevoegd en productiviteit als zelfstandig criterium is geschrapt. Ook wordt in dit SEP de uitgeschreven beoordeling van de evaluatiecommissie ondersteund door een categorie (1, 2, 3 of 4). Er is een nieuw scoremodel ingevoerd volgens 4-puntschaal om beter onderscheid te maken in de kwaliteit van onderzoeksgroepen en er is meer transparantie over de uitkomsten en follow-up van onderzoeksevaluaties.