Arbokennisproducten onder de AGREE-loep: eindrapport
Welke criteria zijn echt belangrijk om de kwaliteit van arbokennisproducten vast te kunnen stellen? Voor diverse onderwerpen bestaan er immers meerdere van dergelijke arbokennisproducten en het verschil is voor mensen in de praktijk niet altijd meteen duidelijk. In het debat over de verschillen tussen diverse arbokennisproducten worden allerlei criteria gebruikt, zoals wetenschappelijke onderbouwing of praktijkgerichtheid. Deze vragen hebben centraal gestaan in het project: 'Arbokennisproducten gewogen'.
De doelstelling van het project was het debat aanwakkeren in Nederland over de kwaliteit van arbokennisproducten en draagvlak te ontwikkelen voor uniforme criteria om de kwaliteit van arbokennisproducten te beoordelen. Hierbij is vooral gebruik gemaakt van het AGREE-instrument.
Kwaliteit van richtlijnen
Het AGREE-instrument (Appraisal of Guidelines for Research and Evaluation) is een beoordelingslijst die is ontwikkeld door experts uit 13 landen, internationaal gevalideerd en aanbevolen door de WHO en de Raad van Europa. De lijst bestaat uit 23 items verdeeld over 6 domeinen en een algemene vraag of men de richtlijn aanbeveelt voor toepassing in de praktijk. Op basis hiervan kunnen 6 domeinscores berekend worden, die elk verwijzen naar een aparte dimensie van kwaliteit van richtlijnen: onderwerp en doel, betrokkenheid belanghebbenden, methodologie, helderheid en presentatie, toepassing en onafhankelijkheid opstellers.
Beoordeling
In totaal zijn 22 arbokennisproducten afkomstig van de NVAB, STECR en een aantal andere kennisinstituten beoordeeld door 30 sleutelpersonen uit kennisinstituten en de universitaire wereld en door personen die binnen grote arbodiensten betrokken zijn bij deskundigheidsbevordering. Elk van hen ontving 3 verschillende arbokennisproducten en een vragenlijst, bestaande uit de 23 AGREE-items, waarbij voor elk item ook gevraagd is hoe relevant men dat criterium in dit specifieke geval vond. Tevens waren een twintigtal vragen toegevoegd over het nut en de toepasbaarheid van de AGREE. Elk arbokennisproduct werd door 2 tot 6 verschillende mensen beoordeeld, waarbij een product nooit beoordeeld werd door iemand uit de kring van de organisatie die het product uitbracht.
Voor een volledige weergave van de resultaten kunt u het
Enkele highlights uit het Eindrapport:
* De AGREE-scores maken goed zichtbaar wat de zwakke plekken van de onderzochte arbokennisproducten zijn en hoe die verbeterd kunnen worden.
* AGREE-domeinscores kunnen verbeterd worden door in het arbokennisproduct vollediger informatie op te nemen over het ontwikkelproces of bepaalde stappen in dat proces syste-matischer uit te voeren (bijvoorbeeld literatuuronderzoek). Soms moet het ontwikkelproces uitgebreid worden met nieuwe elementen (bijvoorbeeld met een praktijktest of het nagaan van voorkeuren van cliënten).
* Er zijn nogal wat arbokennisproducten met een lage Methodologiescore. De inhoud is dan misschien wel zorgvuldig samengesteld, maar door het ontbreken van informatie over de manier waarop adviezen onderbouwd zijn, wordt de geloofwaardigheid van die arboken-nisproducten aangetast.
* Gemiddelde domeinscores met behulp van het AGREE-instrument van minimaal 4 beoordelaars van diverse achtergrond leveren een betrouwbare uitslag op.
* Mits voldoende toegelicht, hoeven de AGREE-items niet anders verwoord te worden in een arbocontext. De huidige formulering levert geen bovenmatige spreiding van antwoord-scores op.
* Allerlei soorten arbokennisproducten (als zelfstandig document uitgegeven) kunnen op een goede vergelijkbare manier met de AGREE beoordeeld worden.
* Volgens de beoordelaars omvatten de AGREE-items alle belangrijke criteria om de kwaliteit van arbokennisproducten te kunnen beoordelen.
* Het expliciete richtlijnkarakter van arbokennisproducten kan verschillen, maar de 6 AGREE-domeinen bestrijken een dermate breed gebied aan criteria dat de domeinscores een goed totaalbeeld geven van de diverse kwaliteitsaspecten van het arbokennisproduct.
* Het invullen van de AGREE is eenvoudig en goed uitvoerbaar.
Laatst gewijzigd: 25-10-2005