Contra expertise verschillen analyse objectief verdeelmodel WWB Inkomensdeel
Van start tot finish
Door: Erik Brouwer
Koert van Buiren
Paula Juijn
Met dank aan: Peter Nieuwenhuizen
Onderzoek in opdracht van Ministerie van Sociale Zaken en Werkgelegenheid
Amsterdam, 6 April 2004
Inhoudsopgave
Management samenvatting 2
1 Achtergrond en aanleiding van het onderzoek 4
2 Probleemstelling van het onderzoek en leeswijzer 6
3 Selectie van te analyseren gemeenten 7 3.1 Aanpak APE 7 3.2 Opmerkingen PwC 8
4 Kwaliteit van de vragenlijst 10 4.1 Aanpak APE 10 4.2 Opmerkingen PwC 10
5 Volledigheid en eenduidigheid scorekaart & hardheid uitkomsten 17 5.1 Methodiek 17 5.1.1 Aanpak APE 17 5.1.2 Opmerkingen PwC 18 5.2 Hardheid uitkomsten 21 5.2.1 Uitkomsten verschillenanalyse APE 21 5.2.2 Opmerkingen PwC 22
6 Conclusies 24 Bijlage A Bundeling en rangschikking variabelen 28 Bijlage B Opmerkingen vragenlijst APE 31
Management samenvatting
Gemeenten in Nederland krijgen van de Rijksoverheid een budget toegewezen ten behoeve van de uitvoering van de Wet Werk en Bijstand (WWB). Het inkomensdeel van dit budget voor de grotere gemeenten wordt vastgesteld door middel van het objectief verdeelmodel. Het gebruik van het objectief verdeelmodel heeft als implicatie dat een herverdeling van budgetten tussen gemeenten plaatsvindt. De omvang van deze herverdeeleffecten heeft geleid tot vragen en kritiek ten aanzien van de omvang van de herverdeeleffecten (zowel positief als negatief) en het ontbreken van verklaringen hiervoor.
In dit kader heeft het Ministerie van Sociale Zaken en Werkgelegenheid de maker van het objectief verdeelmodel onderzoeksbureau APE verzocht een onderzoek te verrichten onder andere naar de verschillen in herverdeeleffecten tussen gemeenten, en in het bijzon- der de verklaring van deze verschillen. Voorts heeft het Ministerie
PricewaterhouseCoopers (PwC) verzocht een contra-expertise hierop uit te voeren, met als centrale vraag: Worden de conclusies van het onderzoek gedragen door het beschikbare materiaal en de daarop gepleegde analyse? Zoals de centrale vraagt impliceert, behelst de contra-expertise voornamelijk een plausabiliteitstoets op de gehanteerde onderzoeks- methode, de verrichte analyses en de uitkomsten.
Op basis van onze analyse van de data die APE heeft verzameld, de gehanteerde onder- zoeksmethodiek, het rapport van APE en gesprekken met de onderzoekers, beantwoorden wij de centrale onderzoeksvraag als volgt:
De gehanteerde methodiek is geschikt voor de analyse van de verzamelde en gebruikte data. Tevens is gebleken dat de gebruikte data kwalitatief goed is. De conclusies van het onderzoek van APE met inbegrip van de kanttekeningen die APE hierbij maakt worden gedragen door het beschikbare materiaal en de daarop gepleegde analyse.
Deze algemene conclusie kunnen wij trekken op basis van onze bevindingen ten aanzien van de volgende aspecten van het onderzoek van APE: de selectie van de te analyseren gemeenten, de kwaliteit van de vragenlijst, de volledigheid en eenduidigheid van de scorekaart en de hardheid van de uitkomsten. Onze bevindingen ten aanzien van deze aspecten zijn hieronder samengevat.
De twee groepen gemeenten (voordeel- en nadeelgemeenten) kennen spreidingen van herverdeeleffecten die dezelfde orde van grootte hebben. Dit komt de analyse ten goede omdat beide groepen gekenmerkt worden door voldoende en nagenoeg gelijke variatie. De non-respons, dat wil zeggen de gemeenten die de enquête niet hebben ingevuld, heeft het aantal waarnemingen waarop de analyse uitgevoerd kon worden aanzienlijk verlaagd. Het effect hiervan op de hardheid van de uitkomsten is echter beperkt, omdat de spreiding van deze groep vrijwel geheel valt binnen de spreiding van de voordeelgemeenten. Hierdoor is door non-respons weinig variatie verloren gegaan.
De kwaliteit van de vragenlijst is over het algemeen goed, maar zou meer tot zijn recht zijn gekomen bij grotere steekproeven vanwege het sterk kwantitatieve karakter van de vragen. Aanvullende meer kwalitatieve vragen ten aanzien van gebruikte beleidsinstrumenten en gestelde en bereikte doelen waren wenselijk geweest, maar niet noodzakelijk. Een be- perkt aantal vragen kon vanwege minder heldere definities of uitleg kans geven op inter- pretatieverschillen of non-respons, echter, voor zover dit probleem zich heeft voorgedaan is het in aanzienlijke mate opgelost door gesprekken die met iedere individuele gemeente zijn gevoerd.
Aan de hand van de indicatoren ten behoeve van de scorekaart is geanalyseerd in hoeverre de verschillen in herverdeeleffecten konden worden verklaard door verschillen in de beleids- en uitvoeringspraktijk. In het algemeen geven deze indicatoren een voldoende compleet beeld van de beleids- en uitvoeringspraktijk. De wijze waarop APE vervolgens deze indicatoren heeft gebruikt in haar analyse sluit tevens goed aan bij het onderliggende materiaal en maakt de effecten inzichtelijk. Zoals APE in haar rapport opmerkt, is het van belang de hieruit verkregen resultaten in het juiste perspectief te plaatsen. Zo geven de resultaten van het onderzoek geen uitsluitsel over de mogelijke invloed van andere beleids- factoren die niet in het onderzoek zijn meegenomen. Hierbij kan bijvoorbeeld gedacht wor- den aan het gemeentelijk economisch beleid en het huisvestingsbeleid.
De conclusie van APE dat de onderlinge verschillen tussen gemeenten in hun beleids- en uitvoeringspraktijk zeer waarschijnlijk mede bepalend zijn voor de richting en de omvang van de herverdeeleffecten van het objectief verdeelmodel, wordt door ons onderschreven.
Zie verder het origineel