Skip to main content

Auteur: Secretariaat

Communicatie, presentatie en nazorg

Aandacht voor een rapport staat niet gelijk aan doorwerking. Maar aandacht is wel een belangrijke voorwaarde voor doorwerking.

Doelgroepen

  • Raad / Provinciale Staten
  • College / Gedeputeerde Staten
  • Ambtelijke organisatie
  • Beleidsveld / maatschappelijk middenveld
  • Media
  • Samenleving

Communicatie

Een goede communicatiestrategie gericht op verschillende doelgroepen is van belang. Als stelregel geldt: hoe directer (frequenter, informeler) de communicatie tussen rekenkamer en haar doelgroep is, des te groter de kans op gebruik van resultaten. Persoonlijke communicatie is meestal effectiever dan schriftelijke. Maar ook: als een rapport breed verspreid wordt, krijgt het waarschijnlijk meer aandacht. Optimale media-aandacht vraagt een actieve benadering (goede persberichten, persconferenties, maar ook persoonlijk contact met journalisten). Het zoeken van de publiciteit brengt ook een risico op minder doorwerking met zich mee. De media kunnen bijvoorbeeld de boodschap van de rekenkamer op de verkeerde wijze interpreteren of berichtgeving kleuren.

Presentatie

In het algemeen geldt: hoe meer aandacht het advies krijgt tijdens de presentatie, des te groter de kans op doorwerking. De presentatie van de onderzoeksresultaten moet passen bij het onderzoek en aansluiten bij de beleving en het begripsniveau van de doelgroep. Meestal presenteren rekenkamer(commissie)s uitkomsten van onderzoek in een onderzoeksrapport, dat wordt toegezonden aan belanghebbenden / belangstellenden. Daarnaast kunnen de resultaten ook op andere manieren worden gepresenteerd. Bijvoorbeeld een video, een (interactieve) website, een posterpresentatie, een fotoreportage, een werkconferentie, een lezing, een folder of een rekenkamerbrief.

Nazorg

Met een goede nazorg kan de aandacht voor een rapport ook op langere termijn aanhouden. Het volgen van totstandkoming van standpunten van en besluitvorming door de raad / provinciale statenis hiervoor van groot belang. Daarnaast kan de rekenkamer(commissie) aan nazorg doen:

  • door bij verschillende gelegenheden te wijzen op relevante onderzoeksresultaten,
  • het aangaan van gesprekken en
  • het doen van vervolgonderzoek en / of doorwerkingsonderzoek.

Uiteraard kan de rekenkamer(commissie) er ook voor kiezen geen natraject te doen.
De meeste rekenkamer(commissie)s (80%) monitoren de toezeggingen van de colleges / gedeputeerde staten of voeren periodiek vervolgonderzoeken uit.

Conceptuele doorwerking

Conceptuele doorwerking is de verandering van kennis, opvattingen of causale redeneringen. Het onderzoek leidt tot discussie, gedachtenvorming en ontwikkeling van toekomstvisie. Het onderzoek heeft dan vooral een een informatiefunctie en dient als richtingaanwijzer. Voor conceptuele doorwerking is het noodzakelijk dat de rekenkamer(commissie) met een nieuw, alternatief perspectief komt op de oorzaken of omvang van het beleidsprobleem, de gewenste beleidsaanpak of de institutionele structuur van het beleidsveld. Van conceptuele doorwerking is ook sprake wanneer zowel de raad/provinciale staten (ps), het college / gedeputeerde staten en de ambtelijke organisatie bij de beleidsontwikkeling rekening houden met of geleerd hebben van het fenomeen rekenkamer(commissie) in hun gemeente of provincie. Kenmerkend voor conceptuele doorwerking is dat er een relatief lange periode overheen gaat voor de effecten zichtbaar worden. De effecten zijn ook minder duidelijk zichtbaar. Conceptuele doorwerking is vaak een indirect effect van onderzoek.

Van conceptuele doorwerking van rekenkameronderzoek / de rekenkamer(commissie) is nog niet zoveel sprake.

Controle-instrumenten gemeenteraad

Rekenkameronderzoek is één onderdeel van meerdere controle-instrumenten waar de raad gebruik van kan maken. De rekenkamer(commissie) mag als enige het gevoerde bestuur door college en raad onderzoeken. Dat is relevant voor de uiteindelijke positiebepaling van de rekenkamer. Enkele belangrijke andere controle-instrumenten voor de raad zijn:

  • De raad stelt bij verordening regels voor de controle op het financiële beheer en op de inrichting van de financiële organisatie (artikel 213 Gemeentewet). De raad wijst ook op grond van dit artikel in de gemeentewet accountants aan die belast worden met de controle op de jaarrekening en daarover een verslag (inclusief rechtmatigheidoordeel) moeten uitbrengen.
  • Het college verricht periodiek onderzoek naar de doelmatigheid en doeltreffendheid van het door hem gevoerde bestuur (artikel 213a Gemeentewet. De raad stelt bij verordening regels hierover. Het college is op grond van hetzelfde artikel verplicht de rekenkamer(commissie) op de hoogte te stellen van deze onderzoeken en ook verplicht een afschrift van de resultaten aan de raad en aan de rekenkamer(commissie) te sturen.
  • Daarnaast heeft de raad op grond van artikel 155a-f de mogelijkheid een onderzoek in te stellen naar het door het college of de burgemeester gevoerde beleid (recht van enquête). Dat onderzoek wordt uitgevoerd door een onderzoekscommissie bestaande uit raadsleden. Deze vorm van raadsonderzoek is te vergelijken met een parlementaire enquête. Getuigen kunnen zelfs onder ede gehoord worden. Alleen raadsleden kunnen deel uit maken van de commissie.
  • De raad kan ook onderzoeken instellen, die niet onder het recht van enquête vallen. Bij dergelijke onderzoeken kunnen betrokkenen niet verplicht worden zich te onderwerpen aan het onderzoek. Ook kunnen getuigen niet onder ede gehoord worden. Ook anderen dan raadsleden kunnen deel uit maken van de onderzoekscommissie.
  • Uitvoering van evaluaties van uitgevoerd beleid.
  • Schriftelijke (op grond van het reglement van orde van de raad) en mondelinge vragen van de raadsleden.
  • Raadsleden kunnen interpelleren. Interpellatie is zwaardere vorm van mondeling vragen stellen. Voor het voeren van een interpellatie moeten raadsleden aan de raad verlof vragen. In het reglement van orde van de raad worden nadere regels hierover vastgesteld.

Bestuurlijk wederhoor

Bestuurlijk wederhoor kan een onderdeel in de totstandkoming van een rekenkamerrapport zijn. Met bestuurlijk wederhoor kan het college voor publicatie van een rekenkamerrapport reageren op de  conclusies en aanbevelingen van de rekenkamer(commissie).
Deze procedure van ‘hoor- en wederhoor’ heeft geen wettelijke basis. Het is ontleend aan de praktijk bij de Algemene Rekenkamer.

Mogelijk te stellen vragen bestuurlijk wederhoor

In de bestuurlijke reactie kan het college ingaan op vragen als:

  • Kunt u de conclusies van de rekenkamer onderschrijven? Zo nee, waarom niet? Zo ja, waarom wel?
  • Acht u de aanbevelingen haalbaar / uitvoerbaar?
  • Neemt u de aanbevelingen van de rekenkamer helemaal of ten dele over? Zo nee, waarom niet? Zo ja, in welke mate neemt u de aanbevelingen over?
  • Welke concrete actie(s) wil u hieraan verbinden?
  • Wat zijn volgens u de (eventuele) consequenties van de aanbevelingen (maatschappelijk / financieel / politiek / bestuurlijk / voor de organisatie)?

Al dan niet toepassen bestuurlijk wederhoor

Veel rekenkamer(commissie)s vinden bestuurlijk wederhoor belangrijk voor de geloofwaardigheid en de doeltreffendheid van de rekenkamer(commissie).
Sommige rekenkamers kiezen er echter voor (soms) geen bestuurlijk wederhoor toe te passen. Zo willen zij de doorlooptijd van rekenkameronderzoek verminderen en de actualiteit van rekenkameronderzoek vergroten. De politieke discussie over een rekenkameronderzoek vindt dan naar verwachting ook meer plaats tussen college en raad.

Bestuurlijke reactie in rekenkamerrapport

Meestal wordt de bestuurlijke reactie van het college in zijn geheel opgenomen in het definitieve (bestuurlijke) rapport. Als de bestuurlijke reactie erg lang is, kan een samenvatting in de hoofdtekst worden opgenomen. De bestuurlijke reactie kan dan in zijn geheel naar de bijlagen.
Als de bestuurlijke reactie daar aanleiding toe geeft, schrijft de rekenkamer een nawoord dat ook in zijn geheel in het rapport wordt opgenomen.
Een uitgebreid bestuurlijk wederhoor maakt de doorlooptijd van een onderzoek langer.

Tips voor bestuurlijk wederhoor

  • Maak onderscheid tussen ambtelijk wederhoor en bestuurlijk wederhoor.
  • Leg aan de betrokken bestuurders (het college) de bestuurlijke nota voor t.b.v. een reactie op de conclusies en aanbevelingen.
  • Hanteer een reactietermijn voor wederhoor van ca. 3 à 4 weken.
  • Kondig het bestuurlijk wederhoor ruim van te voren aan bij betrokkenen.

Beoordelingscriteria verzoek rekenkameronderzoek, verzoek rekenkameronderzoek

Het is van belang dat de rekenkamer helder communiceert over de keuze in onderwerpen voor onderzoek. Wanneer er aan de rekenkamer verzoeken om onderzoek worden gedaan, kan voor de beoordeling van zo’n verzoek uit worden gegaan van de volgende criteria:

Overstijgen van het persoonlijk en partijpolitiek belang;

  • Een motivering (waarom is het onderwerp belangrijk);
  • Een duidelijke onderzoeksvraag;
  • Duidelijk moet zijn wiens en welk belang gediend is met een onderzoek;
  • Mogelijk leereffect voor bestuur en organisatie.

Of het verzoek nu van (de) raad(sleden) komt, het college of burgers: de rekenkamer(commissie) moet haar besluit  transparant motiveren. Mogelijke argumenten kunnen te vinden zijn in:

  • strategische visie,
  • missie,
  • inhoudelijke criteria voor keuze,
  • beschikbaarheid van middelen.

Voor een goede argumentatie is een keuzebeleid nodig. Op die manier maakt de rekenkamer(commissie) duidelijk, dat sprake is van een weloverwogen keuze op basis van staand beleid. De rekenkamer(commissie) moet dit beleid dan wel vooraf ter kennis aan de raad brengen cq. openbaar maken.

Basisvoorwaarden kwaliteit rekenkamerrapport

Aan de kwaliteit van rekenkamer rapporten kunnen enkele basisvoorwaarden worden gesteld. De normen voor de NVRR Goudvink geven een beeld van de minimale voorwaarden waaraan een goed onderzoeksrapport moet voldoen.

Duidelijk onderscheid tussen normen, bevindingen, conclusies en aanbevelingen

Maak bij het rapporteren expliciet en helder onderscheid tussen:

  • normen (criteria, uitgangspunten),
  • bevindingen,
  • analyse,
  • conclusies, en
  • aanbevelingen.

Dit onderscheid is kenmerkend voor rekenkameronderzoek. Tussen geen van de vijf onderdelen mag ‘licht’ zitten, ze moeten naadloos op elkaar aansluiten. Bijvoorbeeld: als oordelen of conclusies niet bij de bevindingen aansluiten, of aanbevelingen niet bij een gehanteerd normenkader gaat dat onherroepelijk ten koste van de geloofwaardigheid van de rekenkamer.

Ook moet de rekenkamer er zeker van zijn dat de gerapporteerde feiten en gegevens betrouwbaar zijn, respectievelijk dat bronnen zijn vermeld. Een rekenkamer kan alleen gezag opbouwen als haar producten voor 100% de toets der kritiek kunnen doorstaan.

Onderscheid tussen nota van bevindingen en bestuurlijke nota

Het onderscheid tussen bevindingen, conclusies, oordelen en aanbevelingen kan binnen één rapport worden gemaakt. Een andere mogelijkheid is het scheiden van rapporten:
in een nota van bevindingen waarin o.a. de feitelijke onderzoeksbevindingen en analyse daarvan staan, en
een bestuurlijke nota waarin o.a. de samenvatting, (overkoepelende) conclusies en aanbevelingen aan de raad zijn opgenomen.

Rekenkameronderzoek en externe onderzoeksbureaus

Geef bij uitbesteding van het onderzoek aan het onderzoeksbureau aan dat in de rapportage de gehanteerde normen, de bevindingen uit het onderzoek, de conclusies en de oordelen duidelijk onderscheiden van elkaar dienen te worden gepresenteerd en naadloos op elkaar aan moeten sluiten. Het komt regelmatig voor dat ingeschakelde bureaus moeite hebben met de vertaalslag van onderzoeksbevindingen naar (suggesties voor) bestuurlijk bruikbare aanbevelingen.
Voor veel onderzoeksbureaus is het ongebruikelijk deze onderdelen zo scherp te onderscheiden. Maar voor een rekenkamer(commissie) is een globaal beeld, waarin betrokkenen zich herkennen, onvoldoende. Daarom is het noodzakelijk om bureaus die voor de rekenkamer onderzoek uitvoeren vooraf heel goed in te lichten over het typische aan rekenkameronderzoek en ze te instrueren over de wijze van rapporteren.

De rekenkamer(comissie) formuleert de aanbevelingen

De rekenkamer doet zelf de aanbevelingen aan de raad (en /of aan het college). Het onderzoeksbureau kan suggesties voor aanbevelingen doen, die de rekenkamer(commissie) vervolgens kan gebruiken bij het opstellen van de bestuurlijke nota.
Het is zaak dat de rekenkamer voldoende tijd plant voor en aandacht besteedt aan het formuleren van de aanbevelingen.

Vooraf (ambtelijk) toetsen aanbevelingen

Vooral wanneer het om complexe of politiek gevoelige onderwerpen gaat, kan het zinvol zijn mogelijke denkrichtingen voor aanbevelingen vooraf ambtelijk te toetsen.

Voorwaarde is wel, dat er geen wezenlijk verschil van mening meer bestaat over het feitencomplex uit de nota van bevindingen. Tegelijkertijd moet duidelijk zijn dat de rekenkamer het laatste woord heeft over de formulering van de aanbevelingen.
Door aan ambtenaren de vraag voor te leggen wat op basis van de geconstateerde feiten oplossingen zouden kunnen zijn, toets je de uitvoerbaarheid van aanbevelingen. Zo’n overleg werkt alleen wanneer aan de ‘andere’ kant het gevoel bestaat, dat er nog geen uitontwikkeld idee bestaat over aanbevelingen en er dus nog invloed mogelijk is.
Het is ook mogelijk aanbevelingen vooraf te toetsen bij de griffie / griffier op bruikbaarheid voor de raad.

Alternatieven voor een rekenkamerrapport

Het is goed voor aanvang van een onderzoek ook aandacht te hebben voor alternatieve presentatievormen.

Ambtelijk hoor en wederhoor

In de procedure ambtelijk hoor en wederhoor ontvangt de ambtelijke organisatie een overzicht van de door de rekenkamer geconstateerde feiten. De ambtelijk eindverantwoordelijken krijgen de gelegenheid daarop te reageren. Het is hierbij de bedoeling dat bij er de uiteindelijke publicatie, wanneer de rekenkamer(commissie) ook conclusies en aanbevelingen presenteert, geen discussie meer zal ontstaan over de feitelijke (on)juistheid van de bevindingen. Ambtelijk hoor en wederhoor wordt ook van belang geacht voor een goede communicatie tussen ambtelijke organisatie en rekenkamer. Een uitgebreid ambtelijk wederhoor maakt de doorlooptijd van een rekenkamer onderzoek echter wel langer.

Deze procedure van ‘hoor- en wederhoor’ heeft geen wettelijke basis. Het is ontleend aan de praktijk bij de Algemene Rekenkamer.

Tips voor ambtelijk wederhoor

  • Maak onderscheid tussen ambtelijk wederhoor en bestuurlijk wederhoor.
  • Leg aan de betrokken ambtenaren de nota van bevindingen voor, ter controle op de juistheid van de feiten en de interpretatie daarvan (de conclusies).
  • Hanteer een reactietermijn voor wederhoor van ca. 3 à 4 weken.
  • Kondig het wederhoor bij betrokkenen ruim van te voren aan.
  • Spreek af of het ambtelijke wederhoor rechtstreeks met de betrokken ambtenaren plaatsvindt of via een leidinggevende/de gemeentesecretaris.
  • Spreek af wat er bij het ambtelijke wederhoor wordt voorgelegd: alleen de voor de persoon relevante passages of het gehele rapport.
  • Spreek af hoe er wordt omgegaan met aanpassing van het rapport, bijvoorbeeld in de situatie dat een respondent erkent dat hij juist is geciteerd, maar dat het citaat uit zijn verband is gerukt.

Ambitie rekenkamer, missie rekenkamer, positie rekenkamer

Wettelijke doelen lokale rekenkamer

Een lokale rekenkamer moet bijdragen aan een transparanter en doelmatiger lokaal bestuur. Door het doen van onderzoek ondersteunt zij de gemeenteraad bij het uitvoeren van zijn wettelijke kaderstellende, controlerende en volksvertegenwoordigende taken.

De raad formuleert bij het instellen van een lokale rekenkamer of rekenkamercommissie de kaders. De raad legt deze kaders in de regel vast in een verordening. Binnen de kaders vanuit wet en verordening geeft de rekenkamer(commissie) hieraan nadere invulling.
De rekenkamer(commissie) is niet het enige controle-instrument van de gemeenteraad. Ook dit is van belang voor de positionering van de rekenkamer(commissie).

Ambities lokale rekenkamer

De rekenkamer moet open zijn over haar ambitieniveau. De rekenkamer(commissie) moet ook verantwoording afleggen over de mate waarin zij haar doelstellingen bereikt. Het is belangrijk om aan de bevolking, gemeenteraad en college duidelijk te maken wat voor soort rekenkamer(functie) zij kunnen verwachten. Om dit te kunnen bepalen kan de rekenkamer antwoord geven op de volgende vragen:
Wat willen we bereiken?
Wat gaan we daarvoor doen?
En welk soort rekenkamer willen we zijn, resp. welk soort onderzoek willen we doen?

Missie

Als missie zijn allerlei keuzes mogelijk. We zetten hier als hulpmiddel enkele keuzes op een rij door telkens twee tegenstellingen aan te geven. De uiteindelijke keuze van de rekenkamer kan heel wel het midden houden tussen uitersten en een mix zijn van de hier genoemde mogelijkheden.

1 Onderzoek gericht op rechtmatigheid, de kwaliteit van begroting en verantwoording, de centrale Planning en Control cyclus. Onderzoek gericht op doeltreffendheid en/of doelmatigheid van beleid, output en outcome, waar voor je geld.
2 Onderzoek bedoeld om systematisch alle onderdelen van beleid en organisatie af te lopen en ‘dekkend’ te zijn Onderzoek bedoeld om te ‘prikken’ naar voorbeelden waar naar uw mening risico’s zitten in organisatie en/of beleid met de bedoeling dat het college en raad een meer systematische  beoordeling overnemen
3 Een rekenkamer die gericht is op terugkijken en afrekenen met de nadruk op onderzoek en beoordeling van eerder bestuurlijk handelen. Een rekenkamer die op basis van onderzoek en rekening houdend met actualiteit toekomstgericht voorstellen doet voor verbetering van organisatie en beleid.
4 Een rekenkamer die gericht is op incidenten en reactief onderzoek doet na berichten in de pers of verzoeken van (delen van) de raad. Een rekenkamer die zoekt naar structurele oorzaken en tendensen door systematisch onderzoek te doen en regelmatig meta-evaluaties te
publiceren
5 Onderzoek dat vooral intern gericht is op de organisatie en het ambtelijk handelen (van binnen naar buiten denken). Onderzoek dat vooral extern gericht is op effecten en beleidsdoelmatigheid en antwoord geeft op de vraag wat de burger opschiet met het openbaar bestuur (van buiten naar binnen denken).

Visie(document) en positie

De lokale rekenkamer zal daarbij in een missie en in doelstellingen duidelijk moeten maken welke doelen zij wil bereiken. Deze keuzes kunnen in een meerjarig ‘Visiedocument’ bij de raad worden neergelegd. Dit vormt een goede aanleiding om contact te zoeken met de raad, je strategische keuzes in een raad(scommissie) te presenteren en te horen wat voor visie(s) daar leven.

Rekenkameronderzoek is één onderdeel van een breder onderzoeksinstrumentarium dat de gemeenteraad ten dienste staat. Dat is relevant voor de uiteindelijke positiebepaling van de rekenkamer.

  • De controle op het financiële beheer en op de inrichting van de financiële organisatie (artikel 213 van de Gemeentewet) door de accountant. De raad wijst accountants aan die belast worden met de controle van de jaarrekening en daarover een verslag (inclusief rechtmatigheidsoordeel) uitbrengen.
  • 213a-onderzoek: periodiek zelfonderzoek naar de doelmatigheid en de doeltreffendheid van het door hem gevoerde bestuur door het college. (Artikel 213a van de Gemeentewet). De raad stelt bij verordening regels hierover. Het college is op grond van hetzelfde artikel verplicht de rekenkamer(commissie) op de hoogte te stellen van deze onderzoeken en ook verplicht een afschrift van de resultaten aan de raad én aan de rekenkamer(commissie) te sturen.
  • Onderzoek door de raad op grond van artikel 155a-f. Dit is onderzoek naar het door het college of de burgemeester gevoerde beleid. Dat onderzoek wordt uitgevoerd door een onderzoekscommissie bestaande uit raadsleden.

Reglement van orde en / of onderzoeksprotocol

Veel rekenkamer (commissies) hebben inmiddels een reglement van orde en/of onderzoeksprotocol opgesteld, waarin de belangrijkste onderzoekscomponenten bij elkaar zijn gezet: missie, doelen, werkwijze, inrichting en verloop onderzoeksproces, communicatie, publicatie e.a. Zo’n document maakt voor alle belanghebbenden duidelijk hoe de rekenkamer/-commissie opereert en welke verwachtingen daaraan ontleend mogen worden. Ook kan zo’n protocol handig zijn bij het uitbesteden van onderzoek.

Onderzoekprogramma

Tot slot zal de lokale rekenkamer duidelijk moeten maken welke prestaties zij wil leveren om het gestelde doel te bereiken: onderzoek, advies, hoorzittingen, brieven etc. In een onderzoeksprogramma wordt duidelijk gemaakt wat de beoogde prestaties zijn (aantal onderzoeken, onderwerpen die worden onderzocht etc.) die moeten bijdragen aan de doelstellingen.

Alternatieve presentatievormen rekenkamer onderzoek

Naast onderzoeksrapporten zijn er ook andere mogelijkheden voor het presenteren van resultaten van onderzoek, zoals:

  • Alleen digitaal beschikbaar stellen feitenrapportage
  • Presentatie resultaten alleen in vorm krantenartikel
  • Posterpresentatie
  • Film (kan ook in de vorm van een ‘tekenfilm’)
  • Stripverhaal / cartoon
  • (Powerpoint)presentatie
  • Prezi
  • Webbased vormen, zoals een website over het onderzoek of een webdossier op de website van de rekenkamer
  • Workshops, lezingen of bijeenkomsten met stakeholders
  • Presentaties, bijeenkomsten met externe deskundigen
  • Rekenkamerbrief
  • Een vijf-minuten versie

Afstemming tussen raad en rekenkamer(commissie)

De wetgever wil eigenlijk dat de rekenkamer afstemt met de raad, maar ook onafhankelijk is in de keuze en aanpak van onderzoek. Deze twee beginselen lijken elkaar uit te sluiten.

Deze tegenstelling kan mogelijk opgelost worden door:

  1. in de verordening procedureafspraken vast te leggen over de momenten en de wijze waarop de raad wordt betrokken bij de onderwerpkeuze, en
  2. de raad op de te hoogte houden van het verloop van de onderzoeken.

Op deze manier kan een rekenkamer(commissie) zowel klantgericht als onafhankelijk functioneren. De eindverantwoordelijkheid blijft daarbij bij de rekenkamer(commissie) zelf.

Vast bespreekpunt met de raad

Het punt ‘rekenkameraangelegenheden’ kan een vast agendapunt zijn op de agenda van de raadscommissie, die het aanspreekpunt is voor de rekenkamer(commissie). Vertegenwoordigers van de rekenkamer(commissie) kunnen dan de lopende zaken toelichten. In de praktijk zijn er veel manieren om tussentijds in overleg te treden over de voortgang en /of voorlopige bevindingen.

Grenzen aan invloed raad op onderzoek rekenkamer(commissie)

Het komt soms voor dat rekenkamer(comissie)s kiezen voor constructies, waarbij de raad bepaalt wat de rekenkamer(commissie) onderzoekt. De achterliggende gedachte hierbij is dat de rekenkamer(commissie) als taak heeft de controlerende functie van de raad te versterken. Het lijkt daarom logisch, dat de raad invloed heeft op het onderzoeksprogramma. In de praktijk verloopt dit vaak soepel. En in een overgangssituatie kan deze praktijk bijdragen aan het versterken van de controlerende functie van de raad. Het is echter voor de langere termijn niet wat de wetgever heeft beoogd.

Evaluatie rekenkameronderzoek

Evaluatie onderzoeksproces

Het is voor de interne effectiviteit van de rekenkamer belangrijk, dat zij elk onderzoek kort na de publicatie evalueert op inhoud en proces. Doel van zo’n evaluatie is het achterhalen van verbeterpunten en succesvolle werkwijzen. Voor deze evaluatie kan de rekenkamer(commissie) gebruik maken van een standaard checklist met vragen en aandachtspunten. Wanneer het onderzoek door de rekenkamer(commissie) zelf is uitgevoerd, is sprake van een zelfevaluatie van het onderzoeksteam en de directeur of voorzitter. Bij uitbesteding van het onderzoek aan een externe onderzoeker is een evaluatie met / van het bureau op zijn plaats. De uitkomsten van (zelf)evaluatie worden idealiter vastgelegd in een evaluatienotitie.

Evaluatie op doorwerking

Voor de externe effectiviteit van de rekenkamer(functie) is van belang de doorwerking van rekenkamerrapporten te evalueren. Op die manier kan de rekenkamer(commissie) volgen wat er met de rapporten wordt gedaan. Maar ook hoe en in welke mate gevolg wordt gegeven aan aanbevelingen en eventuele toezeggingen. Deels valt dit samen met de mogelijkheid van vervolg- of opvolgingsonderzoek.

Doorwerking

Rekenkamer(commissie)s voeren jaarlijks onderzoeken uit naar de doelmatigheid, doeltreffendheid en rechtmatigheid van het gemeentelijke en provinciale beleid. Wanneer de raadsleden / statenleden de conclusies en aanbevelingen onderschrijven en ook het college / gedeputeerde staten de aanbevelingen (deels) overneemt, is er sprake van doorwerking. Doorwerking is dus de invloed van onderzoeksresultaten op de besluitvorming en het beleid.

Bepalen of er sprake is van Doorwerking

Voor het bepalen van doorwerking kan de volgende theorie worden aangehouden:
Doorwerking = Kwaliteit x Acceptatie

  • Kwaliteit  =  de kenmerken van het onderzoeksrapport en wijze waarop het is onderbouwd.
  • Acceptatie  =  draagvlak voor het rapport en de wil om het te gebruiken. Ook wel: de mate waarin raad / provinciale staten en college / gedeputeerde staten  het rapport steunen of verwerpen.

Doorwerking wordt soms gelijkgesteld met gebruik en bruikbaarheid van onderzoek. Soms worden ze gehanteerd als twee verschillende begrippen, die in logisch verband met elkaar staan. De redenering is dan als volgt: voordat een onderzoek kan doorwerken, moet het eerst gebruikt zijn. Maar gebruik hoeft niet persé te leiden tot doorwerking. Schematisch ziet dat er als volgt uit.

Sinds 1960 is er veel onderzoek gedaan naar de doorwerking van kennis, onderzoek en adviezen. Inmiddels is ‘doorwerking’ uitgebreid beschreven en verkend in de wetenschap. Toch is er niet altijd overeenstemming over wat exact onder doorwerking kan worden verstaan en welke factoren van invloed zijn op doorwerking.

In september 2012 heeft de commissie kwaliteitszorg en korte enquête uitgezet onder de leden van de NVRR over doorwerking, ‘de drie vragen over doorwerking’. De uitkomsten van deze korte enquête geven een beeld van de activiteiten, die de leden op dat moment ontplooiden om doorwerking van hun onderzoeken te bevorderen.

Typen doorwerking

We onderscheiden drie typen doorwerking.

  1. Conceptuele doorwerking
  2. Instrumentele doorwerking
  3. Strategische doorwerking

Deze vormen komen op verschillende manieren tot uitdrukking. Een consequentie hiervan is, dat doorwerking niet op een eenduidige en onbetwistbare manier is vast te stellen. Voor verschillende vormen van doorwerking kunnen verschillende indicatoren voor het meten van doorwerking worden ontwikkeld.

Verantwoordelijkheid voor doorwerking

De rekenkamer(commissie) heeft doorwerking maar voor een deel zelf in de hand. Voor dat deel is de rekenkamer ook zelf verantwoordelijk. Veel verder gaat de verantwoordelijkheid van de rekenkamer(commissie) in principe niet. Er is een verschil tussen het bewaken/monitoren van de voortgang van de aanbevelingen, het rapporteren daarover en de verantwoordelijkheid voor de implementatie.
Het is een discussiepunt of de rekenkamer(commissie) de implementatie van de aanbevelingen zelf moet monitoren. Formeel gezien (Gemeentewet), is die rol er niet. Sommige rekenkamer(commissie)s pakken die rol in de praktijk wel op. Globaal gebeurt dat op twee manieren:

  • een aantal rekenkamers voert een of twee jaar na afloop van een onderzoek een vervolgonderzoek uit om te zien wat er met de aanbevelingen is gebeurd;
  • veel rekenkamers rapporteren in hun jaarverslag terug over de stand van zaken m.b.t. de aanbevelingen uit eerdere onderzoeken.

Verdere bewaking gebeurt in het kader van de politieke verantwoording tussen raad en college / gedeputeerde staten. Zo kan in de planning- en controlcyclus (bijvoorbeeld de jaarstukken van het college / gedeputeerde staten) een verantwoording worden ingebouwd over de uitvoering van aanbevelingen van de rekenkamer. De gemeenteraad / provinciale staten gaat voor het overige meestal met de aanbevelingen om, zoals hij ook omgaat met de invoering van moties, besluiten e.d. Dat verschilt sterk per gemeente(raad) / provinciale staten. In sommige gevallen bewaakt de raad / provinciale staten sterk de invoering van de aanbevelingen; in andere gevallen (de meeste?) komt de raad / provinciale staten er niet meer op terug. Dit kan liggen aan de ‘politieke waan van de dag’, andere prioriteiten, (des)interesse, een te geringe meerwaarde voor de raad / provinciale staten, onvoldoende aansluiting bij de belevingswereld van de raad / provinciale staten, etc. De raad / provinciale staten moet de aanbevelingen van de rekenkamer omzetten in krachtige, heldere besluiten. Dit kan de rekenkamer niet of nauwelijks beïnvloeden.

Beïnvloedbare factoren doorwerking

Vele factoren kunnen doorwerking beïnvloeden. Voor de hier genoemde factoren geldt niet dat ze doorwerking garanderen, of dat doorwerking onmogelijk is indien er niet aan wordt voldaan, maar in het algemeen mag worden gesteld dat de hier genoemde factoren van invloed zijn op doorwerking en dat Adviesraden door op een verstandige wijze met deze factoren om te gaan, de doorwerking van hun adviezen in positieve zin kunnen beïnvloeden.

  1. Kwaliteit van het onderzoek(srapport)
  2. Rekening houden met omgevingsfactoren en (politieke) context
  3. Communicatie, presentatie en nazorg
  4. Betrokkenheid bij het onderzoeksproces
  5. Timing van het onderzoek
  6. Organisatie van de rekenkamer

Werkt rekenkameronderzoek door?

Over de doorwerking van rekenkameronderzoek wordt verschillend gedacht. Volgens sommigen is het effect duidelijk: er zijn aantoonbare resultaten, aanbevelingen worden overgenomen en conclusies worden gedeeld. Volgens sommigen gaat alleen al van de aanwezigheid van een rekenkamer een preventieve werking uit.
Uit onderzoek van de NVRR door Berenschot uit 2011 is blijkt dat de instrumentele doorwerking van rekenkameronderzoek goed is. De conceptuele doorwerking blijft achter.
Voorheen werd de doorwerking  van rekenkameronderzoek in twijfel getrokken. Volgens een VNG-ledenpanel uit december 2006 zei driekwart van de respondenten nog, dat rekenkameronderzoek niet had geleid tot fundamentele aanpassingen van beleid.

Bronnen

  • Evaluatie van de provinciale en gemeentelijke rekenkamers – eindrapport. Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (Berenschot). 12 mei 2011.
  • De kracht van bestuurskrachtmetingen – Onderzoek naar de doorwerking van bestuurskrachtmetingen van gemeenten in Nederland in de periode 2000 – 2007. Judith Jansen (Partners + Pröpper en de Radboud Universiteit Nijmegen). April 2008.
  • Memo Doorwerking onderzoek rekenkamer(commissie)s. Kring van secretarissen NVRR. 19 juni 2007.
  • Spelen met doorwerking – Over de werking van doorwerking van de adviezen van adviescolleges in het Nederlandse openbaar bestuur. Universiteit van Tilburg en Berenschot. 4 november 2004.
  • Doorwerking van Strategische Beleidsadvisering. Prof. dr Victor Bekkers, Dr Menno Fenger, Dr Vincent Homburg, Dr Kim Putters (Erasmus Universiteit Rotterdam & Universiteit van Tilburg).  2004.

Drie vragen over doorwerking (2012)

In september 2012 heeft de commissie Kwaliteitszorg een korte enquête uitgezet onder de leden van de NVRR. Het doel was te achterhalen op welke manier de leden bezig zijn met de doorwerking van hun onderzoeken. Hierbij is gekeken naar zowel mogelijke verschillende vormen van overleg met derden, als andere activiteiten gericht op doorwerking. 120 leden (ongeveer de helft van de NVRR-leden) hebben gereageerd.

Vormen van overleg mede gericht op doorwerking

Per onderdeel van de (lokale) overheid zijn meerdere soorten overleg mogelijk die mede gericht kunnen zijn op doorwerking van rekenkameronderzoek.

In onderstaande grafiek is per onderdeel weergegeven:

  • welke contacten er in den lande zijn en
  • welk karakter de bespreking heeft.

Uit de ‘drie vragen doorwerking’ blijkt dat als er overleg wordt gevoerd met een onderdeel, dit over het algemeen 1 tot 2 keer per jaar gebeurt.

Andere activiteiten gericht op doorwerking

De vraag over andere activiteiten gericht op doorwerking was een open vraag, waar de leden meerdere antwoorden op mochten geven. Het volgende beeld komt uit deze vraag naar voren.

Bronnen

‘De drie vragen samengevat’, resultaten enquête doorwerking. Commissie kwaliteitzorg NVRR, Corine Baarda en Steven van Dijk, november 2012.

Enquetes, gesprekken en interviews

Doel van enquêtes, gesprekken en interviews is dat gericht wordt gevraagd naar uitgangspunten, uitvoering en resultaten van het onderzochte beleid. In het kader hiervan kunnen verantwoordelijken, deskundigen, of mensen die tot de gebruikers (de doelgroep van het beleid) behoren worden bevraagd.

Gespreksvormen

Interviews kunnen op afspraak maar ook spontaan op locatie worden uitgevoerd. Enquêtes kunnen schriftelijk, per mail of telefonisch worden uitgevoerd.
In het kader van een onderzoek zijn verschillende gespreksvormen te onderscheiden:

  • oriënterend gesprek met personen die niet tot de onderzochte organisatie(s) behoren, waaronder externe deskundigen;
  • oriënterend gesprek met personen die tot de onderzochte organisatie(s) behoren;
  • enquête of interview met personen die niet tot de onderzochte organisatie(s) behoren;
  • enquête of interview met ambtenaren;
  • interview met directeur van onderzocht organisatieonderdeel;
  • interview met verantwoordelijk wethouder(s) / portefeuillehouder(s);
  • enquête of interview met raadsleden;
  • groepsgesprek (optioneel);
  • gesprek met klankbordgroep;
  • enquête, interviews of gesprekken met leden van de doelgroep of belangenorganisaties.
  • creatieve vormen van onderzoek.

Afnemen interview

  • Geef voor het gesprek aan, wat het doel en de status van het gesprek is.
  • Geef vooraf de vragenlijst aan betrokkene.
  • Geef ook aan hoe de rekenkamer(commissie) gebruik maakt van de gespreksverslagen en eventuele citaten.
  • Werk bij interviews bij voorkeur aan de hand van een protocol of vragenlijst met vragen die in elk geval aan de orde moeten komen. Dat vergemakkelijkt de vergelijkbaarheid en samenvoeging van gespreksresultaten, zeker als verschillende personen de interviews afnemen.
  • Laat bij gesprekken met sleutelfiguren twee deelnemers van de kant van de rekenkamer en/of onderzoeksbureau aanwezig zijn.
  • Stel vast dat betrokkene alle relevante informatie over dit onderwerp heeft verstrekt. Daarmee kan voorkomen worden dat informatie, waar in het gesprek niet naar is gevraagd door de rekenkamer, mogelijk niet boven water komt.

Verslaglegging

Het gespreksverslag is onderzoeksmateriaal. In het rekenkamerrapport moet hier uit geput kunnen worden in de vorm van citaten en /of parafrases. Het is daarom van belang dat van elk interview een verslag wordt gemaakt.
Laat het verslag goedkeuren (en desgewenst ondertekenen) door de betrokkenen. Dat voorkomt discussie over de feiten in een later stadium.
Na een reactie binnen een vooraf gestelde termijn wordt een definitief verslag opgesteld en vastgesteld.
Van oriënterende gesprekken worden aantekeningen gemaakt, zonder dat het expliciet wordt goedgekeurd. De bruikbaarheid van informatie uit oriënterende gesprekken is daarom wel minder.

Aanwezigheid leden rekenkamer(commissie)

Als de rekenkamer(commissie) onderzoek laat uitvoeren door externen, kan het van belang zijn dat iemand van de rekenkamer(commissie) aanwezig is bij interviews. Meestal gaat het dan om gesprekken met sleutelfiguren zoals raadsleden, wethouders of directeuren. Echter, aanwezigheid van iemand van de rekenkamer kan ook een vertekend beeld opleveren.

Het is daarom in ieder geval van belang dat de rekenkamer(commissie) van de externe onderzoek gerapporteerd krijgt hoe deze direct belanghebbenden bij het onderzoek reageren op het onderzoek en de gestelde vragen (verbaal en non-verbaal). Ook komen in deze gesprekken vaak politiek-bestuurlijk gevoelige punten aan de orde. Het is belangrijk dat ook deze signalen worden doorgegeven aan de rekenkamer(commissie). De rekenkamer kan hier dan in de rest van het onderzoek en in de rapportage rekening mee houden.

Normenkader

Het normenkader is bepalend (sturend) voor de uitvoering van het onderzoek. Aan de hand van het normenkader moet een oordeel gegeven kunnen worden over de aangetroffen praktijk.

Normen voor rekenkameronderzoeken kunnen grosso modo ontleend worden aan:

  • wet- en regelgeving;
  • beleidsdocumenten, waaronder de programmabegroting;
  • wetenschappelijke en vakliteratuur;
  • professionele inzichten.

Idealiter wordt in eerste instantie vanuit algemene normen  (meestal rechtmatigheid, doelmatigheid, doeltreffendheid, integriteit e.d.) vooraf een globale set normen gespecificeerd al naar gelang het onderwerp.
Gedurende het onderzoek kan – op basis van bijvoorbeeld best practices – verder invulling gegeven worden aan een algemene norm (‘relevante en tijdige informatie is….’).

Voor het verkrijgen van draagvlak en om verwachtingen te managen, kan het zinvol zijn het normenkader vóór de definitieve vaststelling te bespreken met bijvoorbeeld de vakspecialisten, ambtenaren, directie, collegeleden en / of raadsleden. Vooral wanneer het om complexe of politiek gevoelige onderwerpen gaat, is commentaar vooraf nuttig. Het kan voorkómen dat je achteraf ‘nat gaat’. Het commentaar vooraf maakt duidelijk waar mogelijk de zwakke of juist gevoelige plekken in het beoordelingskader zitten.
Afwijzende reacties hoeven geen aanleiding te zijn het normenkader te wijzigen. Wel is dan vooraf duidelijk waar later het commentaar op zal gaan komen. Het effect kan ook positief zijn doordat meer draagvlak onder ambtenaren ontstaat voor het onderzoek en zij de zin ervan zien.
Het kan veel problemen in de eindfase voorkomen door, ook tijdens het onderzoek in contact te blijven over de manier waarop de normen worden gespecificeerd. Totale overeenstemming over normen is niet nodig, maar het is wel raadzaam het standpunt van de ander te kennen. De rekenkamer kan daar dan op inspelen bij de formulering van haar oordelen en aanbevelingen.

Normen Goudvink NVRR

Bij de beoordeling van de inzendingen voor de Goudvink van de NVRR wordt een rapport als volgt beoordeeld.

1 Basiskwaliteit rapporten Toelichting
1.1 In het rapport is een beschrijving opgenomen van:
a. Reden onderwerpkeuze;
b. Beschrijving onderzoeksonderwerp;
c. Onderzoeksvragen;
d. Onderzoeksaanpak;
e. Databronnen;
f. Gehanteerde normen;
g. Eventuele beperkingen van het onderzoek.
1.2 De onderzoeksbevindingen zijn onderbouwd met valide en betrouwbare data. De bevindingen geven antwoord op de onderzoeksvragen. De bevindingen zijn terug te leiden naar onderbouwende data. De data voldoen aan de eisen van validiteit en betrouwbaarheid. Validiteit betekent dat de beschreven bevindingen aansluiten bij wat er gemeten is (ofwel: er is gebruik gemaakt van de juiste indicatoren). Een voorbeeld: als je de punctualiteit van het treinverkeer wilt meten, is klanttevredenheid van treinreizigers een minder valide indicator dan het aantal treinen dat jaarlijks te laat vertrekt. Betrouwbaarheid betekent dat de gemeten waarde representatief is voor de werkelijke waarde (de uitkomsten zijn dus niet afhankelijk van ‘toevalligheden’). De betrouwbaarheid van een meting kun je bijvoorbeeld vergroten door een meting een aantal malen te herhalen (onder verschillende omstandigheden) en te middelen. Bevindingen op basis van meerdere bronnen die ook nog eens dezelfde kant op wijzen, wijzen op een hogere betrouwbaarheid.
1.3 De conclusies en oordelen sluiten aan op de bevindingen. Oordelende conclusies zijn gebaseerd op een heldere norm. De conclusies zijn congruent met de bevindingen. Dit wil zeggen dat ze te herleiden zijn tot (valide en betrouwbare) bevindingen. Alle relevante bevindingen (zowel positief als negatief) dienen evenwichtig te zijn meegenomen in de conclusies. Een conclusie bevat geen nieuwe data. Bij oordelende conclusies zijn de bevindingen afgezet tegen een heldere norm (een oordeel moet niet uit de lucht komen vallen). Voorbeeld van een conclusie met een onheldere norm: “Er waren maar weinig projecten die in voldoende mate een bijdrage leverden aan de kwaliteit van de arbeidsverhoudingen” (hoeveel is weinig en wanneer is een bijdrage voldoende? Als hier geen heldere norm voor is, houd de conclusies dan feitelijk en dicht bij de bevindingen: X projecten hadden een bijdrage van Y).
1.4 De aanbevelingen hebben een logische relatie met de oordelen en bevindingen en zijn concreet geformuleerd Aan de aanbevelingen moeten oordelen en bevindingen ten grondslag liggen. Een aanbeveling kan niet haaks staan op een oordeel of bevinding. De aanbevelingen geven antwoord op de WWWHW-vragen: waarom, wie, wat, hoe en wanneer.
1.5 Het rapport is toegankelijk (‘lezersvriendelijk’). Het rapport bevat een heldere structuur en duidelijk taalgebruik.
CONCLUSIE
  • Voldoet het rapport aan de basiskwaliteitseisen?
  • Wat zijn opvallend sterke punten van het rapport?

2 Doorwerking Onderzoek Toelichting
2.1 Wat heeft de rekenkamer(commissie) gedaan om doorwerking van een onderzoek te bevorderen? Open vraag. Antwoorden zoveel mogelijk onderbouwen met ‘bewijsmateriaal’. Enkele voorbeelden waaraan gedacht zou kunnen worden (geen limitatieve opsomming):

  • Het onderzoek sluit aan bij de actualiteit in de gemeenteraad en is politiek relevant;
  • De rekenkamer(commissie) heeft (andere) interventies gepleegd om de doorwerking van het onderzoek te vergroten (denk aan rondetafelgesprekken, workshops, opstellen handreikingen etc.);
  • De vormgeving van het onderzoek is zodanig gekozen dat onderwerp en uitkomsten herkend en geaccepteerd worden, bijvoorbeeld door tussentijds mondeling of schriftelijk overleg te communiceren met de onderzochten en door de onderzochten te betrekken bij de vorming van het normenkader;
  • Het onderzoek besteedt aandacht aan de verschillende (deel)belangen van de actoren (raad, B&W, ambtelijke organisatie, e.a.) op het onderzochte beleidsterrein, bijvoorbeeld door de conclusies en aanbevelingen per actor te benoemen.
2.2 Waaruit blijkt de doorwerking? Open vraag. Antwoorden zoveel mogelijk onderbouwen met ‘bewijsmateriaal’. Enkele voorbeelden waaraan gedacht zou kunnen worden (geen limitatieve opsomming):

  • Het college en/of de ambtelijke organisatie heeft de onderzoeksresultaten gebruikt, bijvoorbeeld bij de formulering/aanpassing van (nieuw) beleid;
  • De gemeenteraad heeft naar aanleiding van het onderzoek vragen gesteld aan het college en/of moties ingediend en aangenomen;
  • De gemeenteraad heeft de aanbevelingen overgenomen;
  • De gemeenteraad heeft het rapport geagendeerd voor raadsbehandeling  (plenair en/of in functionele raadscommissie).

Monitoring

Voor de effectiviteit van de rekenkamer(commissie) is het van groot belang om de goede onderwerpen op het juiste moment te onderzoeken. Daarom moet de rekenkamer het hele jaar door goed in de gaten houden welke thema’s spelen binnen de gemeente en welke thema’s onderbelicht blijven. Dat vereist een goede monitoring of een goed ontwikkelde ‘antenne’ voor wat er speelt in de gemeente.

Van tijd tot tijd kan er over de onderwerpen die worden bijgehouden een notitie worden gemaakt ter informatie aan de staf, de commissie / de directeur of aan de raad. Daarvoor verzamelt de rekenkamer gedurende het hele jaar informatie uit een mix van verschillende schriftelijke bronnen. Daarnaast kan de rekenkamer gebruik maken van:

Het bijhouden van een groslijst door het jaar heen is nuttig om allerlei onderwerpen te plaatsen en vast te houden. Later kunnen de onderwerpen op deze lijst op meer systematische wijze worden gemonitord op hun eventuele potentie als onderwerp van onderzoek.

Om te weten wat in een gemeente belangrijke mogelijke thema’s zijn moet de rekenkamer (commissie) zich niet alleen door de politiek / bestuurlijke agenda laten leiden, maar ook door de maatschappelijke agenda. Waar in de politiek, maar ook in de maatschappelijke publiciteit, het korte termijn belang nog wel eens erg bepalend wil zijn, behoort het min of meer tot de natuurlijke positie van de rekenkamer om juist gericht aandacht te geven aan de gevolgen van beleid op meer lange termijn.

Mogelijke bronnen onderwerpen rekenkameronderzoek

Officiële stukken:

  • Raadsstukken en raadsagenda’s.
  • Stukken van B&W (bestuursrapportages evaluatierapporten etc.).
  • De begroting, jaarrekening, voorjaarsnota etc.
  • Stukken van de account zoals tussentijds verslag en managementletter.
  • Commissieagenda’s en notulen.

Andere bronnen:

  • Lokale kranten en wijkbladen.
  • Individuele signalen van raadsleden, ambtenaren en burgers.
  • Het horen van de raad.
  • Overleg met audit-commissie of accountant.
  • Binnenlands bestuur.
  • VNG magazine.
  • Maatschappelijke organisaties.

Logboek en archief

De rekenkamer(commissie) kan voor elk onderzoek een logboek en een archief aanleggen. Een logboek en een goed archief maken het mogelijk om later makkelijk iets terug te halen en om afspraken en toezeggingen te controleren. Het logboek en het archief zijn ook belangrijk in verband met de vereiste transparantie en controleerbaarheid van de rekenkamer. In logboek en archief kunnen de volgende zaken worden vastgelegd:

  • belangrijke momenten,
  • contacten,
  • namen,
  • documenten,
  • telefoongesprekken,
  • e-mails,
  • informatieve ronden etc.

Archief

Het is in ieder geval belangrijk op een systematische manier om te gaan met correspondentie in het kader van het onderzoek.
Aanbevolen wordt de inkomende en uitgaande correspondentie op papier / print te archiveren. Dit betreft post, fax en e-mail.

Logboek

Aangeraden wordt een logboek aan te leggen zodra een onderwerp is geselecteerd. Een logboek is een weergave van het verloop van een onderzoek. Van telefonisch of eventueel mondeling contact wordt in het logboek verslag gedaan. Zo nodig wordt correspondentie per e-mail in het logboek opgenomen. Het logboek geeft, samen met alle andere werkzaamheden en (tussen)producten en de een afrondende evaluatie van het onderzoek, een compleet beeld. Het logboek is het meest bruikbaar wanneer het consequent wordt bijgehouden.

Lessen en ervaringen met gezamenlijk rekenkameronderzoek

Op 8 februari 2011 is in de Kring Onderzoek van de NVRR het thema ‘gezamenlijk rekenkameronderzoek’ bediscussieerd. In deze notitie worden enkele lessen en ervaringen beschreven voor rekenkamers die gezamenlijk onderzoek willen doen.

Gezamenlijk rekenkameronderzoek

Er komen verschillende typen van gezamenlijk onderzoek voor in rekenkamerland, waaronder:

  • Bij een Doe Mee onderzoek maakt één organisatie (bijv. adviesbureau Necker Van Naem) een onderzoeksplan en kunnen anderen inschrijven om deel te nemen;
  • Rekenkamers spreken af om voor een bepaald onderwerp een samenwerking aan te gaan. De samenwerking is tijdelijk en er is een goede inhoudelijke reden om samen een onderwerp te onderzoeken. Opzet en uitvoering worden samen gedaan;
  • Rekenkamers werken standaard samen. Denk daarbij aan verschillende provinciale rekenkamers, zoals de Randstedelijke Rekenkamer (Noord-Holland, Zuid-Holland, Utrecht en Flevoland). Een ander voorbeeld zijn de rekenkamers van Elburg, Nunspeet, Oldebroek en Putten die samen onderzoeken uitvoeren, en een gezamenlijke externe voorzitter hebben.

Motieven voor samenwerking

Er kunnen verschillende motieven / argumenten zijn om samen te werken, we noemen:

  • Benchmarking: het doel is om een beter beeld te krijgen van de eigen positie, kwaliteit van beleid en uitvoering in vergelijking met anderen;
  • Vergroten leervermogen: de vergelijking biedt mogelijkheden om te leren van anderen. Het leren kan zowel betrekking hebben op het uitvoeren van het rekenkameronderzoek, als op het leren van de beleidsaanpak van verschillende overheden;
  • Bundelen capaciteit en deskundigheid: samenwerking biedt rekenkamers toegang tot elkaars kennis en kunde;
  • Kostenbesparing: overwegingen van efficiëntie kunnen een motief zijn om samen te werken. Uit enkele praktijkervaringen blijkt dat die kostenbesparing vaak niet gehaald wordt. Samenwerking biedt inhoudelijke meerwaarde, maar kost meestal meer tijd.
  • Strategische overweging: een gezamenlijk onderzoek kan een groep van rekenkamers positief in beeld brengen bij bestuur en media.

Samen werken of niet?

Het is verstandig om vooraf na te denken over de verwachte meerwaarde van een gezamenlijk onderzoek. Enkele punten van overweging zijn:

  • is er behoefte bij de raad / staten voor een vergelijking (en dus samenwerking van rekenkamers)?
  • is er bij de rekenkamers een duidelijk gezamenlijk belang?
  • zijn de deelnemende gemeenten vergelijkbaar, of de verschillen te groot?
  • is er voldoende helderheid over het onderzoekskader?
  • is er voldoende toegang tot de benodigde informatie / personen?
  • kan er voldoende betrokkenheid zijn van de rekenkamerleden tijdens het proces?
  • is het duidelijk wat het eindprodukt is, en wat ieders rol is in de afronding / rapportagefase?
  • levert het resultaat voldoende meerwaarde op voor de raad / staten?

Leerpunten

Uit ervaringen met gezamenlijk rekenkameronderzoek zijn de volgende leerpunten te formuleren:

  • Weeg goed af waarom gezamenlijk onderzoek voordelen biedt ten opzichte van zelf doen, houd ook zicht op de nadelen;
  • Breng verwachtingen bij elkaar, en zorg dat de inzet per rekenkamer volstrekt helder is;
  • Werk vanuit een eenduidig onderzoekskader: onderzoeksvraag, wijze van uitvoering, beoogd resultaat, procedures van hoor en wederhoor;
  • Wees flexibel: een gezamenlijk onderzoek kan vragen om alternatieve werkwijzen, procedures, eindprodukten e.d.
  • Zorg voor een competent onderzoeksteam / projectleider (zowel bij eigen uitvoering als bij uitbesteding);
  • Voorkom wachten op ‘traagste’ deelnemer: dus maak realistische planning over informatievoorziening, interviews, analyse, schrijfproces e.d.;
  • Organiseer feedback: zorg ervoor dat de ‘achterban’ van rekenkamerleden op de hoogte blijven van de vorderingen;
  • Maak altijd een inkleuring van bevindingen en aanbevelingen gericht op de eigen gemeente / provincie (raadsleden / statenleden vragen zich altijd af wat kunnen WIJ ervan leren?).

Lees ook: Scorekaart: wel of niet meedoen aan gezamenlijk onderzoek ?

auteur: NVRR Kring Onderzoek 2011 opgesteld door Ronald Hoekstra

Kwaliteit van onderzoek(srapport)

Voor de doorwerking van onderzoek is het van belang dat het onderzoek(srapport) gedegen gedegen in elkaar steekt. Deze technische kwaliteit van onderzoek bestaat onder andere uit de volgende elementen:

  • goed onderwerp (de actualiteit en politieke relevantie van het onderwerp).
  • juiste methoden en technieken (passend bij het type onderwerp, onderzoeksprobleem en de onderzoeksvragen).
  • betrouwbaarheid, geldigheid en controleerbaarheid (onweerlegbare bevindingen).
  • evenwichtige beoordeling.
  • toegesneden op de situatie (lokaal maatwerk).
  • bruikbare, specifieke, beleidsinhoudelijke, concrete en doelgerichte aanbevelingen
  • goed leesbaar.
  • goed vormgegeven.

Belangrijke aandachtspunten voor het bereiken van een goede technische kwaliteit zijn:

  • De mate waarin het normenkader overeenkomt met de visie van raad / provinciale staten en college / gedeputeerde staten.
  • De mate waarin raad / provinciale staten en college / gedeputeerde staten zich kunnen vinden in het onderzoeksonderwerp.
  • De mate waarin de aanbevelingen aansluiten bij (lopende) ontwikkelingen binnen de gemeente.
  • De mate waarin aanbevelingen in verhouding tot staan het huidige beleid . Dat kan een dilemma vormen voor de rekenkamer(commissie). De doorwerking van een aanbeveling  is groter, naarmate het beter aansluit op of maar beperkt afwijkt van het huidige beleid. De kracht van rekenkamer(commissie) is echter ook, dat ze discussie kan uitlokken over de uitgangspunten van beleid.
  • Voorkómen dat je als rekenkamer in een machtstrijd komt met college / gedeputeerde staten, door bijvoorbeeld niet te veel op de stoel van de ambtelijke adviseurs te gaan zitten.
  • Een directe aanleiding voor het onderzoek, die ook politiek en maatschappelijk speelt. Dat ‘gevoel van urgentie’ is idealiter ook nog aanwezig als het rapport uitkomt.
  • Een heldere opdrachtformulering en scherpe onderzoeksbegeleiding (bij uitbesteding van het rekenkameronderzoek).
  • Concrete, korte en bondige aanbevelingen die aansluiten bij de ‘belevingswereld’ van de raadsleden. Wat kunnen zij ermee? Hoe kunnen zij er beter mee sturen, controleren, kaderstellen, etc.?

Gebruik Doorwerking

Onderzoek kan op verschillende manieren gebruikt kunnen worden Een persoon of organisatie maakt gebruik van onderzoek wanneer één of meer elementen uit onderzoek terug komen:

  • in het standpunt of handelen van die persoon of die organisatie;
  • in de overweging die voorafgaat aan dat standpunt of dat handelen;
  • bij terugkoppeling naar bestuurders of politici in het beleids-, begrotings- of verantwoordingsproces.

Typen gebruik

Gebruik is in drie categorieën onder te verdelen:

  1. Instrumenteel gebruik: de analyses en aanbevelingen zijn direct toepasbaar bij het aanpakken van een beleidsprobleem of maatschappelijk vraagstuk. Het gebruik komt veelal tot uiting in het overnemen van concrete aanbevelingen.
  2. Conceptueel gebruik: is de bijdrage die onderzoek kan leveren aan de politieke en/of ambtelijke meningsvorming. Het is ook de mate waarin onderzoek kan dienen als context waaruit ideeën kunnen worden afgeleid. Het gaat dan meestal om het gebruik van delen van het onderzoek of bepaalde concepten daaruit. Wanneer bijvoorbeeld een nieuwe koers, een nieuw perspectief of een nieuwe redeneerlijn wordt gegeven, kan er sprake zijn van conceptueel gebruik. Het onderzoek heeft dan vooral een een informatiefunctie en dient als richtingaanwijzer. Conceptueel gebruik is vaak een indirect effect van onderzoek en gaat over de lange termijn.
  3. Strategisch gebruik: de analyses en aanbevelingen worden voor andere doelen gebruikt dat beoogd. Belanghebbende partijen gebruiken de uitkomsten in strategisch opzicht om hun positie te versterken of te beschermen. Bijvoorbeeld om het beleidsproces te vertragen, beleid in de ijskast te zetten of om onderhandelingsposities in de besluitvorming te versterken.

Moment van gebruik

De korte termijn gebruik afgebakend tot gebruik van het onderzoeksrapport in één à twee jaar nadat deze is uitgekomen. Daarmee wordt onder lange termijn automatisch twee jaar of meer na de verschijning van het rapport verstaan

Het gebruik van onderzoek op korte termijn vindt nauwelijks plaats zo blijkt uit verschillende onderzoeken. Crisis of crisisdreiging vergroot wel de kans op het gebruik op korte termijn . Beleidsverandering vindt meestal plaats op de langere termijn met kleine, voortschrijdende stappen of beslissingen. Wetenschappers nemen aan, dat het gebruiken van (onderzoeks)resultaten ook zo plaatsvindt.

Gemeentelijke rekenkamers

Gemeentelijke rekenkamers doen onderzoek naar doelmatigheid, doeltreffendheid en rechtmatigheid van het gemeentelijk beleid, in Nederland. In 2006 dient elke gemeente dergelijk onderzoek uit te kunnen voeren, hetzij door een eigen rekenkamer of rekenkamercommissie, hetzij een rekenkamer(commissie) in samenwerking met andere gemeenten.

Eerste rekenkamer & rekenkamercommissie

De eerste gemeentelijke rekenkamercommissie werd in 1996 in Delft ingesteld.In 1997 werd in Rotterdam de eerste rekenkamer ingesteld. Tot de landelijke invoering in 2002 bleef dit de enige onafhankelijke rekenkamer.  Wel werden bij gemeenten rekenkamercommissies ingesteld.

Dualisme

Landelijke invoering volgde vanaf maart 2002 in het kader van het dualisme, waarmee de ontstane verweving tussen gemeenteraad en gemeentebestuur teruggebracht diende te worden. Essentie van het gemeentelijk dualisme is dat het college van B & W bestuurt, en dat de raad controleert en kaders stelt. Een belangrijk instrument voor de controletaak van de raad werd de gemeentelijke rekenkamer.

Verschil rekenkamer & rekenkamercommissie

Het voornaamste verschil tussen een gemeentelijke rekenkamer en een rekenkamercommissie is de onafhankelijkheid van het orgaan. Een rekenkamer is meer onafhankelijk. Deze onafhankelijkheid is voor de rekenkamer in de gemeentewet verankert.

De rekenkamercommissie daarentegen staat dichter bij de raad. De gemeenteraad heeft in dit geval meer vrijheid in de samenstelling en het is mogelijk om in een dergelijke commissie te laten plaatsnemen. De verschillende bevoegdheden van de commissie kunnen door de gemeente nader bepaald worden in een verordening.

Een gemeentelijke rekenkamer(functie) kan bestaan uit enkele raadsleden, externe leden of een combinatie van beide, die benoemd worden door de gemeenteraad. Als er meerdere leden zijn spreekt men van een rekenkamercommissie, als er één lid is van een directeursmodel. De rekenkamer wordt ondersteund door een ambtelijk secretaris. De rekenkamer heeft een eigen budget om onderzoek uit te laten voeren.

Andere rekenkamers

Andere rekenkamers: de Algemene Rekenkamer en de Europese Rekenkamer.

NVRR

De regionale rekenkamers in Nederland hebben zich verenigd in de NVRR, de Nederlandse Vereniging van Rekenkamers & Rekenkamercommissies.

auteur: Esther Doodkorte

Indicatoren voor doorwerking

Doorwerkingspatronen zijn vaak vrij vaag en zijn dus lastig te meten. Het meten van bepaalde effecten zegt wel iets over de soort en richting van de doorwerking, maar lang niet alles. Bovendien heeft het begrip doorwerking zelf een instrumentele en functionele betekenis, waardoor de invalshoek per definitie vrij beperkt is.

Analyse bestuurlijke reactie

De aanwezigheid, reactietermijn en inhoud van een bestuurlijke reactie van het college / gedeputeerde staten is een belangrijke indicator voor potentiële doorwerking. Zijn de aanbevelingen van de rekenkamer overgenomen? De raad / provinciale staten zegt vaak ‘ja’ tegen de aanbevelingen van de rekenkamer. Voor de colleges / gedeputeerde staten varieert dit sterk per onderzoeksrapport.

De bestuurlijke reactie kan geanalyseerd worden aan de hand van de volgende kenmerken:

  • De conclusies en aanbevelingen worden geheel gesteund door het college / gedeputeerde staten en de aanbevelingen worden (grotendeels) overgenomen.
  • Het college / gedeputeerde staten steunt de hoofdlijn van het onderzoek en enkele aanbevelingen worden door het college / gedeputeerde staten overgenomen.
  • Het college / gedeputeerde staten steunt de wijze van redeneren, maar niet de aanbevelingen.
  • Het college / gedeputeerde staten steunt een aantal aanbevelingen, maar niet de hoofdlijn van het advies.
  • Het onderzoek wordt door het college / gedeputeerde staten verworpen.
  • Het college / gedeputeerde staten verwerpt het onderzoek niet, maar steunt de redeneerlijn en aanbevelingen ook niet.
  • Er is (nog) geen reactie van het college / gedeputeerde staten op het onderzoek.

De reactie kan van de raad / provinciale staten op eenzelfde wijze worden geanalyseerd.

Als de raad / provinciale staten een besluit heeft genomen over de aanbevelingen uit het rekenkamerrapport, moet dit worden uitgevoerd. Zijn de aanbevelingen geïmplementeerd, in beleid ‘vertaald’ en ingevoerd? Hebben de aanbevelingen van de rekenkamer daadwerkelijk (extern) effect gehad? Of: zijn de met de aanbevelingen beoogde verbeteringen bereikt? De mate van implementatie meten is een stuk lastiger en vergt vaak een diepgaande analyse van beleidsstukken. Het voor een goede meting is het in ieder geval belangrijk:

  • Bij de behandeling van het rapport (laten) uit te spreken welke actie de rekenkamer(commissie) wanneer verwacht van raad / provinciale staten en college / gedeputeerde staten.
  • Aan te kondigen dat na een bepaalde periode een vervolgonderzoek of doorwerkingsonderzoek kan plaatsvinden.
  • De raad / provinciale staten laten besluiten dat het college / gedeputeerde staten na enige tijd moet rapporteren over de invoering van de aanbevelingen.
  • De verantwoording over de verwerking van de aanbevelingen integreren in de planning en controlcyclus.

Andere meetpunten voor doorwerking

Wanneer rekenkamer(commissie)s op grond van bepaalde, andere meetpunten een specifieke evaluatiemethode willen ontwikkelen voor doorwerking, doen zij er goed aan rekening te houden met het volgende:

  • streef naar een beperkt aantal, eenvoudige en eenduidige indicatoren.
  • de informatievoorziening ter ondersteuning van het meten moet betrouwbaar zijn, zonder dat dit gepaard gaat met een relatief zware administratieve last.
  • de betrokkenheid neemt toe als actoren belang hebben bij de meting.
  • hou rekening met de perverse effecten van ‘meten’. Meten kan strategisch gedrag uitlokken, waarbij men zich men met name richt op die effecten die relatief gemakkelijk zichtbaar te maken zijn.
  • meten leidt tot een vertekening van de doorwerking, omdat vooral de nadruk ligt op het kwantificeren van effecten.
  • met name de politiek-strategische doorwerking is zeer moeilijk te meten. Het politieke spel is lastig meetbaar te maken.

De rekenkamer zou de doorwerking bijvoorbeeld kunnen meten aan de hand van onderstaande matrix.

Complicerende factoren voor het meten doorwerking

  • Incubatietijd: doorwerking vindt meestal pas plaats op langere termijn.  Dit betekent dat het beoordelen van de doorwerking soms moet worden afgewacht, of dat metingen moeten worden herhaald in een bepaalde frequentie (bijvoorbeeld: meting zes maanden na publicatie, en dan nogmaals na twee jaar).
  • Verschillende onderzoeken kennen verschillende patronen van doorwerking. Het is dus vaak niet mogelijk om ‘de’ doorwerking van rekenkameronderzoek vast te stellen. Evaluatie zal op het niveau van individuele onderzoeken moeten plaatsvinden. Dat is nogal arbeidsintensief.
  • Perverse neveneffecten van meting. Een grote nadruk op het meten en evalueren van effecten van doorwerking kunnen neveneffecten hebben. Het kan op termijn leiden tot het uitbrengen van onderzoeken die gemakkelijk meetbaar zijn. Daarom is het van belang om ook gebruik te maken van evaluatiemethoden met kwalitatieve elementen.
  • Niet alle soorten van doorwerking zijn even makkelijk vast te stellen. Instrumentele doorwerking leent zich beter voor meting dan conceptuele doorwerking. Het vaststellen strategische doorwerking is zo mogelijk nog lastiger.

Instrumentele doorwerking

Bij instrumentele doorwerking onderschrijft de raad / provinciale staten de conclusies en aanbevelingen. De colleges / gedeputeerde staten nemen ze (grotendeels) over en de organisaties voeren ze uit. Ook bij een minimale aanpassingen, is er sprake van instrumentele doorwerking. Het kan wel enige tijd duren, voordat de aanbevelingen zijn verwerkt in nieuw of aangepast beleid. Daarvoor wordt meestal een ‘natuurlijk’ moment gekozen. De aanbevelingen worden dan ingepast in de reguliere beleidscyclus. Instrumentele doorwerking is feitelijk vast te stellen aan de hand van (beleids)notities, verslagen en etc.

De instrumentele doorwerking van de rekenkameronderzoeken is hoog en de laatste jaren toegenomen. De controlerende rol van de raad/provinciale staten is hiermee versterkt. De focus ligt van raad / provinciale staten ligt ook op de volksvertegenwoordigende en controlerende rol. De versterking blijft beperkt tot het onderwerp dat door de rekenkamer(commissie) is onderzocht. De opgedane inzichten worden niet automatisch benut op andere terreinen, waar de rekenkamer(commissie) geen onderzoek heeft verricht.

Kernvariabelen grondexploitaties

De problematiek bij de Gemeentelijke grondexploitaties vormen inmiddels een serieus probleem. Financiële problemen nemen toe en de verslagleggingregels zijn (te) beperkt om er goed inzicht in te krijgen. Voor de provincie is goed inzicht van belang in het kader van haar financiële toezicht op de gemeenten; voor de gemeenteraden is het van belang in het kader van hun kaderstellende en controlerende rol richting colleges.

Met divers rekenkameronderzoek is er inmiddels wel al ervaring opgedaan hoe de gemeenteraden beter grip op het grondbeleid en grondexploitatie kunnen krijgen.

De Rekenkamer Rotterdam heeft Kernvariabelen grondexploitaties ontwikkeld  waarmee de gemeenteraad snel inzicht kan krijgen in de stand van zaken van de grondexploitaties.  Onder aan de pagina is en overzicht opgenomen met rekenkameronderzoeken van de afgelopen jaren op het desbetreffende thema.

Kernvariabelen grondexploitaties

Voor een gemeenteraadslid is het vaak lastig om gevoel te krijgen voor de stand van zaken van de grondexploitaties. Met behulp van onderstaande kernvariabelen kan hij daar snel inzicht in krijgen. Onderstaande tabel laat zien welk inzicht welke kernvariabele biedt.

informatiebehoefte kernvariabelen
Kunnen de gronden op het binnen de grondexploitatie beoogde moment en functie verkocht worden? Programma en marktonderzoek
Hoeveel geld heeft de gemeente uitgegeven en moet terug verdiend worden? Boekwaarde
Wat denkt de gemeente aan het einde van de projecten over te houden? Netto contante waarde (NCW)
Hoe flexibel is de gemeente m.b.t. de te maken kosten? Nog te maken kosten en cashflow
Hoeveel rente moet de gemeente betalen als de gronden een jaar later pas verkocht kunnen worden? Jaarlijkse rente
Hoeveel heeft de gemeente opzij gezet voor de grondexploitaties? Voorzieningen
Stel dat het (economisch) slechter gaat dan verwacht, hoeveel geld kan de gemeente dan kwijt zijn aan de grondexploitaties? Benodigde weerstandscapaciteit

Hieronder zijn deze kernvariabelen toegelicht en is beschreven welke aandachtspunten daarbij horen. Het is van belang dat de onderstaande informatie zowel op het niveau van afzonderlijke grondexploitaties als op het niveau van de portefeuille, de optelsom van alle grondexploitaties, gegeven wordt. Met andere woorden, het is belangrijk om inzicht te hebben in de boekwaarde van de afzonderlijke grondexploitaties, maar ook om de totale boekwaarde van alle gemeentelijke grondexploitaties te kennen.

Programma en planning versus marktonderzoek

Een actueel marktonderzoek moet aantonen dat er vraag in de markt is naar het aantal woningen, bedrijventerreinen, kantoren etc. waarvoor de gemeente per jaar beoogt grond te verkopen. Aandachtspunten:

  • Actueel marktonderzoek (max. 1 jaar oud)
  • Optelling van respectievelijk alle geplande woningen, bedrijventerreinen, kantoren, etc. binnen de gemeentelijke grondexploitaties per jaar voor de gehele looptijd van de grondexploitaties.
  • Bovenstaande aantallen per jaar moeten binnen de verwachtingen over de te realiseren verkopen volgens het marktonderzoek blijven.
  • De verkoop van grond voor woningen, bedrijventerreinen etc. die verder dan 20 jaar in de toekomst gepland staan, is zo onzeker dat de uitgaven voor deze gronden niet geactiveerd dienen te worden.

Boekwaarde

De boekwaarde is het bedrag dat al is uitgegeven aan de grondexploitaties minus de al ontvangen bedragen. De boekwaarde is ongeveer het bedrag dat de gemeente kwijt is als men besluit te stoppen met de grondexploitaties en geen uitgaven meer doet en geen inkomsten meer krijgt. In de praktijk is dit doorgaans niet zonder meer mogelijk vanwege aangegane verplichtingen en half afgeronde projecten.

Netto contante waarde (NCW)

De NCW is bij afronding van alle projecten het verschil tussen alle inkomsten en uitgaven teruggerekend naar het huidige prijspeil.

Nog te maken kosten en cashflow

Met het oog op het aanpassen van projecten is het van belang om inzicht te hebben in de kosten die nog gemaakt worden en het moment waarop die kosten terug verdiend kunnen worden. Van welk deel van de nog te maken kosten kan de gemeente besluiten om ze niet of later te maken door projectonderdelen te schrappen of resp. te temporiseren en welk bedrag moet de gemeente uitgeven vanwege afspraken met private partijen of omdat anders de al eerder gemaakte kosten niet terug verdiend kunnen worden?

Een grafiek met de beoogde cashflow laat zien hoever de uitgaven vóór de inkomsten gepland zijn. Zijn de uitgaven ver voor de inkomsten gepland, dan moet er langer rente betaald worden en zijn er minder mogelijkheden om de kosten aan te passen als de inkomsten onzekerder worden. Het ROK-saldo geeft hier ook inzicht in. Dit is het saldo van de renteopbrengsten- en kostenstijging als gevolg van de fasering van het plan.

Jaarlijkse rente

Hoeveel rente betaalt de gemeente jaarlijks over de binnen de grondexploitaties uitgegeven bedragen?

Voorzieningen

Is de voorziening groot genoeg in verband met de verwachte verliezen inclusief de tekorten binnen de grondexploitaties met een negatieve NCW?

Benodigde weerstandscapaciteit

De benodigde weerstandscapaciteit laat zien met welk bedrag de gemeente rekening moet houden als onverwachte tegenvallers zich voordoen.
Aandachtspunten:

  • Hoe is de benodigde weerstandscapaciteit berekend? Met welke risico’s is rekening gehouden en welk bedrag (per project) hoort daarbij?
  • Is er gebruik gemaakt van een scenarioberekening over de vraag naar bouwgrond? Welk scenario is gehanteerd? Is dit een scenario dat slechter is dan het meest reële scenario?
  • Worden negatieve risico’s gecompenseerd met zogenaamde positieve risico’s? Dit is niet wenselijk. Met name als de positieve risico’s gerelateerd zijn aan de negatieve risico’s. Als bijvoorbeeld een negatief risico is dat de gronden niet op tijd worden verkocht, dan kan dit niet gecompenseerd worden door een kans op een hogere grondprijs van diezelfde gronden.
  • Bij de berekening van de benodigde weerstandscapaciteit gaat men er doorgaans van uit dat niet alle tegenvallers zich voor zullen doen, maar werkt men met een betrouwbaarheidspercentage. Dit is goed te verdedigen als de risico’s zich onafhankelijk van elkaar voordoen. Dan kan men ervan uit gaan dat het ene risico zich wel voordoet en het andere niet. Bij risico’s die zich allemaal voordoen als het slecht gaat met de economie, kan dat niet; een slechte economische situatie zal gevolgen hebben voor alle grondverkopen.

In sommige gevallen wordt verschillende keren achter elkaar gewerkt met betrouwbaarheidspercentages (bijvoorbeeld eerst een keer binnen de gemeenschappelijke regeling en vervolgens binnen de gemeente). In zo’n geval is het raadzaam om de uiteindelijke bijdrage van de grondexploitatie aan de benodigde weerstandscapaciteit apart te beschouwen.

  • Omdat bij de berekening van de benodigde weerstandscapaciteit gebruik gemaakt wordt van veel aannames, en de toekomst vele onzekerheden kent is het goed om de uitkomst te vergelijken met:
    • IFLO-norm: benodigde weerstandscapaciteit = 10% van de boekwaarden van grondexploitaties + 10% van de nog te maken kosten in deze grondexploitaties.
    • Benodigde weerstandscapaciteit in andere gemeenten gerelateerd aan de boekwaarde en de nog te maken kosten.
    • Het bedrag dat extra betaald moet worden als alle gronden een jaar later verkocht zullen worden

 

Referenties:

Offertetraject

Aangeraden wordt minimaal drie bureaus te benaderen voor het uitbrengen van een offerte. Zeker bij wat meer specialistische onderwerpen, kan het nuttig zijn om via het internet gespecialiseerde bureaus of onderzoeksinstellingen op het spoor te komen. Ook bij andere rekenkamers, die vergelijkbaar onderzoek hebben laten doen, kunnen inlichtingen worden ingewonnen. Ook afdelingen van andere gemeenten kunnen vaak goede suggesties doen. Met name ten aanzien van onderzoek naar ‘inhuur van derden’, ‘grondexploitatie’ en ‘subsidiebeleid’ bestaat inmiddels veel ervaring bij lokale rekenkamers. De databanken van De Lokale Rekenkamer (www.delokalerekenkamer.nl) en de NVRR (www.rekenkamers.nl) bieden toegang tot een groot aantal rapporten.

Stappen offertetraject

Volg in het offertetraject de volgende stappen:

  • Benader kandidaat opdrachtnemers telefonisch met de vraag of ze in principe bereid zijn mee te doen met het offerte traject.
  • Stuur ze vervolgens (per e-mail) het onderzoeksplan toe met het verzoek om op basis daarvan een offerte uit te brengen. Het is raadzaam daarbij ook aan te geven welke elementen op welke wijze in ieder geval in de offerte opgenomen moeten worden. Dit betreft in ieder geval:
  • het toetsingskader dat in het onderzoek wordt gehanteerd. Tussen onderzoeksbureau en rekenkamer(commissie) zal op dit punt volstrekte overeenstemming moeten bestaan;
  • ervaring en deskundigheden in het onderzoeksteam;
  • per persoon uitgesplitst wie voor hoeveel uur wordt ingezet;
  • een opgave door het onderzoeksbureau van opdrachten die (op het onderzoeksterrein) voor dezelfde gemeente zijn of worden uitgevoerd;
  • de eis van terugkoppeling van interview verslagen;
  • de terugkoppelingsmomenten aan de rekenkamer(commissie) (en eventueel aan de raad) en de verwachte bijdrage van de rekenkamer(commissie), bijvoorbeeld door regelmatige voortgangsrapportage aan en periodieke bespreking met de rekenkamer.
  • Geef het onderzoeksbureau informatie over de rekenkamer en wijs op het specifieke karakter van rekenkameronderzoek.
  • Maak meteen duidelijk welke bijdrage van het bureau na afloop van de uitvoering nog wordt verwacht, bijvoorbeeld bij de presentatie van het onderzoeksrapport in de raad(scommissie).
  • Maak na ontvangst van alle offertes een selectie van de bureaus die in principe in aanmerking zouden kunnen komen voor de opdracht. Nodig deze bureaus uit voor een gesprek over de offerte.
  • Laat na het gesprek zo nodig nog een herziene offerte maken en maak tenslotte de keuze op basis van de (herziene) offerte en het gesprek.
  • Plan een evaluatie in met het onderzoeksbureau nadat het rapport is behandeld.

De NVRR heeft een handig sjabloon ter ondersteuning van de offerte aanvraag gepubliceerd.

Keuze voor een externe onderzoeker

Op basis van de offertes en de mondelinge toelichting kan de keuze voor een bureau worden gemaakt. Alhoewel er allerhande criteria zijn waaraan offertes kunnen worden beoordeeld, gaat het uiteindelijk toch vooral om het vertrouwen bij de opdrachtgever dat de opdrachtnemer echt in staat is dat onderzoek uit te voeren.

Belangrijke (hulp) criteria zijn:

  • kennis en ervaring van de onderzoeker(s);
  • de mate waarin zij blijk geven uw onderzoeksvragen te begrijpen en van een antwoord te kunnen voorzien;
  • ingewonnen referenties;
  • uw geloof in een goede invulling van de opdracht;
  • en natuurlijk ook: een goede prijs/kwaliteitverhouding van het onderzoek.

Hanteer eigen leveringsvoorwaarden

Let ook op de leveringsvoorwaarden. De meeste bureaus brengen u offerte uit op basis van hun eigen leveringsvoorwaarden, en soms willen die nog wel eens erg beschermend zijn voor het bureau zelf. Daarom is het verstandig dat de rekenkamer(commissie) haar eigen voorwaarden hanteert. Het bureau dat het onderzoek gaat uitvoeren wordt gevraagd daarmee akkoord te gaan.  De voorwaarden van de externe partij worden vervolgens expliciet uitgesloten in de opdrachtbrief.

Specifieke rekenkamerbepalingen in het contract

Specifieke rekenkamerbepalingen in het contract zijn bepalingen ten aanzien van:

  • Kosten voor meerwerk (m.n. als gevolg van hoor -wederhoor, vragen uit de raad etc.);
  • Vertrouwelijkheid;
  • Toegang tot gegevens;
  • Eigendom van rapporten;
  • Het eigendom van stukken/dossiers;
  • De omgang met citaten en verslagen;
  • Public relations (woordvoerderschap)
  • De wijze waarop het extern bureau in het onderzoeksrapport wordt vermeld,  bijvoorbeeld:
    • rapport in huisstijl extern bureau;
    • rapport met logo extern bureau en rekenkamer;
    • rapport in huisstijl rekenkamer met vermelding van bureau.

Mulier Debat – Rekenkamers en Sport. Effectief sportbeleid in tijden van bezuinigingen en decentralisatie

Het Mulier Debat wordt voor deze gelegenheid georganiseerd in samenwerking met de Nederlandse Vereniging van Rekenkamers en Rekenkamercommissies (NVRR).

De NVRR constateert een toename van sportgerelateerde rekenkameronderzoeken mede als gevolg van de bezuinigingen op sport en de toegenomen decentralisatie en afwenteling van taken op vrijwillige organisaties. Hierdoor is een toenemende behoefte aan kennis op het terrein van sport(beleid) waar te nemen vanuit de Rekenkamercommissies.

Tijdens het Mulier Debat wordt de aanwezige sportkennis samengebracht en vanuit het perspectief van rekenkameronderzoek bediscussieerd, met als doel te komen tot een ‘common body of knowledge’ voor rekenkameronderzoek in de sport.

Het Mulier Debat sluit hiermee aan bij de doelen van de NVRR om kennis en ervaring uit te wisselen, zodat met goed en onafhankelijk onderzoek wordt bijgedragen aan de kwaliteit van het openbaar bestuur.

Algemene Ledenvergadering en Mini-congres NVRR

Op 22 november organiseert de NVRR de tweede Algemene Ledenvergadering. Aansluitend daarop is mede vanwege het 10-jarig jubileum van de vereniging, een mini-congres georganiseerd.

Voor de Algemene Ledenvergadering worden alleen de voorzitters of hun afgevaardigden van rekenkamers en rekenkamercommissies verwacht. U bent welkom vanaf 10.30 uur voor ontvangst en registratie. 

Tijdens de Algemene Ledenvergadering, die duurt van 11.00 uur tot 13.00 uur, worden de leden geïnformeerd over een meerjarenbeleidplan en het jaarplan 2014 en wordt Arno Visser voorgesteld als bestuurslid namens de Algemene Rekenkamer, als vervanging van Kees Vendrik.

Om 13.00 uur is een gezamenlijke lunch en om 14.00 uur begint het mini-congres. Het mini-congres  is ook toegankelijk voor rekenkamerleden en anderen die zijn betrokken bij rekenkamerwerk en u bent van harte welkom vanaf 13.00 uur.

Tijdens deze middag wordt voor het eerst de Goudvink – nieuwe stijl – uitgereikt door Ferd Crone. Hij is burgemeester van Leeuwarden en tevens voorzitter van de Goudvink jury. Na de pauze worden een aantal zeer actuele onderworpen besproken en uitgelegd. 

Programma & Agenda

10.30 – 11.00 uur Ontvangst en registratie voor de ALV
11.00 – 13.00 uur ALV (klik hier voor de stukken)
 

Agenda:

1. Opening en vaststelling agenda 

2. Mededelingen van het bestuur 

3. Vaststellen van het concept verslag van de ALV 19 april 2013 

4. Benoeming Arno Visser als bestuurslid namens de AR 

5. Meerjarenbeleidplan 

6. Jaarplan 2014 

7. Rondvraag 

8. Sluiting 
13.00 – 14.00 uur Lunch en netwerken, inloop voor deelnemers middagprogramma
Vanaf 14.00 uur Mini Congres
14.00 – 15.00 uur Uitreiking Goudvink, inclusief een toelichting op criteria en  proces door de Commissie Goudvink
15.00 – 15.15 uur Pauze 
15.15 – 17.00 uur
  • Decentralisatie 
  • Presentatie Leidraad bij het Haagse sociaal domein (Kansenkaart voor herinrichting)

    door Ing You Tan of Mirjam Swarte; 
  • Kennis delen en samenwerken 
17.00 – 18.00 uur Borrel en netwerken
18.00 uur Diner voor genodigden

U kunt met het aanmeldingsformulier aangeven of u alleen 's morgens/alleen 's middags/de gehele dag aanwezig bent. Komt u met collega's van dezelfde rekenkamer, meldt u zich dan apart aan. 

Bent u voorzitter van meerdere rekenkamers, doet u de organisatie een groot plezier ook dit aan te geven op het formulier. Mocht u nog vragen hierover hebben, kunt u te allen tijde contact opnemen met het secretariaat.

Mulier Debat – Rekenkamers en Sport. Effectief sportbeleid in tijden van bezuinigingen en decentralisatie

Het Mulier Debat wordt voor deze gelegenheid georganiseerd in samenwerking met de Nederlandse Vereniging van Rekenkamers en Rekenkamercommissies (NVRR).
De NVRR constateert een toename van sportgerelateerde rekenkameronderzoeken mede als gevolg van de bezuinigingen op sport en de toegenomen decentralisatie en afwenteling van taken op vrijwillige organisaties. Hierdoor is een toenemende behoefte aan kennis op het terrein van sport(beleid) waar te nemen vanuit de Rekenkamercommissies.

Tijdens het Mulier Debat wordt de aanwezige sportkennis samengebracht en vanuit het perspectief van rekenkameronderzoek bediscussieerd, met als doel te komen tot een ‘common body of knowledge’ voor rekenkameronderzoek in de sport.
Het Mulier Debat sluit hiermee aan bij de doelen van de NVRR om kennis en ervaring uit te wisselen, zodat met goed en onafhankelijk onderzoek wordt bijgedragen aan de kwaliteit van het openbaar bestuur.