Skip to main content

Auteur: Secretariaat

Presentatie rapport aan de raad

Na publicatie volgt de presentatie van het rapport aan de raad. Dat kan op veel manieren: wel of niet in aanwezigheid van de rekenkamer, aan de raad als geheel of eerst aan de commissie etc.

Het komt de besluitvorming over een rekenkamerrapport in de raad ten goede, als de raad vóór de plenaire behandeling met de rekenkamer van gedachten heeft kunnen wisselen over het gepresenteerde rapport. De raad kan vragen stellen en de rekenkamer kan het rapport en de achtergronden van het onderzoek nog eens toelichten. De besluitvorming over een rekenkamerrapport vindt bij voorkeur plaats d.m.v. een raadsvoorstel.

Er zijn veel manieren waarop gemeenteraden in het land de besluitvorming over rekenkamerrapporten in de raad voorbereiden. De drie belangrijkste vormen zijn:

  • Bespreking in een vaste raadscommissie (dat kan een aparte ‘commissie voor de rekenkamer’ zijn, maar ook bijvoorbeeld de ‘commissie Algemene zaken’ ). Een mogelijke variant hierop is dat al naar gelang het onderwerp deze commissie wordt aangevuld met de leden uit een of meer vakcommissies. Ook kan er een gezamenlijke commissievergadering worden belegd.
  • Bespreking in de voor het onderwerp geëigende vakcommissie.
  • Bespreking in een politieke markt (ad hoc samenstelling van de raadsdelegatie waarmee het rapport besproken wordt).

Verloop van de presentatie aan de raad

Voor een goede behandeling van het rekenkamerrapport is het van belang, dat de procedures voor behandeling voor alle deelnemers duidelijk zijn.
De voorzitter van de betreffende commissie of politieke marktbijeenkomst heeft daarbij een belangrijke rol. Hij of zij moet te bewaken, dat de afgesproken procedure bij behandeling in de betreffende (commissie)bijeenkomst ook daadwerkelijk wordt gevolgd. De commissie of raadsdelegatie besluit vervolgens zelf over de verdere behandeling van het rapport. Bijvoorbeeld of het rapport nog afzonderlijk in de gehele raad wordt behandeld (zonder een actieve rol van de rekenkamer(commissie).

De presentatie aan cq. bespreking met de raad kan er als volgt uit zien:

  • presentatie door de rekenkamer van het onderzoeksrapport;
  • beantwoording van vragen van de commissieleden (of raadsdelegatie);
  • rekenkamer maakt plaats voor portefeuillehouder(s)
  • gedachtewisseling van commissieleden met college;
  • conclusies m.b.t. de gedane aanbevelingen.

Desgewenst kan de rekenkamer of de griffie de raads- of commissieleden in hun voorbereiding tegemoet komen, door de belangrijkste te stellen vragen over het onderzoeksrapport en de antwoorden daarop alvast op papier te zetten. De rekenkamer(commissie) kan ook suggesties doen voor vragen aan het college.

Loskoppelen presentatie en debat

Bij voorkeur wordt de presentatie en de toelichting door de rekenkamer aan de raadscommissie of politieke markt losgekoppeld van het debat tussen raad en wethouder. Als bijvoorbeeld ook de wethouder zou kunnen deelnemen aan het open vraag- en antwoordspel tussen rekenkamer en raad, zou deze gedachtewisseling al snel het karakter van een raadsdebat kunnen krijgen. Hierbij loopt de rekenkamer het risico in een onwenselijke positie tussen raad en wethouder terecht te komen.
Het is in veel gemeenten gebruikelijk het politieke debat pas te agenderen, nadat de raad een bestuurlijke reactie van het college op het rapport heeft ontvangen.

Raadsvoorstel rekenkamerrapport

De behandeling van een rekenkamerrapport in de voltallige raad vindt meestal plaats na de presentatie van het rapport aan een raadscommissie of politieke markt.

Bij voorkeur vindt besluitvorming in de raad plaats over een rekenkamerrapport aan de hand van een raadsvoorstel. Het raadsvoorstel heeft betrekking op de conclusies en aanbevelingen van de rekenkamer.

  • Een raadsvoorstel bevat naast een voorstel tot besluitvorming de uitkomst van discussie in de commissie of politieke markt;
  • Een raadsvoorstel bevat tevens de opdracht aan het college om binnen een nader te bepalen termijn te komen met een plan van aanpak ter uitvoering van de door de raad overgenomen aanbevelingen.

De meeste rekenkamer(commissie)s hebben zelf geen rol bij de formulering van de tekst (het dictum) van het raadsvoorstel. Het is dan meestal de griffie die zorgt voor een raadsvoorstel met conceptbesluit.
Er zijn echter in het land rekenkamer(commissie)s, die wel zelf raadsvoorstellen maken.

Scorekaart: wel of niet meedoen aan gezamenlijk onderzoek ?

Wat is de Scorekaart?

De Scorekaart is een lijst van vragen die een rekenkamer ondersteunt in haar besluitvorming om wel of niet mee te doen in een gezamenlijk onderzoek.

Wat is de basis van de Scorekaart?

Begin 2011 heeft de NVRR Kring Onderzoek een aantal gezamenlijke rekenkameronderzoeken geanalyseerd en een notitie geschreven met lessen en ervaringen. Begin 2012 is een gezamenlijk onderzoek naar bedrijventerreinen afgerond.  De evaluatie van dit onderzoek en de notitie van de Kring Onderzoek, vormen de inhoudelijke basis voor de 10 vragen.

Hoe gebruik ik de Scorekaart?

De Scorekaart werkt als een schoolrapport. U bespreekt de vragen met uw collega’s en vult de Scorekaart in. Elke vraag die u met ‘ja’ beantwoordt krijgt een score van 1 punt. Een totaal van 10 punten is uitmuntend en 1 punt is zeer slecht.

Wat is de totaalscore en wat besluiten we?

U telt de scores op en besluit of uw rekenkamer/commissie:

  • wel mee doet met het gezamenlijk onderzoek;
  • niet mee doet met het gezamenlijk onderzoek;
  • het besluit uitstelt, en probeert het onderzoeksvoorstel te verbeteren.

auteur: Kring onderzoek NVRR – genoteerd doorRonald Hoekstra

Selectiecriteria voor rekenkameronderzoek

Het is gebruikelijk om voor een eerste selectie van onderzoeksonderwerpen een aantal selectiecriteria te hanteren. De rekenkamer(commissie) kan desgewenst vooraf aan bepaalde criteria een groter gewicht toekennen:

  • De mate waarin het onderwerp past binnen de taakopdracht die de rekenkamer(commissie) in de wet heeft meegekregen.
  • De mate waarin het onderwerp past binnen de specifieke taakopdracht en bevoegdheden zoals vastgelegd in de verordening op de rekenkamer(commissie).
  • Een zo groot mogelijke bijdrage aan de missie / doelstellingen van de rekenkamer(commissie), gerelateerd aan de inzet van schaarse onderzoekscapaciteit.
  • Substantieel financieel, organisatorisch, bestuurlijk of maatschappelijk belang.
  • Twijfel over de effectiviteit van het beleid, de doelmatigheid van de uitvoering of de rechtmatigheid van het beleid.
  • Mate van risico voor de gemeente, waaronder financieel;
  • Toegevoegde waarde: het onderzoek levert informatie op die niet reeds uit andere bronnen bekend is.
  • Benutten van specifieke bevoegdheden.
  • Spreiding (variatie in onderwerpen, in onderzochte diensten en eventueel politiek, in portefeuilles van wethouders).
  • Bruikbaarheid (inspelen op verzoeken), bruikbaarheid van aanbevelingen en verwachte leereffecten.

Een onderzoeksprogramma zal in de praktijk tussen de 1 en 3 onderzoeken per jaar bevatten. Daarnaast kan ook nog een aantal aanvullende activiteiten (bijvoorbeeld advisering) worden gepland.

Selectieproces onderzoeksonderwerpen

Een onderzoeksprogramma kan tot stand komen door aan de hand van concrete selectiecriteria een aantal onderwerpen uit de groslijst te selecteren. Het is voor de effectiviteit van de rekenkamer(commissie) doorslaggevend dat de goede onderwerpen op het goede moment worden onderzocht. Zo’n selectieproces kan op verschillende manieren verlopen. De uiteindelijke keuze voor een onderwerp is geen objectief gegeven, maar de uitkomst van een discussie, waarin objectieve criteria een rol spelen naast ‘intuïties’ op basis van signalen.

Suggestie mogelijk eerste selectieproces

Elk lid van de commissie kan bijvoorbeeld een beargumenteerde ‘top 5’ maakt aan de hand van de selectiecriteria. Het uiteindelijke programma is dan de optelsom van alle top 5’en.

Verdieping door vooronderzoek

Indien nodig kan hierna, maar vóór de definitieve vaststelling van het onderzoeksprogramma, een eerste verdiepingsslag gemaakt worden (’een vooronderzoek’). Zo kan de rekenkamer(commissie) een meer beargumenteerde prioritering maken.

Verdieping door selectietoets

Verdieping van het eerste selectieproces is het uitvoeren van een selectietoets voor een beperkt aantal geselecteerde onderwerpen. Deze selectietoets dient een aantal vragen te beantwoorden:

  • Wat is het doel, onderwerp, aanleiding?
  • Welke subonderwerpen zijn te onderscheiden (zeker wanneer het aanvankelijke onderwerp nog te algemeen is geformuleerd)?
  • Welke bronnen zijn geraadpleegd?
  • Welke beleidsnota’s zijn van belang?
  • Wat is de (recente) bemoeienis van de raad?
  • Wat is precies het probleem ofwel wat is de reden voor een onderzoek?
  • Wat is de gemeentelijke competentie blijkend uit relevante wet- en regelgeving?
  • Wat is het financieel belang?
  • Is er ander onderzoek verricht of in uitvoering? Zijn op basis van een verkenning hiervan relevante bureaus en/of onderzoekers te identificeren?
  • Is al iets te zeggen over projecttechnische succes- en faalfactoren (zoals de beschikbaarheid van specifieke kennis, de behoefte aan externe deskundigheid, de omvang en ordelijkheid van de dossiervorming terzake, specifieke stellingname van B&W, raad, media e.d. ten aanzien van het onderwerp)?

Een selectietoets biedt zo een beargumenteerde conclusie om een bepaald onderwerp wel of niet in het onderzoeksprogramma op te nemen.

Procesmatig zijn voor de selectietoets verschillende activiteiten denkbaar: vooral bureauonderzoek (raadplegen van uiteenlopende informatiesystemen, telefonische informatierondes), maar ook in beperkte mate verkennende en oriënterende gesprekken.

Onderzoeksmethoden en –technieken

Rekenkameronderzoek kan plaatsvinden met behulp van verschillende methoden en technieken.

Traditioneel rekenkameronderzoek

De belangrijkste elementen bij het ontwerpen van een traditioneel onderzoek zijn:

  • het formuleren van een goede probleemstelling en normenkader;
  • dossieronderzoek ter vaststelling van probleemstelling en normenkader;
  • dossieronderzoek ter toetsing van de uitvoering;
  • enquêteren  van verantwoordelijken en/of de doelgroep;
  • gesprekken en/of interviews  met verantwoordelijken en/of de doelgroep;
  • het formuleren van een sluitende keten van bevindingen, normen, conclusies, oordelen en aanbevelingen.

Lichtere vormen van onderzoek

Bij de beantwoording van de ‘wat gaan we doen’-vraag is het van belang om goed voor ogen te houden dat een lokale rekenkamer(commissie) ook andere instrumenten tot haar beschikking heeft dan alleen langlopend, grootschalig onderzoek.

Deze ‘lichtere’ onderzoeksvormen kunnen bepaalde onderwerpen op relatief snelle wijze onder de aandacht van de raad brengen, waardoor de rekenkamer waar nodig ook op actualiteiten kan inspelen of kan voorsorteren op eventueel diepergaand onderzoek.
Een rekenkamer zou vanuit kosten- en effectiviteitsoogpunt kunnen streven naar een mix van producten, bijvoorbeeld:

  • op basis van een quick scan of vooronderzoek een specifiek probleem bij de raad agenderen;
  • een (rekenkamer)brief aan de raad richten waarin de raad wordt geattendeerd op risico’s of een mogelijk probleem in de toekomst;
  • een review uitvoeren van onderzoek dat al door anderen is verricht (bijv. een review van het onderzoek naar de jaarrekening door de accountant); of een review naar een onderzoek ex art 213a;
  • jaarlijks de kwaliteit van de programmabegroting kritisch bekijken en de raad daar over informeren.

Bij een lichtere vorm van onderzoek liggen alternatieve presentatievormen voor de hand.

Pilot-onderzoek

Het kan zinvol zijn, alvorens het onderzoek wordt gestart één of meer pilotstudies uit te voeren om zo bepaalde onderdelen van een onderzoek (reikwijdte vraagstelling, vragenlijst, analysetechniek, normenkader, informatievoorziening, doelgroep e.d.) uit te testen en op basis daarvan zonodig bij te stellen alvorens over te gaan tot een bredere toepassing.
Vooral bij gemeentebrede onderzoeken verdient het aanbeveling eerst testonderzoeken (‘pilots’) uit te voeren bij een of enkele diensten.

Doelmatigheidsonderzoek

Op de website van de Algemene Rekenkamer is de Handreiking Meten van doelmatigheid opgenomen. De handreiking geeft goede handvatten voor het uitvoeren van doelmatigheidsonderzoek. Aan de orde komen:

  • de begrippen prestaties, effecten en doelmatigheid;
  • het afbakenen van het te onderzoeken onderwerp;
  • het verzamelen van gegevens en het zoeken naar verklaringen;
  • het berekenen van doelmatigheid en het omgaan met doelmatigheidskengetallen.

Noodzaak statisch onderzoek

In het algemeen zal het niet noodzakelijk zijn om voor rekenkameronderzoek gebruik te maken van heel ingewikkelde (statistische) onderzoeksmethoden.

Omgevingsfactoren en (politieke) context

De omgeving waarin de rekenkamer(commissie) zich bevindt, beïnvloedt de mate waarin de onderzoeken doorwerken. Een rekenkamer(commissie) kan de doorwerking vergroten door hiermee rekening te houden en rekening te houden met ieders belangen. De rekenkamer(commissie) kan deze factoren echter vaak zelf niet beïnvloeden. Bij relevante omgevingsfactoren gaat het om:

  • Politiek bestuurlijke factoren
    Rekenkameronderzoek is meestal primair bestemd voor de raad / provinciale staten. Het komt daardoor meestal automatisch in de politieke arena terecht. De verandercultuur van college / gedeputeerde staten en raad / provinciale staten zijn daarom van belang. Interne, politieke verschillen in raad / provinciale staten (en college / gedeputeerde staten) zijn tevens bepalend. Ook hierover wordt verschillend gedacht: sommigen denken dat interne verschillen een positief effect hebben. op de doorwerking van het rekenkameronderzoek. Anderen menen dat interne verschillen juist een negatieve invloed hebben.
    De politiek-bestuurlijke actualiteit en de mate van politieke belangstelling voor een beleidsthema hebben ook invloed. Bij een groot politiek belang is er een risico dat uitkomsten strategisch worden gebruikt, zonder dat dit leidt tot instrumentele of conceptuele doorwerking. Beperkte politieke aandacht hoeft niet altijd te leiden tot een beperkte instrumentele en conceptuele doorwerking.
  • Organisatieafhankelijke factoren
    Te denken valt aan zaken als de cultuur in de organisatie,  de mate van politisering van thema´s, de verandercultuur, het aantal partijen dat (hinder)macht heeft, al dan niet sterke informatie en adviesconcurrentie in een beleidsveld en de mate waarin draagvlak verworven kan worden in de organisatie.
  • Factoren in het beleidsveld
    Soms bepaalt de overheid samen met maatschappelijke (en belangen) organisaties het beleid. Dat wordt de mate van professionalisering en de pluriformiteit van het beleidsveld van belang. De mening van professionals is belang voor de doorwerking, in een veld dat wordt gedomineerd door professionals. Naarmate er meer verschillende organisaties zijn in het beleidsveld, zal het onderzoek mogelijk meer aanleiding geven tot debat. Maar ook: wanneer het beleidsveld de aanbevelingen uit het onderzoek steunt, kan vanuit deze hoek ook druk worden gezet op raad / provinciale staten en college / gedeputeerde staten om de aanbevelingen over te nemen.

Gebruik maken van kansen die zich voordoen

In de omgeving van de rekenkamer(commissie) kunnen zich unieke kansen  (windows of opportunity) voordoen. Het gebruik maken van deze kansen vereist initiatief, ondernemerschap en een goed gevoel voor timing.

Evaluatie rekenkameronderzoek

Evaluatie onderzoeksproces

Het is voor de interne effectiviteit van de rekenkamer belangrijk, dat zij elk onderzoek kort na de publicatie evalueert op inhoud en proces. Doel van zo’n evaluatie is het achterhalen van verbeterpunten en succesvolle werkwijzen. Voor deze evaluatie kan de rekenkamer(commissie) gebruik maken van een standaard checklist met vragen en aandachtspunten. Wanneer het onderzoek door de rekenkamer(commissie) zelf is uitgevoerd, is sprake van een zelfevaluatie van het onderzoeksteam en de directeur of voorzitter. Bij uitbesteding van het onderzoek aan een externe onderzoeker is een evaluatie met / van het bureau op zijn plaats. De uitkomsten van (zelf)evaluatie worden idealiter vastgelegd in een evaluatienotitie.

Evaluatie op doorwerking

Voor de externe effectiviteit van de rekenkamer(functie) is van belang de doorwerking van rekenkamerrapporten te evalueren. Op die manier kan de rekenkamer(commissie) volgen wat er met de rapporten wordt gedaan. Maar ook hoe en in welke mate gevolg wordt gegeven aan aanbevelingen en eventuele toezeggingen. Deels valt dit samen met de mogelijkheid van vervolg- of opvolgingsonderzoek.

Monitoring

Voor de effectiviteit van de rekenkamer(commissie) is het van groot belang om de goede onderwerpen op het juiste moment te onderzoeken. Daarom moet de rekenkamer het hele jaar door goed in de gaten houden welke thema’s spelen binnen de gemeente en welke thema’s onderbelicht blijven. Dat vereist een goede monitoring of een goed ontwikkelde ‘antenne’ voor wat er speelt in de gemeente.

Van tijd tot tijd kan er over de onderwerpen die worden bijgehouden een notitie worden gemaakt ter informatie aan de staf, de commissie / de directeur of aan de raad. Daarvoor verzamelt de rekenkamer gedurende het hele jaar informatie uit een mix van verschillende schriftelijke bronnen. Daarnaast kan de rekenkamer gebruik maken van:

Het bijhouden van een groslijst door het jaar heen is nuttig om allerlei onderwerpen te plaatsen en vast te houden. Later kunnen de onderwerpen op deze lijst op meer systematische wijze worden gemonitord op hun eventuele potentie als onderwerp van onderzoek.

Om te weten wat in een gemeente belangrijke mogelijke thema’s zijn moet de rekenkamer (commissie) zich niet alleen door de politiek / bestuurlijke agenda laten leiden, maar ook door de maatschappelijke agenda. Waar in de politiek, maar ook in de maatschappelijke publiciteit, het korte termijn belang nog wel eens erg bepalend wil zijn, behoort het min of meer tot de natuurlijke positie van de rekenkamer om juist gericht aandacht te geven aan de gevolgen van beleid op meer lange termijn.

Basisvoorwaarden kwaliteit rekenkamerrapport

Aan de kwaliteit van rekenkamer rapporten kunnen enkele basisvoorwaarden worden gesteld. De normen voor de NVRR Goudvink geven een beeld van de minimale voorwaarden waaraan een goed onderzoeksrapport moet voldoen.

Duidelijk onderscheid tussen normen, bevindingen, conclusies en aanbevelingen

Maak bij het rapporteren expliciet en helder onderscheid tussen:

  • normen (criteria, uitgangspunten),
  • bevindingen,
  • analyse,
  • conclusies, en
  • aanbevelingen.

Dit onderscheid is kenmerkend voor rekenkameronderzoek. Tussen geen van de vijf onderdelen mag ‘licht’ zitten, ze moeten naadloos op elkaar aansluiten. Bijvoorbeeld: als oordelen of conclusies niet bij de bevindingen aansluiten, of aanbevelingen niet bij een gehanteerd normenkader gaat dat onherroepelijk ten koste van de geloofwaardigheid van de rekenkamer.

Ook moet de rekenkamer er zeker van zijn dat de gerapporteerde feiten en gegevens betrouwbaar zijn, respectievelijk dat bronnen zijn vermeld. Een rekenkamer kan alleen gezag opbouwen als haar producten voor 100% de toets der kritiek kunnen doorstaan.

Onderscheid tussen nota van bevindingen en bestuurlijke nota

Het onderscheid tussen bevindingen, conclusies, oordelen en aanbevelingen kan binnen één rapport worden gemaakt. Een andere mogelijkheid is het scheiden van rapporten:
in een nota van bevindingen waarin o.a. de feitelijke onderzoeksbevindingen en analyse daarvan staan, en
een bestuurlijke nota waarin o.a. de samenvatting, (overkoepelende) conclusies en aanbevelingen aan de raad zijn opgenomen.

Rekenkameronderzoek en externe onderzoeksbureaus

Geef bij uitbesteding van het onderzoek aan het onderzoeksbureau aan dat in de rapportage de gehanteerde normen, de bevindingen uit het onderzoek, de conclusies en de oordelen duidelijk onderscheiden van elkaar dienen te worden gepresenteerd en naadloos op elkaar aan moeten sluiten. Het komt regelmatig voor dat ingeschakelde bureaus moeite hebben met de vertaalslag van onderzoeksbevindingen naar (suggesties voor) bestuurlijk bruikbare aanbevelingen.
Voor veel onderzoeksbureaus is het ongebruikelijk deze onderdelen zo scherp te onderscheiden. Maar voor een rekenkamer(commissie) is een globaal beeld, waarin betrokkenen zich herkennen, onvoldoende. Daarom is het noodzakelijk om bureaus die voor de rekenkamer onderzoek uitvoeren vooraf heel goed in te lichten over het typische aan rekenkameronderzoek en ze te instrueren over de wijze van rapporteren.

De rekenkamer(comissie) formuleert de aanbevelingen

De rekenkamer doet zelf de aanbevelingen aan de raad (en /of aan het college). Het onderzoeksbureau kan suggesties voor aanbevelingen doen, die de rekenkamer(commissie) vervolgens kan gebruiken bij het opstellen van de bestuurlijke nota.
Het is zaak dat de rekenkamer voldoende tijd plant voor en aandacht besteedt aan het formuleren van de aanbevelingen.

Vooraf (ambtelijk) toetsen aanbevelingen

Vooral wanneer het om complexe of politiek gevoelige onderwerpen gaat, kan het zinvol zijn mogelijke denkrichtingen voor aanbevelingen vooraf ambtelijk te toetsen.

Voorwaarde is wel, dat er geen wezenlijk verschil van mening meer bestaat over het feitencomplex uit de nota van bevindingen. Tegelijkertijd moet duidelijk zijn dat de rekenkamer het laatste woord heeft over de formulering van de aanbevelingen.
Door aan ambtenaren de vraag voor te leggen wat op basis van de geconstateerde feiten oplossingen zouden kunnen zijn, toets je de uitvoerbaarheid van aanbevelingen. Zo’n overleg werkt alleen wanneer aan de ‘andere’ kant het gevoel bestaat, dat er nog geen uitontwikkeld idee bestaat over aanbevelingen en er dus nog invloed mogelijk is.
Het is ook mogelijk aanbevelingen vooraf te toetsen bij de griffie / griffier op bruikbaarheid voor de raad.

Alternatieven voor een rekenkamerrapport

Het is goed voor aanvang van een onderzoek ook aandacht te hebben voor alternatieve presentatievormen.

Mogelijke bronnen onderwerpen rekenkameronderzoek

Officiële stukken:

  • Raadsstukken en raadsagenda’s.
  • Stukken van B&W (bestuursrapportages evaluatierapporten etc.).
  • De begroting, jaarrekening, voorjaarsnota etc.
  • Stukken van de account zoals tussentijds verslag en managementletter.
  • Commissieagenda’s en notulen.

Andere bronnen:

  • Lokale kranten en wijkbladen.
  • Individuele signalen van raadsleden, ambtenaren en burgers.
  • Het horen van de raad.
  • Overleg met audit-commissie of accountant.
  • Binnenlands bestuur.
  • VNG magazine.
  • Maatschappelijke organisaties.

Logboek en archief

De rekenkamer(commissie) kan voor elk onderzoek een logboek en een archief aanleggen. Een logboek en een goed archief maken het mogelijk om later makkelijk iets terug te halen en om afspraken en toezeggingen te controleren. Het logboek en het archief zijn ook belangrijk in verband met de vereiste transparantie en controleerbaarheid van de rekenkamer. In logboek en archief kunnen de volgende zaken worden vastgelegd:

  • belangrijke momenten,
  • contacten,
  • namen,
  • documenten,
  • telefoongesprekken,
  • e-mails,
  • informatieve ronden etc.

Archief

Het is in ieder geval belangrijk op een systematische manier om te gaan met correspondentie in het kader van het onderzoek.
Aanbevolen wordt de inkomende en uitgaande correspondentie op papier / print te archiveren. Dit betreft post, fax en e-mail.

Logboek

Aangeraden wordt een logboek aan te leggen zodra een onderwerp is geselecteerd. Een logboek is een weergave van het verloop van een onderzoek. Van telefonisch of eventueel mondeling contact wordt in het logboek verslag gedaan. Zo nodig wordt correspondentie per e-mail in het logboek opgenomen. Het logboek geeft, samen met alle andere werkzaamheden en (tussen)producten en de een afrondende evaluatie van het onderzoek, een compleet beeld. Het logboek is het meest bruikbaar wanneer het consequent wordt bijgehouden.

Ambtelijk hoor en wederhoor

In de procedure ambtelijk hoor en wederhoor ontvangt de ambtelijke organisatie een overzicht van de door de rekenkamer geconstateerde feiten. De ambtelijk eindverantwoordelijken krijgen de gelegenheid daarop te reageren. Het is hierbij de bedoeling dat bij er de uiteindelijke publicatie, wanneer de rekenkamer(commissie) ook conclusies en aanbevelingen presenteert, geen discussie meer zal ontstaan over de feitelijke (on)juistheid van de bevindingen. Ambtelijk hoor en wederhoor wordt ook van belang geacht voor een goede communicatie tussen ambtelijke organisatie en rekenkamer. Een uitgebreid ambtelijk wederhoor maakt de doorlooptijd van een rekenkamer onderzoek echter wel langer.

Deze procedure van ‘hoor- en wederhoor’ heeft geen wettelijke basis. Het is ontleend aan de praktijk bij de Algemene Rekenkamer.

Tips voor ambtelijk wederhoor

  • Maak onderscheid tussen ambtelijk wederhoor en bestuurlijk wederhoor.
  • Leg aan de betrokken ambtenaren de nota van bevindingen voor, ter controle op de juistheid van de feiten en de interpretatie daarvan (de conclusies).
  • Hanteer een reactietermijn voor wederhoor van ca. 3 à 4 weken.
  • Kondig het wederhoor bij betrokkenen ruim van te voren aan.
  • Spreek af of het ambtelijke wederhoor rechtstreeks met de betrokken ambtenaren plaatsvindt of via een leidinggevende/de gemeentesecretaris.
  • Spreek af wat er bij het ambtelijke wederhoor wordt voorgelegd: alleen de voor de persoon relevante passages of het gehele rapport.
  • Spreek af hoe er wordt omgegaan met aanpassing van het rapport, bijvoorbeeld in de situatie dat een respondent erkent dat hij juist is geciteerd, maar dat het citaat uit zijn verband is gerukt.

Ambitie rekenkamer, missie rekenkamer, positie rekenkamer

Wettelijke doelen lokale rekenkamer

Een lokale rekenkamer moet bijdragen aan een transparanter en doelmatiger lokaal bestuur. Door het doen van onderzoek ondersteunt zij de gemeenteraad bij het uitvoeren van zijn wettelijke kaderstellende, controlerende en volksvertegenwoordigende taken.

De raad formuleert bij het instellen van een lokale rekenkamer of rekenkamercommissie de kaders. De raad legt deze kaders in de regel vast in een verordening. Binnen de kaders vanuit wet en verordening geeft de rekenkamer(commissie) hieraan nadere invulling.
De rekenkamer(commissie) is niet het enige controle-instrument van de gemeenteraad. Ook dit is van belang voor de positionering van de rekenkamer(commissie).

Ambities lokale rekenkamer

De rekenkamer moet open zijn over haar ambitieniveau. De rekenkamer(commissie) moet ook verantwoording afleggen over de mate waarin zij haar doelstellingen bereikt. Het is belangrijk om aan de bevolking, gemeenteraad en college duidelijk te maken wat voor soort rekenkamer(functie) zij kunnen verwachten. Om dit te kunnen bepalen kan de rekenkamer antwoord geven op de volgende vragen:
Wat willen we bereiken?
Wat gaan we daarvoor doen?
En welk soort rekenkamer willen we zijn, resp. welk soort onderzoek willen we doen?

Missie

Als missie zijn allerlei keuzes mogelijk. We zetten hier als hulpmiddel enkele keuzes op een rij door telkens twee tegenstellingen aan te geven. De uiteindelijke keuze van de rekenkamer kan heel wel het midden houden tussen uitersten en een mix zijn van de hier genoemde mogelijkheden.

1 Onderzoek gericht op rechtmatigheid, de kwaliteit van begroting en verantwoording, de centrale Planning en Control cyclus. Onderzoek gericht op doeltreffendheid en/of doelmatigheid van beleid, output en outcome, waar voor je geld.
2 Onderzoek bedoeld om systematisch alle onderdelen van beleid en organisatie af te lopen en ‘dekkend’ te zijn Onderzoek bedoeld om te ‘prikken’ naar voorbeelden waar naar uw mening risico’s zitten in organisatie en/of beleid met de bedoeling dat het college en raad een meer systematische  beoordeling overnemen
3 Een rekenkamer die gericht is op terugkijken en afrekenen met de nadruk op onderzoek en beoordeling van eerder bestuurlijk handelen. Een rekenkamer die op basis van onderzoek en rekening houdend met actualiteit toekomstgericht voorstellen doet voor verbetering van organisatie en beleid.
4 Een rekenkamer die gericht is op incidenten en reactief onderzoek doet na berichten in de pers of verzoeken van (delen van) de raad. Een rekenkamer die zoekt naar structurele oorzaken en tendensen door systematisch onderzoek te doen en regelmatig meta-evaluaties te
publiceren
5 Onderzoek dat vooral intern gericht is op de organisatie en het ambtelijk handelen (van binnen naar buiten denken). Onderzoek dat vooral extern gericht is op effecten en beleidsdoelmatigheid en antwoord geeft op de vraag wat de burger opschiet met het openbaar bestuur (van buiten naar binnen denken).

Visie(document) en positie

De lokale rekenkamer zal daarbij in een missie en in doelstellingen duidelijk moeten maken welke doelen zij wil bereiken. Deze keuzes kunnen in een meerjarig ‘Visiedocument’ bij de raad worden neergelegd. Dit vormt een goede aanleiding om contact te zoeken met de raad, je strategische keuzes in een raad(scommissie) te presenteren en te horen wat voor visie(s) daar leven.

Rekenkameronderzoek is één onderdeel van een breder onderzoeksinstrumentarium dat de gemeenteraad ten dienste staat. Dat is relevant voor de uiteindelijke positiebepaling van de rekenkamer.

  • De controle op het financiële beheer en op de inrichting van de financiële organisatie (artikel 213 van de Gemeentewet) door de accountant. De raad wijst accountants aan die belast worden met de controle van de jaarrekening en daarover een verslag (inclusief rechtmatigheidsoordeel) uitbrengen.
  • 213a-onderzoek: periodiek zelfonderzoek naar de doelmatigheid en de doeltreffendheid van het door hem gevoerde bestuur door het college. (Artikel 213a van de Gemeentewet). De raad stelt bij verordening regels hierover. Het college is op grond van hetzelfde artikel verplicht de rekenkamer(commissie) op de hoogte te stellen van deze onderzoeken en ook verplicht een afschrift van de resultaten aan de raad én aan de rekenkamer(commissie) te sturen.
  • Onderzoek door de raad op grond van artikel 155a-f. Dit is onderzoek naar het door het college of de burgemeester gevoerde beleid. Dat onderzoek wordt uitgevoerd door een onderzoekscommissie bestaande uit raadsleden.

Reglement van orde en / of onderzoeksprotocol

Veel rekenkamer (commissies) hebben inmiddels een reglement van orde en/of onderzoeksprotocol opgesteld, waarin de belangrijkste onderzoekscomponenten bij elkaar zijn gezet: missie, doelen, werkwijze, inrichting en verloop onderzoeksproces, communicatie, publicatie e.a. Zo’n document maakt voor alle belanghebbenden duidelijk hoe de rekenkamer/-commissie opereert en welke verwachtingen daaraan ontleend mogen worden. Ook kan zo’n protocol handig zijn bij het uitbesteden van onderzoek.

Onderzoekprogramma

Tot slot zal de lokale rekenkamer duidelijk moeten maken welke prestaties zij wil leveren om het gestelde doel te bereiken: onderzoek, advies, hoorzittingen, brieven etc. In een onderzoeksprogramma wordt duidelijk gemaakt wat de beoogde prestaties zijn (aantal onderzoeken, onderwerpen die worden onderzocht etc.) die moeten bijdragen aan de doelstellingen.

Alternatieve presentatievormen rekenkamer onderzoek

Naast onderzoeksrapporten zijn er ook andere mogelijkheden voor het presenteren van resultaten van onderzoek, zoals:

  • Alleen digitaal beschikbaar stellen feitenrapportage
  • Presentatie resultaten alleen in vorm krantenartikel
  • Posterpresentatie
  • Film (kan ook in de vorm van een ‘tekenfilm’)
  • Stripverhaal / cartoon
  • (Powerpoint)presentatie
  • Prezi
  • Webbased vormen, zoals een website over het onderzoek of een webdossier op de website van de rekenkamer
  • Workshops, lezingen of bijeenkomsten met stakeholders
  • Presentaties, bijeenkomsten met externe deskundigen
  • Rekenkamerbrief
  • Een vijf-minuten versie

Afstemming tussen raad en rekenkamer(commissie)

De wetgever wil eigenlijk dat de rekenkamer afstemt met de raad, maar ook onafhankelijk is in de keuze en aanpak van onderzoek. Deze twee beginselen lijken elkaar uit te sluiten.

Deze tegenstelling kan mogelijk opgelost worden door:

  1. in de verordening procedureafspraken vast te leggen over de momenten en de wijze waarop de raad wordt betrokken bij de onderwerpkeuze, en
  2. de raad op de te hoogte houden van het verloop van de onderzoeken.

Op deze manier kan een rekenkamer(commissie) zowel klantgericht als onafhankelijk functioneren. De eindverantwoordelijkheid blijft daarbij bij de rekenkamer(commissie) zelf.

Vast bespreekpunt met de raad

Het punt ‘rekenkameraangelegenheden’ kan een vast agendapunt zijn op de agenda van de raadscommissie, die het aanspreekpunt is voor de rekenkamer(commissie). Vertegenwoordigers van de rekenkamer(commissie) kunnen dan de lopende zaken toelichten. In de praktijk zijn er veel manieren om tussentijds in overleg te treden over de voortgang en /of voorlopige bevindingen.

Grenzen aan invloed raad op onderzoek rekenkamer(commissie)

Het komt soms voor dat rekenkamer(comissie)s kiezen voor constructies, waarbij de raad bepaalt wat de rekenkamer(commissie) onderzoekt. De achterliggende gedachte hierbij is dat de rekenkamer(commissie) als taak heeft de controlerende functie van de raad te versterken. Het lijkt daarom logisch, dat de raad invloed heeft op het onderzoeksprogramma. In de praktijk verloopt dit vaak soepel. En in een overgangssituatie kan deze praktijk bijdragen aan het versterken van de controlerende functie van de raad. Het is echter voor de langere termijn niet wat de wetgever heeft beoogd.

Lessen en ervaringen met gezamenlijk rekenkameronderzoek

Op 8 februari 2011 is in de Kring Onderzoek van de NVRR het thema ‘gezamenlijk rekenkameronderzoek’ bediscussieerd. In deze notitie worden enkele lessen en ervaringen beschreven voor rekenkamers die gezamenlijk onderzoek willen doen.

Gezamenlijk rekenkameronderzoek

Er komen verschillende typen van gezamenlijk onderzoek voor in rekenkamerland, waaronder:

  • Bij een Doe Mee onderzoek maakt één organisatie (bijv. adviesbureau Necker Van Naem) een onderzoeksplan en kunnen anderen inschrijven om deel te nemen;
  • Rekenkamers spreken af om voor een bepaald onderwerp een samenwerking aan te gaan. De samenwerking is tijdelijk en er is een goede inhoudelijke reden om samen een onderwerp te onderzoeken. Opzet en uitvoering worden samen gedaan;
  • Rekenkamers werken standaard samen. Denk daarbij aan verschillende provinciale rekenkamers, zoals de Randstedelijke Rekenkamer (Noord-Holland, Zuid-Holland, Utrecht en Flevoland). Een ander voorbeeld zijn de rekenkamers van Elburg, Nunspeet, Oldebroek en Putten die samen onderzoeken uitvoeren, en een gezamenlijke externe voorzitter hebben.

Motieven voor samenwerking

Er kunnen verschillende motieven / argumenten zijn om samen te werken, we noemen:

  • Benchmarking: het doel is om een beter beeld te krijgen van de eigen positie, kwaliteit van beleid en uitvoering in vergelijking met anderen;
  • Vergroten leervermogen: de vergelijking biedt mogelijkheden om te leren van anderen. Het leren kan zowel betrekking hebben op het uitvoeren van het rekenkameronderzoek, als op het leren van de beleidsaanpak van verschillende overheden;
  • Bundelen capaciteit en deskundigheid: samenwerking biedt rekenkamers toegang tot elkaars kennis en kunde;
  • Kostenbesparing: overwegingen van efficiëntie kunnen een motief zijn om samen te werken. Uit enkele praktijkervaringen blijkt dat die kostenbesparing vaak niet gehaald wordt. Samenwerking biedt inhoudelijke meerwaarde, maar kost meestal meer tijd.
  • Strategische overweging: een gezamenlijk onderzoek kan een groep van rekenkamers positief in beeld brengen bij bestuur en media.

Samen werken of niet?

Het is verstandig om vooraf na te denken over de verwachte meerwaarde van een gezamenlijk onderzoek. Enkele punten van overweging zijn:

  • is er behoefte bij de raad / staten voor een vergelijking (en dus samenwerking van rekenkamers)?
  • is er bij de rekenkamers een duidelijk gezamenlijk belang?
  • zijn de deelnemende gemeenten vergelijkbaar, of de verschillen te groot?
  • is er voldoende helderheid over het onderzoekskader?
  • is er voldoende toegang tot de benodigde informatie / personen?
  • kan er voldoende betrokkenheid zijn van de rekenkamerleden tijdens het proces?
  • is het duidelijk wat het eindprodukt is, en wat ieders rol is in de afronding / rapportagefase?
  • levert het resultaat voldoende meerwaarde op voor de raad / staten?

Leerpunten

Uit ervaringen met gezamenlijk rekenkameronderzoek zijn de volgende leerpunten te formuleren:

  • Weeg goed af waarom gezamenlijk onderzoek voordelen biedt ten opzichte van zelf doen, houd ook zicht op de nadelen;
  • Breng verwachtingen bij elkaar, en zorg dat de inzet per rekenkamer volstrekt helder is;
  • Werk vanuit een eenduidig onderzoekskader: onderzoeksvraag, wijze van uitvoering, beoogd resultaat, procedures van hoor en wederhoor;
  • Wees flexibel: een gezamenlijk onderzoek kan vragen om alternatieve werkwijzen, procedures, eindprodukten e.d.
  • Zorg voor een competent onderzoeksteam / projectleider (zowel bij eigen uitvoering als bij uitbesteding);
  • Voorkom wachten op ‘traagste’ deelnemer: dus maak realistische planning over informatievoorziening, interviews, analyse, schrijfproces e.d.;
  • Organiseer feedback: zorg ervoor dat de ‘achterban’ van rekenkamerleden op de hoogte blijven van de vorderingen;
  • Maak altijd een inkleuring van bevindingen en aanbevelingen gericht op de eigen gemeente / provincie (raadsleden / statenleden vragen zich altijd af wat kunnen WIJ ervan leren?).

Lees ook: Scorekaart: wel of niet meedoen aan gezamenlijk onderzoek ?

auteur: NVRR Kring Onderzoek 2011 opgesteld door Ronald Hoekstra

Beoordelingscriteria verzoek rekenkameronderzoek, verzoek rekenkameronderzoek

Het is van belang dat de rekenkamer helder communiceert over de keuze in onderwerpen voor onderzoek. Wanneer er aan de rekenkamer verzoeken om onderzoek worden gedaan, kan voor de beoordeling van zo’n verzoek uit worden gegaan van de volgende criteria:

Overstijgen van het persoonlijk en partijpolitiek belang;

  • Een motivering (waarom is het onderwerp belangrijk);
  • Een duidelijke onderzoeksvraag;
  • Duidelijk moet zijn wiens en welk belang gediend is met een onderzoek;
  • Mogelijk leereffect voor bestuur en organisatie.

Of het verzoek nu van (de) raad(sleden) komt, het college of burgers: de rekenkamer(commissie) moet haar besluit  transparant motiveren. Mogelijke argumenten kunnen te vinden zijn in:

  • strategische visie,
  • missie,
  • inhoudelijke criteria voor keuze,
  • beschikbaarheid van middelen.

Voor een goede argumentatie is een keuzebeleid nodig. Op die manier maakt de rekenkamer(commissie) duidelijk, dat sprake is van een weloverwogen keuze op basis van staand beleid. De rekenkamer(commissie) moet dit beleid dan wel vooraf ter kennis aan de raad brengen cq. openbaar maken.

Bestuurlijk wederhoor

Bestuurlijk wederhoor kan een onderdeel in de totstandkoming van een rekenkamerrapport zijn. Met bestuurlijk wederhoor kan het college voor publicatie van een rekenkamerrapport reageren op de  conclusies en aanbevelingen van de rekenkamer(commissie).
Deze procedure van ‘hoor- en wederhoor’ heeft geen wettelijke basis. Het is ontleend aan de praktijk bij de Algemene Rekenkamer.

Mogelijk te stellen vragen bestuurlijk wederhoor

In de bestuurlijke reactie kan het college ingaan op vragen als:

  • Kunt u de conclusies van de rekenkamer onderschrijven? Zo nee, waarom niet? Zo ja, waarom wel?
  • Acht u de aanbevelingen haalbaar / uitvoerbaar?
  • Neemt u de aanbevelingen van de rekenkamer helemaal of ten dele over? Zo nee, waarom niet? Zo ja, in welke mate neemt u de aanbevelingen over?
  • Welke concrete actie(s) wil u hieraan verbinden?
  • Wat zijn volgens u de (eventuele) consequenties van de aanbevelingen (maatschappelijk / financieel / politiek / bestuurlijk / voor de organisatie)?

Al dan niet toepassen bestuurlijk wederhoor

Veel rekenkamer(commissie)s vinden bestuurlijk wederhoor belangrijk voor de geloofwaardigheid en de doeltreffendheid van de rekenkamer(commissie).
Sommige rekenkamers kiezen er echter voor (soms) geen bestuurlijk wederhoor toe te passen. Zo willen zij de doorlooptijd van rekenkameronderzoek verminderen en de actualiteit van rekenkameronderzoek vergroten. De politieke discussie over een rekenkameronderzoek vindt dan naar verwachting ook meer plaats tussen college en raad.

Bestuurlijke reactie in rekenkamerrapport

Meestal wordt de bestuurlijke reactie van het college in zijn geheel opgenomen in het definitieve (bestuurlijke) rapport. Als de bestuurlijke reactie erg lang is, kan een samenvatting in de hoofdtekst worden opgenomen. De bestuurlijke reactie kan dan in zijn geheel naar de bijlagen.
Als de bestuurlijke reactie daar aanleiding toe geeft, schrijft de rekenkamer een nawoord dat ook in zijn geheel in het rapport wordt opgenomen.
Een uitgebreid bestuurlijk wederhoor maakt de doorlooptijd van een onderzoek langer.

Tips voor bestuurlijk wederhoor

  • Maak onderscheid tussen ambtelijk wederhoor en bestuurlijk wederhoor.
  • Leg aan de betrokken bestuurders (het college) de bestuurlijke nota voor t.b.v. een reactie op de conclusies en aanbevelingen.
  • Hanteer een reactietermijn voor wederhoor van ca. 3 à 4 weken.
  • Kondig het bestuurlijk wederhoor ruim van te voren aan bij betrokkenen.

Betrokkenheid bij onderzoeksproces

Doorwerking is gebaat is bij een goede interactie met de raad / provinciale staten, college / gedeputeerde staten en ambtelijke organisatie. De bedoeling hiervan is om zo flexibel mogelijk te kunnen inspelen op veranderende inzichten, behoeften en wensen. Hier staat tegenover dat een deel van het ‘institutioneel gewicht’ van een rekenkamer wordt bepaald door de onafhankelijkheid. Er is dus een grens aan de interactie.

In het algemeen is het zinvol om zoveel mogelijk belanghebbenden tijdens een zo groot mogelijk deel van het onderzoeksproces te betrekken bij het onderzoek. Deze betrokkenheid vergroot de kans dat het onderzoek ook echt zal worden gebruikt. Meestal vindt de interactie plaats voorafgaand aan en na een onderzoek. Het is aan te bevelen ook in de uitvoeringsfase meer interactiemomenten aan te brengen. Goede communicate en verwachtingenmanagement is bij interactie wel een voorwaarde. De interactie kan als volgt plaatsvinden:

  • Tijdens de voorbereiding: goede afstemming over het werkprogramma, uitwerking vraagstelling en aanpak onderzoek, aansluitend bij behoefte van de doelgroep, niet te veel uitbrengen (verzadigingseffect) en ook niet te weinig (onvoldoende zichtbaar), aansluiting vinden bij alle niveaus in de organisatie. Contact en draagvlakverwerving bij raad / provinciale staten, college / gedeputeerde staten, ambtelijke organistie en (eventueel) het beleidsveld.
  • Tijdens de uitvoering van het onderzoek: organiseren feedback tijdens de uitvoering, vormgeven wijze van structureel contact. Contact en draagvlakverwerving bij raad / provinciale staten, college / gedeputeerde staten, ambtelijke organistie en (eventueel) het beleidsveld.
  • Bij de presentatie en nazorg: organiseren vraagbaakfunctie en feedback. Vormgeven wijze structureel contact. Contact en draagvlakverwerving bij raad / provinciale staten, college / gedeputeerde staten, ambtelijke organistie en (eventueel) het beleidsveld.

Enquetes, gesprekken en interviews

Doel van enquêtes, gesprekken en interviews is dat gericht wordt gevraagd naar uitgangspunten, uitvoering en resultaten van het onderzochte beleid. In het kader hiervan kunnen verantwoordelijken, deskundigen, of mensen die tot de gebruikers (de doelgroep van het beleid) behoren worden bevraagd.

Gespreksvormen

Interviews kunnen op afspraak maar ook spontaan op locatie worden uitgevoerd. Enquêtes kunnen schriftelijk, per mail of telefonisch worden uitgevoerd.
In het kader van een onderzoek zijn verschillende gespreksvormen te onderscheiden:

  • oriënterend gesprek met personen die niet tot de onderzochte organisatie(s) behoren, waaronder externe deskundigen;
  • oriënterend gesprek met personen die tot de onderzochte organisatie(s) behoren;
  • enquête of interview met personen die niet tot de onderzochte organisatie(s) behoren;
  • enquête of interview met ambtenaren;
  • interview met directeur van onderzocht organisatieonderdeel;
  • interview met verantwoordelijk wethouder(s) / portefeuillehouder(s);
  • enquête of interview met raadsleden;
  • groepsgesprek (optioneel);
  • gesprek met klankbordgroep;
  • enquête, interviews of gesprekken met leden van de doelgroep of belangenorganisaties.
  • creatieve vormen van onderzoek.

Afnemen interview

  • Geef voor het gesprek aan, wat het doel en de status van het gesprek is.
  • Geef vooraf de vragenlijst aan betrokkene.
  • Geef ook aan hoe de rekenkamer(commissie) gebruik maakt van de gespreksverslagen en eventuele citaten.
  • Werk bij interviews bij voorkeur aan de hand van een protocol of vragenlijst met vragen die in elk geval aan de orde moeten komen. Dat vergemakkelijkt de vergelijkbaarheid en samenvoeging van gespreksresultaten, zeker als verschillende personen de interviews afnemen.
  • Laat bij gesprekken met sleutelfiguren twee deelnemers van de kant van de rekenkamer en/of onderzoeksbureau aanwezig zijn.
  • Stel vast dat betrokkene alle relevante informatie over dit onderwerp heeft verstrekt. Daarmee kan voorkomen worden dat informatie, waar in het gesprek niet naar is gevraagd door de rekenkamer, mogelijk niet boven water komt.

Verslaglegging

Het gespreksverslag is onderzoeksmateriaal. In het rekenkamerrapport moet hier uit geput kunnen worden in de vorm van citaten en /of parafrases. Het is daarom van belang dat van elk interview een verslag wordt gemaakt.
Laat het verslag goedkeuren (en desgewenst ondertekenen) door de betrokkenen. Dat voorkomt discussie over de feiten in een later stadium.
Na een reactie binnen een vooraf gestelde termijn wordt een definitief verslag opgesteld en vastgesteld.
Van oriënterende gesprekken worden aantekeningen gemaakt, zonder dat het expliciet wordt goedgekeurd. De bruikbaarheid van informatie uit oriënterende gesprekken is daarom wel minder.

Aanwezigheid leden rekenkamer(commissie)

Als de rekenkamer(commissie) onderzoek laat uitvoeren door externen, kan het van belang zijn dat iemand van de rekenkamer(commissie) aanwezig is bij interviews. Meestal gaat het dan om gesprekken met sleutelfiguren zoals raadsleden, wethouders of directeuren. Echter, aanwezigheid van iemand van de rekenkamer kan ook een vertekend beeld opleveren.

Het is daarom in ieder geval van belang dat de rekenkamer(commissie) van de externe onderzoek gerapporteerd krijgt hoe deze direct belanghebbenden bij het onderzoek reageren op het onderzoek en de gestelde vragen (verbaal en non-verbaal). Ook komen in deze gesprekken vaak politiek-bestuurlijk gevoelige punten aan de orde. Het is belangrijk dat ook deze signalen worden doorgegeven aan de rekenkamer(commissie). De rekenkamer kan hier dan in de rest van het onderzoek en in de rapportage rekening mee houden.

Drie vragen over doorwerking (2012)

In september 2012 heeft de commissie Kwaliteitszorg een korte enquête uitgezet onder de leden van de NVRR. Het doel was te achterhalen op welke manier de leden bezig zijn met de doorwerking van hun onderzoeken. Hierbij is gekeken naar zowel mogelijke verschillende vormen van overleg met derden, als andere activiteiten gericht op doorwerking. 120 leden (ongeveer de helft van de NVRR-leden) hebben gereageerd.

Vormen van overleg mede gericht op doorwerking

Per onderdeel van de (lokale) overheid zijn meerdere soorten overleg mogelijk die mede gericht kunnen zijn op doorwerking van rekenkameronderzoek.

In onderstaande grafiek is per onderdeel weergegeven:

  • welke contacten er in den lande zijn en
  • welk karakter de bespreking heeft.

Uit de ‘drie vragen doorwerking’ blijkt dat als er overleg wordt gevoerd met een onderdeel, dit over het algemeen 1 tot 2 keer per jaar gebeurt.

Andere activiteiten gericht op doorwerking

De vraag over andere activiteiten gericht op doorwerking was een open vraag, waar de leden meerdere antwoorden op mochten geven. Het volgende beeld komt uit deze vraag naar voren.

Bronnen

‘De drie vragen samengevat’, resultaten enquête doorwerking. Commissie kwaliteitzorg NVRR, Corine Baarda en Steven van Dijk, november 2012.

Offertetraject

Aangeraden wordt minimaal drie bureaus te benaderen voor het uitbrengen van een offerte. Zeker bij wat meer specialistische onderwerpen, kan het nuttig zijn om via het internet gespecialiseerde bureaus of onderzoeksinstellingen op het spoor te komen. Ook bij andere rekenkamers, die vergelijkbaar onderzoek hebben laten doen, kunnen inlichtingen worden ingewonnen. Ook afdelingen van andere gemeenten kunnen vaak goede suggesties doen. Met name ten aanzien van onderzoek naar ‘inhuur van derden’, ‘grondexploitatie’ en ‘subsidiebeleid’ bestaat inmiddels veel ervaring bij lokale rekenkamers. De databanken van De Lokale Rekenkamer (www.delokalerekenkamer.nl) en de NVRR (www.rekenkamers.nl) bieden toegang tot een groot aantal rapporten.

Stappen offertetraject

Volg in het offertetraject de volgende stappen:

  • Benader kandidaat opdrachtnemers telefonisch met de vraag of ze in principe bereid zijn mee te doen met het offerte traject.
  • Stuur ze vervolgens (per e-mail) het onderzoeksplan toe met het verzoek om op basis daarvan een offerte uit te brengen. Het is raadzaam daarbij ook aan te geven welke elementen op welke wijze in ieder geval in de offerte opgenomen moeten worden. Dit betreft in ieder geval:
  • het toetsingskader dat in het onderzoek wordt gehanteerd. Tussen onderzoeksbureau en rekenkamer(commissie) zal op dit punt volstrekte overeenstemming moeten bestaan;
  • ervaring en deskundigheden in het onderzoeksteam;
  • per persoon uitgesplitst wie voor hoeveel uur wordt ingezet;
  • een opgave door het onderzoeksbureau van opdrachten die (op het onderzoeksterrein) voor dezelfde gemeente zijn of worden uitgevoerd;
  • de eis van terugkoppeling van interview verslagen;
  • de terugkoppelingsmomenten aan de rekenkamer(commissie) (en eventueel aan de raad) en de verwachte bijdrage van de rekenkamer(commissie), bijvoorbeeld door regelmatige voortgangsrapportage aan en periodieke bespreking met de rekenkamer.
  • Geef het onderzoeksbureau informatie over de rekenkamer en wijs op het specifieke karakter van rekenkameronderzoek.
  • Maak meteen duidelijk welke bijdrage van het bureau na afloop van de uitvoering nog wordt verwacht, bijvoorbeeld bij de presentatie van het onderzoeksrapport in de raad(scommissie).
  • Maak na ontvangst van alle offertes een selectie van de bureaus die in principe in aanmerking zouden kunnen komen voor de opdracht. Nodig deze bureaus uit voor een gesprek over de offerte.
  • Laat na het gesprek zo nodig nog een herziene offerte maken en maak tenslotte de keuze op basis van de (herziene) offerte en het gesprek.
  • Plan een evaluatie in met het onderzoeksbureau nadat het rapport is behandeld.

De NVRR heeft een handig sjabloon ter ondersteuning van de offerte aanvraag gepubliceerd.

Keuze voor een externe onderzoeker

Op basis van de offertes en de mondelinge toelichting kan de keuze voor een bureau worden gemaakt. Alhoewel er allerhande criteria zijn waaraan offertes kunnen worden beoordeeld, gaat het uiteindelijk toch vooral om het vertrouwen bij de opdrachtgever dat de opdrachtnemer echt in staat is dat onderzoek uit te voeren.

Belangrijke (hulp) criteria zijn:

  • kennis en ervaring van de onderzoeker(s);
  • de mate waarin zij blijk geven uw onderzoeksvragen te begrijpen en van een antwoord te kunnen voorzien;
  • ingewonnen referenties;
  • uw geloof in een goede invulling van de opdracht;
  • en natuurlijk ook: een goede prijs/kwaliteitverhouding van het onderzoek.

Hanteer eigen leveringsvoorwaarden

Let ook op de leveringsvoorwaarden. De meeste bureaus brengen u offerte uit op basis van hun eigen leveringsvoorwaarden, en soms willen die nog wel eens erg beschermend zijn voor het bureau zelf. Daarom is het verstandig dat de rekenkamer(commissie) haar eigen voorwaarden hanteert. Het bureau dat het onderzoek gaat uitvoeren wordt gevraagd daarmee akkoord te gaan.  De voorwaarden van de externe partij worden vervolgens expliciet uitgesloten in de opdrachtbrief.

Specifieke rekenkamerbepalingen in het contract

Specifieke rekenkamerbepalingen in het contract zijn bepalingen ten aanzien van:

  • Kosten voor meerwerk (m.n. als gevolg van hoor -wederhoor, vragen uit de raad etc.);
  • Vertrouwelijkheid;
  • Toegang tot gegevens;
  • Eigendom van rapporten;
  • Het eigendom van stukken/dossiers;
  • De omgang met citaten en verslagen;
  • Public relations (woordvoerderschap)
  • De wijze waarop het extern bureau in het onderzoeksrapport wordt vermeld,  bijvoorbeeld:
    • rapport in huisstijl extern bureau;
    • rapport met logo extern bureau en rekenkamer;
    • rapport in huisstijl rekenkamer met vermelding van bureau.

Kwaliteit van onderzoek(srapport)

Voor de doorwerking van onderzoek is het van belang dat het onderzoek(srapport) gedegen gedegen in elkaar steekt. Deze technische kwaliteit van onderzoek bestaat onder andere uit de volgende elementen:

  • goed onderwerp (de actualiteit en politieke relevantie van het onderwerp).
  • juiste methoden en technieken (passend bij het type onderwerp, onderzoeksprobleem en de onderzoeksvragen).
  • betrouwbaarheid, geldigheid en controleerbaarheid (onweerlegbare bevindingen).
  • evenwichtige beoordeling.
  • toegesneden op de situatie (lokaal maatwerk).
  • bruikbare, specifieke, beleidsinhoudelijke, concrete en doelgerichte aanbevelingen
  • goed leesbaar.
  • goed vormgegeven.

Belangrijke aandachtspunten voor het bereiken van een goede technische kwaliteit zijn:

  • De mate waarin het normenkader overeenkomt met de visie van raad / provinciale staten en college / gedeputeerde staten.
  • De mate waarin raad / provinciale staten en college / gedeputeerde staten zich kunnen vinden in het onderzoeksonderwerp.
  • De mate waarin de aanbevelingen aansluiten bij (lopende) ontwikkelingen binnen de gemeente.
  • De mate waarin aanbevelingen in verhouding tot staan het huidige beleid . Dat kan een dilemma vormen voor de rekenkamer(commissie). De doorwerking van een aanbeveling  is groter, naarmate het beter aansluit op of maar beperkt afwijkt van het huidige beleid. De kracht van rekenkamer(commissie) is echter ook, dat ze discussie kan uitlokken over de uitgangspunten van beleid.
  • Voorkómen dat je als rekenkamer in een machtstrijd komt met college / gedeputeerde staten, door bijvoorbeeld niet te veel op de stoel van de ambtelijke adviseurs te gaan zitten.
  • Een directe aanleiding voor het onderzoek, die ook politiek en maatschappelijk speelt. Dat ‘gevoel van urgentie’ is idealiter ook nog aanwezig als het rapport uitkomt.
  • Een heldere opdrachtformulering en scherpe onderzoeksbegeleiding (bij uitbesteding van het rekenkameronderzoek).
  • Concrete, korte en bondige aanbevelingen die aansluiten bij de ‘belevingswereld’ van de raadsleden. Wat kunnen zij ermee? Hoe kunnen zij er beter mee sturen, controleren, kaderstellen, etc.?

Instrumentele doorwerking

Bij instrumentele doorwerking onderschrijft de raad / provinciale staten de conclusies en aanbevelingen. De colleges / gedeputeerde staten nemen ze (grotendeels) over en de organisaties voeren ze uit. Ook bij een minimale aanpassingen, is er sprake van instrumentele doorwerking. Het kan wel enige tijd duren, voordat de aanbevelingen zijn verwerkt in nieuw of aangepast beleid. Daarvoor wordt meestal een ‘natuurlijk’ moment gekozen. De aanbevelingen worden dan ingepast in de reguliere beleidscyclus. Instrumentele doorwerking is feitelijk vast te stellen aan de hand van (beleids)notities, verslagen en etc.

De instrumentele doorwerking van de rekenkameronderzoeken is hoog en de laatste jaren toegenomen. De controlerende rol van de raad/provinciale staten is hiermee versterkt. De focus ligt van raad / provinciale staten ligt ook op de volksvertegenwoordigende en controlerende rol. De versterking blijft beperkt tot het onderwerp dat door de rekenkamer(commissie) is onderzocht. De opgedane inzichten worden niet automatisch benut op andere terreinen, waar de rekenkamer(commissie) geen onderzoek heeft verricht.

Indicatoren voor doorwerking

Doorwerkingspatronen zijn vaak vrij vaag en zijn dus lastig te meten. Het meten van bepaalde effecten zegt wel iets over de soort en richting van de doorwerking, maar lang niet alles. Bovendien heeft het begrip doorwerking zelf een instrumentele en functionele betekenis, waardoor de invalshoek per definitie vrij beperkt is.

Analyse bestuurlijke reactie

De aanwezigheid, reactietermijn en inhoud van een bestuurlijke reactie van het college / gedeputeerde staten is een belangrijke indicator voor potentiële doorwerking. Zijn de aanbevelingen van de rekenkamer overgenomen? De raad / provinciale staten zegt vaak ‘ja’ tegen de aanbevelingen van de rekenkamer. Voor de colleges / gedeputeerde staten varieert dit sterk per onderzoeksrapport.

De bestuurlijke reactie kan geanalyseerd worden aan de hand van de volgende kenmerken:

  • De conclusies en aanbevelingen worden geheel gesteund door het college / gedeputeerde staten en de aanbevelingen worden (grotendeels) overgenomen.
  • Het college / gedeputeerde staten steunt de hoofdlijn van het onderzoek en enkele aanbevelingen worden door het college / gedeputeerde staten overgenomen.
  • Het college / gedeputeerde staten steunt de wijze van redeneren, maar niet de aanbevelingen.
  • Het college / gedeputeerde staten steunt een aantal aanbevelingen, maar niet de hoofdlijn van het advies.
  • Het onderzoek wordt door het college / gedeputeerde staten verworpen.
  • Het college / gedeputeerde staten verwerpt het onderzoek niet, maar steunt de redeneerlijn en aanbevelingen ook niet.
  • Er is (nog) geen reactie van het college / gedeputeerde staten op het onderzoek.

De reactie kan van de raad / provinciale staten op eenzelfde wijze worden geanalyseerd.

Als de raad / provinciale staten een besluit heeft genomen over de aanbevelingen uit het rekenkamerrapport, moet dit worden uitgevoerd. Zijn de aanbevelingen geïmplementeerd, in beleid ‘vertaald’ en ingevoerd? Hebben de aanbevelingen van de rekenkamer daadwerkelijk (extern) effect gehad? Of: zijn de met de aanbevelingen beoogde verbeteringen bereikt? De mate van implementatie meten is een stuk lastiger en vergt vaak een diepgaande analyse van beleidsstukken. Het voor een goede meting is het in ieder geval belangrijk:

  • Bij de behandeling van het rapport (laten) uit te spreken welke actie de rekenkamer(commissie) wanneer verwacht van raad / provinciale staten en college / gedeputeerde staten.
  • Aan te kondigen dat na een bepaalde periode een vervolgonderzoek of doorwerkingsonderzoek kan plaatsvinden.
  • De raad / provinciale staten laten besluiten dat het college / gedeputeerde staten na enige tijd moet rapporteren over de invoering van de aanbevelingen.
  • De verantwoording over de verwerking van de aanbevelingen integreren in de planning en controlcyclus.

Andere meetpunten voor doorwerking

Wanneer rekenkamer(commissie)s op grond van bepaalde, andere meetpunten een specifieke evaluatiemethode willen ontwikkelen voor doorwerking, doen zij er goed aan rekening te houden met het volgende:

  • streef naar een beperkt aantal, eenvoudige en eenduidige indicatoren.
  • de informatievoorziening ter ondersteuning van het meten moet betrouwbaar zijn, zonder dat dit gepaard gaat met een relatief zware administratieve last.
  • de betrokkenheid neemt toe als actoren belang hebben bij de meting.
  • hou rekening met de perverse effecten van ‘meten’. Meten kan strategisch gedrag uitlokken, waarbij men zich men met name richt op die effecten die relatief gemakkelijk zichtbaar te maken zijn.
  • meten leidt tot een vertekening van de doorwerking, omdat vooral de nadruk ligt op het kwantificeren van effecten.
  • met name de politiek-strategische doorwerking is zeer moeilijk te meten. Het politieke spel is lastig meetbaar te maken.

De rekenkamer zou de doorwerking bijvoorbeeld kunnen meten aan de hand van onderstaande matrix.

Complicerende factoren voor het meten doorwerking

  • Incubatietijd: doorwerking vindt meestal pas plaats op langere termijn.  Dit betekent dat het beoordelen van de doorwerking soms moet worden afgewacht, of dat metingen moeten worden herhaald in een bepaalde frequentie (bijvoorbeeld: meting zes maanden na publicatie, en dan nogmaals na twee jaar).
  • Verschillende onderzoeken kennen verschillende patronen van doorwerking. Het is dus vaak niet mogelijk om ‘de’ doorwerking van rekenkameronderzoek vast te stellen. Evaluatie zal op het niveau van individuele onderzoeken moeten plaatsvinden. Dat is nogal arbeidsintensief.
  • Perverse neveneffecten van meting. Een grote nadruk op het meten en evalueren van effecten van doorwerking kunnen neveneffecten hebben. Het kan op termijn leiden tot het uitbrengen van onderzoeken die gemakkelijk meetbaar zijn. Daarom is het van belang om ook gebruik te maken van evaluatiemethoden met kwalitatieve elementen.
  • Niet alle soorten van doorwerking zijn even makkelijk vast te stellen. Instrumentele doorwerking leent zich beter voor meting dan conceptuele doorwerking. Het vaststellen strategische doorwerking is zo mogelijk nog lastiger.

Gebruik Doorwerking

Onderzoek kan op verschillende manieren gebruikt kunnen worden Een persoon of organisatie maakt gebruik van onderzoek wanneer één of meer elementen uit onderzoek terug komen:

  • in het standpunt of handelen van die persoon of die organisatie;
  • in de overweging die voorafgaat aan dat standpunt of dat handelen;
  • bij terugkoppeling naar bestuurders of politici in het beleids-, begrotings- of verantwoordingsproces.

Typen gebruik

Gebruik is in drie categorieën onder te verdelen:

  1. Instrumenteel gebruik: de analyses en aanbevelingen zijn direct toepasbaar bij het aanpakken van een beleidsprobleem of maatschappelijk vraagstuk. Het gebruik komt veelal tot uiting in het overnemen van concrete aanbevelingen.
  2. Conceptueel gebruik: is de bijdrage die onderzoek kan leveren aan de politieke en/of ambtelijke meningsvorming. Het is ook de mate waarin onderzoek kan dienen als context waaruit ideeën kunnen worden afgeleid. Het gaat dan meestal om het gebruik van delen van het onderzoek of bepaalde concepten daaruit. Wanneer bijvoorbeeld een nieuwe koers, een nieuw perspectief of een nieuwe redeneerlijn wordt gegeven, kan er sprake zijn van conceptueel gebruik. Het onderzoek heeft dan vooral een een informatiefunctie en dient als richtingaanwijzer. Conceptueel gebruik is vaak een indirect effect van onderzoek en gaat over de lange termijn.
  3. Strategisch gebruik: de analyses en aanbevelingen worden voor andere doelen gebruikt dat beoogd. Belanghebbende partijen gebruiken de uitkomsten in strategisch opzicht om hun positie te versterken of te beschermen. Bijvoorbeeld om het beleidsproces te vertragen, beleid in de ijskast te zetten of om onderhandelingsposities in de besluitvorming te versterken.

Moment van gebruik

De korte termijn gebruik afgebakend tot gebruik van het onderzoeksrapport in één à twee jaar nadat deze is uitgekomen. Daarmee wordt onder lange termijn automatisch twee jaar of meer na de verschijning van het rapport verstaan

Het gebruik van onderzoek op korte termijn vindt nauwelijks plaats zo blijkt uit verschillende onderzoeken. Crisis of crisisdreiging vergroot wel de kans op het gebruik op korte termijn . Beleidsverandering vindt meestal plaats op de langere termijn met kleine, voortschrijdende stappen of beslissingen. Wetenschappers nemen aan, dat het gebruiken van (onderzoeks)resultaten ook zo plaatsvindt.

Gemeentelijke rekenkamers

Gemeentelijke rekenkamers doen onderzoek naar doelmatigheid, doeltreffendheid en rechtmatigheid van het gemeentelijk beleid, in Nederland. In 2006 dient elke gemeente dergelijk onderzoek uit te kunnen voeren, hetzij door een eigen rekenkamer of rekenkamercommissie, hetzij een rekenkamer(commissie) in samenwerking met andere gemeenten.

Eerste rekenkamer & rekenkamercommissie

De eerste gemeentelijke rekenkamercommissie werd in 1996 in Delft ingesteld.In 1997 werd in Rotterdam de eerste rekenkamer ingesteld. Tot de landelijke invoering in 2002 bleef dit de enige onafhankelijke rekenkamer.  Wel werden bij gemeenten rekenkamercommissies ingesteld.

Dualisme

Landelijke invoering volgde vanaf maart 2002 in het kader van het dualisme, waarmee de ontstane verweving tussen gemeenteraad en gemeentebestuur teruggebracht diende te worden. Essentie van het gemeentelijk dualisme is dat het college van B & W bestuurt, en dat de raad controleert en kaders stelt. Een belangrijk instrument voor de controletaak van de raad werd de gemeentelijke rekenkamer.

Verschil rekenkamer & rekenkamercommissie

Het voornaamste verschil tussen een gemeentelijke rekenkamer en een rekenkamercommissie is de onafhankelijkheid van het orgaan. Een rekenkamer is meer onafhankelijk. Deze onafhankelijkheid is voor de rekenkamer in de gemeentewet verankert.

De rekenkamercommissie daarentegen staat dichter bij de raad. De gemeenteraad heeft in dit geval meer vrijheid in de samenstelling en het is mogelijk om in een dergelijke commissie te laten plaatsnemen. De verschillende bevoegdheden van de commissie kunnen door de gemeente nader bepaald worden in een verordening.

Een gemeentelijke rekenkamer(functie) kan bestaan uit enkele raadsleden, externe leden of een combinatie van beide, die benoemd worden door de gemeenteraad. Als er meerdere leden zijn spreekt men van een rekenkamercommissie, als er één lid is van een directeursmodel. De rekenkamer wordt ondersteund door een ambtelijk secretaris. De rekenkamer heeft een eigen budget om onderzoek uit te laten voeren.

Andere rekenkamers

Andere rekenkamers: de Algemene Rekenkamer en de Europese Rekenkamer.

NVRR

De regionale rekenkamers in Nederland hebben zich verenigd in de NVRR, de Nederlandse Vereniging van Rekenkamers & Rekenkamercommissies.

auteur: Esther Doodkorte

Normenkader

Het normenkader is bepalend (sturend) voor de uitvoering van het onderzoek. Aan de hand van het normenkader moet een oordeel gegeven kunnen worden over de aangetroffen praktijk.

Normen voor rekenkameronderzoeken kunnen grosso modo ontleend worden aan:

  • wet- en regelgeving;
  • beleidsdocumenten, waaronder de programmabegroting;
  • wetenschappelijke en vakliteratuur;
  • professionele inzichten.

Idealiter wordt in eerste instantie vanuit algemene normen  (meestal rechtmatigheid, doelmatigheid, doeltreffendheid, integriteit e.d.) vooraf een globale set normen gespecificeerd al naar gelang het onderwerp.
Gedurende het onderzoek kan – op basis van bijvoorbeeld best practices – verder invulling gegeven worden aan een algemene norm (‘relevante en tijdige informatie is….’).

Voor het verkrijgen van draagvlak en om verwachtingen te managen, kan het zinvol zijn het normenkader vóór de definitieve vaststelling te bespreken met bijvoorbeeld de vakspecialisten, ambtenaren, directie, collegeleden en / of raadsleden. Vooral wanneer het om complexe of politiek gevoelige onderwerpen gaat, is commentaar vooraf nuttig. Het kan voorkómen dat je achteraf ‘nat gaat’. Het commentaar vooraf maakt duidelijk waar mogelijk de zwakke of juist gevoelige plekken in het beoordelingskader zitten.
Afwijzende reacties hoeven geen aanleiding te zijn het normenkader te wijzigen. Wel is dan vooraf duidelijk waar later het commentaar op zal gaan komen. Het effect kan ook positief zijn doordat meer draagvlak onder ambtenaren ontstaat voor het onderzoek en zij de zin ervan zien.
Het kan veel problemen in de eindfase voorkomen door, ook tijdens het onderzoek in contact te blijven over de manier waarop de normen worden gespecificeerd. Totale overeenstemming over normen is niet nodig, maar het is wel raadzaam het standpunt van de ander te kennen. De rekenkamer kan daar dan op inspelen bij de formulering van haar oordelen en aanbevelingen.

Normen Goudvink NVRR

Bij de beoordeling van de inzendingen voor de Goudvink van de NVRR wordt een rapport als volgt beoordeeld.

1 Basiskwaliteit rapporten Toelichting
1.1 In het rapport is een beschrijving opgenomen van:
a. Reden onderwerpkeuze;
b. Beschrijving onderzoeksonderwerp;
c. Onderzoeksvragen;
d. Onderzoeksaanpak;
e. Databronnen;
f. Gehanteerde normen;
g. Eventuele beperkingen van het onderzoek.
1.2 De onderzoeksbevindingen zijn onderbouwd met valide en betrouwbare data. De bevindingen geven antwoord op de onderzoeksvragen. De bevindingen zijn terug te leiden naar onderbouwende data. De data voldoen aan de eisen van validiteit en betrouwbaarheid. Validiteit betekent dat de beschreven bevindingen aansluiten bij wat er gemeten is (ofwel: er is gebruik gemaakt van de juiste indicatoren). Een voorbeeld: als je de punctualiteit van het treinverkeer wilt meten, is klanttevredenheid van treinreizigers een minder valide indicator dan het aantal treinen dat jaarlijks te laat vertrekt. Betrouwbaarheid betekent dat de gemeten waarde representatief is voor de werkelijke waarde (de uitkomsten zijn dus niet afhankelijk van ‘toevalligheden’). De betrouwbaarheid van een meting kun je bijvoorbeeld vergroten door een meting een aantal malen te herhalen (onder verschillende omstandigheden) en te middelen. Bevindingen op basis van meerdere bronnen die ook nog eens dezelfde kant op wijzen, wijzen op een hogere betrouwbaarheid.
1.3 De conclusies en oordelen sluiten aan op de bevindingen. Oordelende conclusies zijn gebaseerd op een heldere norm. De conclusies zijn congruent met de bevindingen. Dit wil zeggen dat ze te herleiden zijn tot (valide en betrouwbare) bevindingen. Alle relevante bevindingen (zowel positief als negatief) dienen evenwichtig te zijn meegenomen in de conclusies. Een conclusie bevat geen nieuwe data. Bij oordelende conclusies zijn de bevindingen afgezet tegen een heldere norm (een oordeel moet niet uit de lucht komen vallen). Voorbeeld van een conclusie met een onheldere norm: “Er waren maar weinig projecten die in voldoende mate een bijdrage leverden aan de kwaliteit van de arbeidsverhoudingen” (hoeveel is weinig en wanneer is een bijdrage voldoende? Als hier geen heldere norm voor is, houd de conclusies dan feitelijk en dicht bij de bevindingen: X projecten hadden een bijdrage van Y).
1.4 De aanbevelingen hebben een logische relatie met de oordelen en bevindingen en zijn concreet geformuleerd Aan de aanbevelingen moeten oordelen en bevindingen ten grondslag liggen. Een aanbeveling kan niet haaks staan op een oordeel of bevinding. De aanbevelingen geven antwoord op de WWWHW-vragen: waarom, wie, wat, hoe en wanneer.
1.5 Het rapport is toegankelijk (‘lezersvriendelijk’). Het rapport bevat een heldere structuur en duidelijk taalgebruik.
CONCLUSIE
  • Voldoet het rapport aan de basiskwaliteitseisen?
  • Wat zijn opvallend sterke punten van het rapport?

2 Doorwerking Onderzoek Toelichting
2.1 Wat heeft de rekenkamer(commissie) gedaan om doorwerking van een onderzoek te bevorderen? Open vraag. Antwoorden zoveel mogelijk onderbouwen met ‘bewijsmateriaal’. Enkele voorbeelden waaraan gedacht zou kunnen worden (geen limitatieve opsomming):

  • Het onderzoek sluit aan bij de actualiteit in de gemeenteraad en is politiek relevant;
  • De rekenkamer(commissie) heeft (andere) interventies gepleegd om de doorwerking van het onderzoek te vergroten (denk aan rondetafelgesprekken, workshops, opstellen handreikingen etc.);
  • De vormgeving van het onderzoek is zodanig gekozen dat onderwerp en uitkomsten herkend en geaccepteerd worden, bijvoorbeeld door tussentijds mondeling of schriftelijk overleg te communiceren met de onderzochten en door de onderzochten te betrekken bij de vorming van het normenkader;
  • Het onderzoek besteedt aandacht aan de verschillende (deel)belangen van de actoren (raad, B&W, ambtelijke organisatie, e.a.) op het onderzochte beleidsterrein, bijvoorbeeld door de conclusies en aanbevelingen per actor te benoemen.
2.2 Waaruit blijkt de doorwerking? Open vraag. Antwoorden zoveel mogelijk onderbouwen met ‘bewijsmateriaal’. Enkele voorbeelden waaraan gedacht zou kunnen worden (geen limitatieve opsomming):

  • Het college en/of de ambtelijke organisatie heeft de onderzoeksresultaten gebruikt, bijvoorbeeld bij de formulering/aanpassing van (nieuw) beleid;
  • De gemeenteraad heeft naar aanleiding van het onderzoek vragen gesteld aan het college en/of moties ingediend en aangenomen;
  • De gemeenteraad heeft de aanbevelingen overgenomen;
  • De gemeenteraad heeft het rapport geagendeerd voor raadsbehandeling  (plenair en/of in functionele raadscommissie).