Overslaan en naar de inhoud gaan

Auteur: Secretariaat

Omgevingsfactoren en (politieke) context

De omgeving waarin de rekenkamer(commissie) zich bevindt, beïnvloedt de mate waarin de onderzoeken doorwerken. Een rekenkamer(commissie) kan de doorwerking vergroten door hiermee rekening te houden en rekening te houden met ieders belangen. De rekenkamer(commissie) kan deze factoren echter vaak zelf niet beïnvloeden. Bij relevante omgevingsfactoren gaat het om:

  • Politiek bestuurlijke factoren
    Rekenkameronderzoek is meestal primair bestemd voor de raad / provinciale staten. Het komt daardoor meestal automatisch in de politieke arena terecht. De verandercultuur van college / gedeputeerde staten en raad / provinciale staten zijn daarom van belang. Interne, politieke verschillen in raad / provinciale staten (en college / gedeputeerde staten) zijn tevens bepalend. Ook hierover wordt verschillend gedacht: sommigen denken dat interne verschillen een positief effect hebben. op de doorwerking van het rekenkameronderzoek. Anderen menen dat interne verschillen juist een negatieve invloed hebben.
    De politiek-bestuurlijke actualiteit en de mate van politieke belangstelling voor een beleidsthema hebben ook invloed. Bij een groot politiek belang is er een risico dat uitkomsten strategisch worden gebruikt, zonder dat dit leidt tot instrumentele of conceptuele doorwerking. Beperkte politieke aandacht hoeft niet altijd te leiden tot een beperkte instrumentele en conceptuele doorwerking.
  • Organisatieafhankelijke factoren
    Te denken valt aan zaken als de cultuur in de organisatie,  de mate van politisering van thema´s, de verandercultuur, het aantal partijen dat (hinder)macht heeft, al dan niet sterke informatie en adviesconcurrentie in een beleidsveld en de mate waarin draagvlak verworven kan worden in de organisatie.
  • Factoren in het beleidsveld
    Soms bepaalt de overheid samen met maatschappelijke (en belangen) organisaties het beleid. Dat wordt de mate van professionalisering en de pluriformiteit van het beleidsveld van belang. De mening van professionals is belang voor de doorwerking, in een veld dat wordt gedomineerd door professionals. Naarmate er meer verschillende organisaties zijn in het beleidsveld, zal het onderzoek mogelijk meer aanleiding geven tot debat. Maar ook: wanneer het beleidsveld de aanbevelingen uit het onderzoek steunt, kan vanuit deze hoek ook druk worden gezet op raad / provinciale staten en college / gedeputeerde staten om de aanbevelingen over te nemen.

Gebruik maken van kansen die zich voordoen

In de omgeving van de rekenkamer(commissie) kunnen zich unieke kansen  (windows of opportunity) voordoen. Het gebruik maken van deze kansen vereist initiatief, ondernemerschap en een goed gevoel voor timing.

Onderzoeksprogramma

De rekenkamer kan op basis van monitoring en ideeën, suggesties en verzoeken van de raad, suggesties en verzoeken van derden een groslijst van mogelijke onderwerpen samenstellen. Hieruit wordt het periodieke (onderzoeks-)programma samengesteld.

Het onderzoeksprogramma is een richtsnoer, geen keurslijf!

Een onderzoeksprogramma hoeft niet per se voor één afgebakend kalenderjaar te gelden. Wel is het – vanuit het oogpunt van transparantie en controleerbaarheid – raadzaam om aan te geven voor welke periode welk onderzoek gepland staat. Met de uitvoering van het programma dient flexibel omgegaan te worden. Soms komen er verzoeken uit de raad  of zijn actuele kwesties aanleiding om snel een tussentijds onderzoek te doen. Ook het tussentijds informeren van de gemeenteraad / betrokkenen bij grote wijzigingen in het onderzoeksprogramma (bijvoorbeeld uitstel van de aanvang van een onderzoek) is verstandig.

Voor elk onderzoek uit het onderzoeksprogramma dat in uitvoering wordt genomen wordt een onderzoeksopzet gemaakt.

Bekend maken onderzoeksprogramma

Het definitieve onderzoeksprogramma wordt met een begeleidende brief ter kennisneming aangeboden aan de raad.

  • Aangeraden wordt ook het college – en wellicht anderen zoals de griffie, directeuren, concerncontroller, controllers, afdelingshoofden, pers e.d. – te informeren.
  • Het is gebruikelijk het onderzoeksprogramma op de webpagina van de rekenkamer(commissie) te publiceren.
  • Het onderzoeksprogramma kan ook ter inzage worden gelegd.
  • Eventueel kan in een huis-aan-huis blad worden gemeld, dat het onderzoeksprogramma van de rekenkamer(commissie) is vastgesteld.

Sjabloon offerte aanvraag

Aanleiding en doelstelling

Geef hier aan waarom het onderzoek wordt uitgevoerd en wat er met dit onderzoek bereikt moet worden. Dit geeft bureaus inzicht in de achterliggende problematiek en vragen. Ook wordt hiermee duidelijk gemaakt wat er met het onderzoek bereikt moet worden bijvoorbeeld een verandering teweeg brengen, de waarheid boven tafel krijgen of leerervaringen opdoen. Getoetst moet worden aan doeltreffendheid, doelmatigheid en rechtmatigheid.

Probleemstelling en onderzoeksvragen

Omschrijf wat de probleemstelling van het onderzoek is. Dit is de meest basale onderzoeksvraag die gesteld kan worden. Er zou van het onderzoeksbureau verwacht mogen worden dat ze deze vraag kunnen vertalen in een aantal concrete onderzoeksvragen. Daar zou gebruik van gemaakt kunnen worden. Natuurlijk kun je ook zelf de onderzoeksvragen formuleren en aan het bureau vragen of ze ermee uit de voeten kunnen en/of ze zelf nog aanvullende vragen hebben. In ieder geval dienen de onderzoeksvragen door het bureau beantwoord  te worden. Dit dient in de offerteaanvraag duidelijk te worden aangegeven.

Specifieke wensen ten aanzien van de methode en werkwijze

Vermeld hier eventuele specifieke wensen ten aanzien van de te gebruiken onderzoeksmethode en werkwijze. Moeten er interviews plaatsvinden en dan met wie, bijvoorbeeld medewerkers van de ambtelijke organisaties, bestuurders, raadsleden, externen bijvoorbeeld burgers. Geef eventueel ook aan of er bepaalde bestaande gegevens/bestanden in het onderzoek moeten worden meegenomen. Ga echter hier zorgvuldig mee om. Je kunt hiermee de gehele opzet van het onderzoek “dichttimmeren” terwijl het van belang is de creativiteit en deskundigheid van de offrerende onderzoeksbureaus te testen.

Ook eventuele wensen van de samenwerking met de opdrachtgever zijn van belang. Hoe moet de voortgang worden bewaakt, wie is de contactpersoon tijdens het onderzoek en hoe wordt er gekeken tegen ambtelijke en bestuurlijk hoor en wederhoor en welke rol speelt het onderzoeksbureau daarin. Vermeld hier eventueel ook in welke mate het bureau een rol speelt in het communicatietraject.

Procedure en planning

Geef hieraan wanneer de offerte ontvangen moet zijn, bijvoorbeeld datum en tijdstip en op welke wijze de offerte ingediend moet zijn (digitaal of een hardcopy of beide). Geef tevens aan welke mogelijkheden er zijn om  vragen te stellen, schriftelijk of telefonisch en aan wie. Ook voor het stellen van vragen dient een deadline te worden aangegeven bijvoorbeeld binnen veertien dagen na ontvangst van de offerteaanvraag. Bij schriftelijk ingediende vragen heb je de mogelijkheid om de andere bureaus daar ook kennis van te laten nemen. Dit dien je echter vooraf aan te geven. Omschrijf hier ook de selectieprocedure als de doorlooptijd van het onderzoek en wanneer en op welke wijze er met het onderzoek begonnen wordt. Bijvoorbeeld er zou begonnen kunnen worden met een startbijeenkomst voor de betrokkenen.

Eindproduct

Geef hierbij aan of het eindproduct een onderdeel is van een rapport van de rekenkamercommissie of dat het een zelfstandig herkenbaar rapport van een extern bureau is of dat het bureau er een herkenbaar rapport van de rekenkamercommissie van moet maken.

Beschikbare budget

Dit is facultatief. We zijn natuurlijk niet verplicht aan te geven welk budget er beschikbaar is voor het onderzoek. Bij relatief eenvoudige onderzoeken is dit ook niet nodig, tenzij het budget erg laag is. Echter bij meer complexe onderzoeken waarbij de bureaus veel vrijheid hebben bij het bepalen van hun voorstel kan het handig zijn om een indicatie van het budget aan te geven. Dit voorkomt een te beperkt of een te uitgebreid onderzoeksvoorstel en op deze wijze kunnen onderzoeksvoorstellen beter met elkaar vergeleken worden (prijs-kwaliteit verhouding).

Selectiecriteria

Geef hierbij aan op basis van welke criteria de offertes worden beoordeeld. Hoe worden zaken als prijs, de aanpak en de ervaring van het bureau tegen elkaar afgewogen. Wordt er gewoon voor de goedkoopste offerte gekozen of wordt er voor de beste aanpak gekozen die binnen het budget blijft of er eventueel iets boven kan liggen? Een aantal criteria zal hierbij belangrijk gevonden worden zoals de inhoudelijke deskundigheid, de ervaring met dit type onderzoek verwijzend naar referenties, de gekozen methode en werkwijze. Ook speelt hier de onafhankelijkheid van het bureau een grote rol. Zijn er eerder opdrachten voor de gemeenten in opdracht door de gemeenten uitgevoerd? Hoe lang is dat geleden en met welk doel? Ook moet hier het onderzoeksprotocol ter sprake gebracht worden.

Eisen aan de offerte

Hier kan aangegeven worden dat de offerte rechtsgeldig moet zijn en moet worden ondertekend, in welke taal en valuta de offerte gesteld moet worden en dat de offerte deel uit maakt van een af te sluiten overeenkomst met het onderzoeksbureau. Bij de opdracht verlening kan er een overeenkomst met het bureau worden afgesloten. Ook dient de geoffreerde prijs van het onderzoek inclusief de te maken reiskosten te zijn.

Adres

Hier dient aangegeven te worden waar de offerte heen moet. Dus het postadres en het e-mailadres.

Bijlagen

Eventuele bijlagen die met de offerteaanvraag worden meegezonden kunnen hier vermeld worden. In ieder geval dient het onderzoeksprotocol,  het onderzoeksplan en de Algemene Inkoopvoorwaarden die op het onderzoek van toepassing zijn als bijlage meegezonden te worden.

auteur: Rekenkamercommissie Gemeente Aalten, Oost-Gelre en Winterswijk –  ingebracht door Wil Oosterveld

Raadsvoorstel rekenkamerrapport

De behandeling van een rekenkamerrapport in de voltallige raad vindt meestal plaats na de presentatie van het rapport aan een raadscommissie of politieke markt.

Bij voorkeur vindt besluitvorming in de raad plaats over een rekenkamerrapport aan de hand van een raadsvoorstel. Het raadsvoorstel heeft betrekking op de conclusies en aanbevelingen van de rekenkamer.

  • Een raadsvoorstel bevat naast een voorstel tot besluitvorming de uitkomst van discussie in de commissie of politieke markt;
  • Een raadsvoorstel bevat tevens de opdracht aan het college om binnen een nader te bepalen termijn te komen met een plan van aanpak ter uitvoering van de door de raad overgenomen aanbevelingen.

De meeste rekenkamer(commissie)s hebben zelf geen rol bij de formulering van de tekst (het dictum) van het raadsvoorstel. Het is dan meestal de griffie die zorgt voor een raadsvoorstel met conceptbesluit.
Er zijn echter in het land rekenkamer(commissie)s, die wel zelf raadsvoorstellen maken.

Scorekaart: wel of niet meedoen aan gezamenlijk onderzoek ?

Wat is de Scorekaart?

De Scorekaart is een lijst van vragen die een rekenkamer ondersteunt in haar besluitvorming om wel of niet mee te doen in een gezamenlijk onderzoek.

Wat is de basis van de Scorekaart?

Begin 2011 heeft de NVRR Kring Onderzoek een aantal gezamenlijke rekenkameronderzoeken geanalyseerd en een notitie geschreven met lessen en ervaringen. Begin 2012 is een gezamenlijk onderzoek naar bedrijventerreinen afgerond.  De evaluatie van dit onderzoek en de notitie van de Kring Onderzoek, vormen de inhoudelijke basis voor de 10 vragen.

Hoe gebruik ik de Scorekaart?

De Scorekaart werkt als een schoolrapport. U bespreekt de vragen met uw collega’s en vult de Scorekaart in. Elke vraag die u met ‘ja’ beantwoordt krijgt een score van 1 punt. Een totaal van 10 punten is uitmuntend en 1 punt is zeer slecht.

Wat is de totaalscore en wat besluiten we?

U telt de scores op en besluit of uw rekenkamer/commissie:

  • wel mee doet met het gezamenlijk onderzoek;
  • niet mee doet met het gezamenlijk onderzoek;
  • het besluit uitstelt, en probeert het onderzoeksvoorstel te verbeteren.

auteur: Kring onderzoek NVRR – genoteerd doorRonald Hoekstra

Strategische doorwerking

Strategische doorwerking is de verandering van de machtspositie van één of meerdere (doel)groepen door de uitkomsten van een onderzoek. Hierdoor worden zij beter in staat gesteld hun doelen te bereiken. Van strategische doorwerking is ook sprake als het rekenkameronderzoek een functie heeft gehad in het agenderen van onderwerpen, het versnellen of het vertragen van beleidsprocessen, etc. Wanneer het onderzoek het bestaande beleid ondersteunt, heeft het met name een legitimerende functie.
Uit onderzoek blijkt, dat dit type doorwerking in de praktijk vrij vaak voorkomt.

Wettelijke taak gemeentelijke rekenkamer

Rekenkameronderzoek is een bij wet duidelijk afgebakend terrein. Volgens artikel 182 Gemeentewet onderzoekt de rekenkamer(commissie) de doelmatigheid, doeltreffendheid en de rechtmatigheid van het door het gemeentebestuur gevoerde bestuur.

Een door de rekenkamer(commissie) ingesteld onderzoek naar de rechtmatigheid van het door het gemeentebestuur gevoerde bestuur is per definitie geen controle van de jaarrekening. Dat is het werkterrein van de accountant, die door de raad daarvoor is ingehuurd.

De breedte van het onderzoeksdomein maakt dat van rekenkameronderzoekers een generalistische instelling verwacht mag worden: ze ‘moeten van alle markten thuis zijn’. Te veel specifiek gerichte vakkennis en ervaring kan contraproductief zijn omdat dit tot de neiging kan leiden om vakjargon en de standaardaanpak op het eigen vakgebied teveel als vanzelfsprekend te beschouwen.

Suggesties voor rekenkameronderzoek van derden

Het is mogelijk en wenselijk dat de rekenkamer(commissie) suggesties voor onderzoeksonderwerpen ontvangt van derden zoals raad(sfracties), het college, individuele burgers of belangengroepen. Naar verwachting zal de behoefte van het college om suggesties te doen in de praktijk niet groot zijn. Het college heeft immers zijn eigen onderzoeksbevoegdheid (o.a. 213a).

Inbreng van derden is van belang voor de diversiteit en relevantie van onderwerpen. De rekenkamer(commissie) kan actief suggesties van burgers of maatschappelijke organisaties vragen en / of het indienen van suggesties gemakkelijker maken. Bijvoorbeeld:

  • via de website van de rekenkamer,
  • via een uitnodiging in een huis-aan-huisblad,
  • via een breed verspreide publieksfolder,
  • via sociale media,
  • via een enquête.

Het is de rekenkamer zelf die beslist of wordt ingegaan op een verzoek. Hiervoor kan de rekenkamer gebruik maken van selectiecriteria voor een verzoek om rekenkameronderzoek.

De rekenkamer(commissie) zal selectief om moeten gaan met ontvangen suggesties van derden. Daarom zal de rekenkamer eisen moeten stellen aan de suggesties die zij in overweging wil nemen.
Als een vraag niet relevant of onderzoekbaar is voor de rekenkamer (commissie) kan zij de vraag doorspelen aan bijvoorbeeld de ombudsman of – met toestemming van de vragensteller! – aan een gemeentelijke dienst.
Ook kan de rekenkamer een concreet verzoek in een bredere context plaatsen en vervolgens onderzoek verrichten naar die bredere problematiek.

Timing van onderzoek

Timing is waarschijnlijk de meest genoemde factor als het gaat om doorwerking. Onder timing worden de volgende aspecten verstaan:

  • Het moment waarop het onderzoek wordt gestart.
  • De doorlooptijd van het onderzoekproces.
  • De tijdigheid of timing van de resultaten: Met tijdigheid of timing wordt bedoeld dat de uitkomsten eerder bekend moeten zijn voordat het onderzochte probleem (deels) is opgelost of is vervangen.
  • Het moment waarop de uitkomsten in de politieke arena bekend worden. Is op het moment dat de uikomsten bekend worden wel aandacht, tijd en interesse vanuit de politiek om het onderzoek te gaan gebruiken? Of is het bijvoorbeeld verkiezingstijd?
  • De incubatietijd van het onderzoek.

Voorbeelden

  • Een aanbeveling uit onderzoek komt te vroeg als er nog geen enkel beleidsinitiatief is en komt te laat wanner het beleid al is ontwikkeld.
  • Wanneer een advies kan worden gekoppeld aan de ontwikkeling van een belangrijk strategisch visiedocument, is de doorwerking maximaal.
  • Sommige perioden in het jaar zijn nu eenmaal meer geschikt om een belangrijk advies te presenteren dan andere perioden.
  • Bij ee lange doorlooptijd van een onderzoek kan het college / gedeputeerde staten soms niet te lang wachten met het maken van beleid. Soms maakt het college / gedeputeerde staten dan al beleid zonder op de uitkomsten van het onderzoek te wachten.

Relevante cycli

  • De verkiezingscyclus: deze cyclus is relatief groot. Eens per vier jaar treedt er een nieuwe raad / provinciale staten aan. Ieder college / gedeputeerde staten heeft een gewenningsperiode waarin aanbevelingen nog niet optimaal zullen landen. Ook op het eind van iedere raadsperiode zullen onderzoeken door de naderende verkiezingen minder doorwerking krijgen. Vandaar dat onderzoeken die in het midden van de verkiezingscyclus worden uitgebracht (grofweg de middelste twee jaar) optimaal doorwerken.
  • De beleidscyclus: de lengte van deze cyclus varieert met de complexiteit van het beleidsterrein en de politieke urgentie die er is om het beleid te veranderen. De meeste doorwerking vindt grofweg plaats in het midden en op het eind van de beleidscyclus.
  • De P&C -cyclus: onderzoeken die op een verkeerd moment in de planning- en controlcyclus worden uitgebracht, kunnen doorwerking missen. Ze komen dan op een heel druk moment in de cyclus, waardoor er relatief minder aandacht is voor de adviezen. Een onderzoek dat wordt uitbracht vlak voor de algemene beschouwingen, kan politiek en mediatechnisch gezien ‘handig’ zijn. Maar gezien de drukte in de ambtelijke organisatie kan er juist dan ook iets minder doorwerking zijn.
  • De cyclus van stelselherzieningen: onderzoeken die worden uitgebracht tijdens de ontwikkeling en doorvoering van stelselherzieningen kunnen inhoudelijk zeker doorwerken. Ze kunnen tegelijkertijd ook enige doorwerking missen als ze worden uitgebracht in een periode waarin de positie van het Rijk onduidelijk is of wijzigt.

Verzoek van de raad voor rekenkameronderzoek

De rekenkamer bepaalt de eigen onderzoeksagenda. Maar de raad mag van de wetgever een formeel verzoek indienen bij de rekenkamer(commissie). Een formeel verzoek van de raad is geen geheel vrijblijvende aangelegenheid. Maar, de raad kan géén opdracht geven aan de rekenkamer tot het uitvoeren van een onderzoek.

Afspraken over vorm van een formeel verzoek

Het is van belang dat er goede afspraken zijn over de manier waarop een formeel verzoek van de raad kan plaatsvinden. Bijvoorbeeld:

  • in de vorm van een formeel raadsverzoek (op basis van een raadsmeerderheid) dat wordt voorgelegd aan de rekenkamer,
  • motiveringsvereiste waarom de raad een verzoek indient of
  • dat ook een verzoek vanuit een of meer fracties of door een individueel raadslid mogelijk is.

Beslissing op het verzoek

Het is de rekenkamer zelf die beslist of wordt ingegaan op een verzoek. Hiervoor kan de rekenkamer gebruik maken van beoordelingscriteria voor een verzoek om rekenkameronderzoek.

Uiteraard is een goede motivering om te beoordelen of het onderwerp onderzoekswaardig is voor de rekenkamer(commissie) van belang. Aangeraden wordt hiervoor regels vast te leggen, bijvoorbeeld in de verordening. Deze regels zijn de basis voor de motivering van het al dan niet honoreren van een verzoek van de raad.

Redenen om niet in te gaan op een verzoek van de raad kunnen bijvoorbeeld zijn dat het onderwerp niet past binnen de taakopdracht of de bevoegdheden van de rekenkamer(commissie), het onderwerp te politiek van aard is of dat het onderwerp niet te onderzoeken is (te groot, te vage vraagstelling etc.). In het laatste geval ligt het voor de hand dat de rekenkamer(commissie) in overleg treedt met de raad om te bekijken of er tot een betere onderzoeksvraagstelling gekomen kan worden.

Waarderend Onderzoeken

Waarderend onderzoeken of Appreciative Inquiry (verkort “AI”) is een kwalitatieve onderzoeksmethode die verschilt van traditioneel onderzoeken, doordat zij  meer de focus legt op het  vergroten van krachten, leren van het verleden en ontwikkelen op successen,  dan op wat er niet goed gaat,  het corrigeren van fouten, en het oefenen op zwaktes.

Waarderend onderzoek wordt sinds de jaren tachtig van de vorige eeuw toegepast. De grondslag ligt in de Verenigde Staten bij Dr Cooperrider. Sinds de 21e eeuw is het een wereldwijd toegepaste methodologie. De laatste jaren vindt deze aanpak ook in Europa en Nederland groter vervolg. De Auditdienst van het Rijk (ADR) past het inmiddels toe, De Algemene Rekenkamer (ARK) verkent de mogelijkheden en met name de Gezamenlijke Rekenkamercommissie voor de gemeenten Berkelland, Bronckhorst, Lochem en Montferland (RC BBLM)  past het toe in haar onderzoek naar de effectiviteit van de uitvoering van de WWB  richting WWnV  cq Participatiewet.

De onderzoeksaanpak kent  5 Uitgangspunten. De onderzoeksaanpak kent in oorsprong 4 fasen ( 4D’s) en in Nederlandse toepassingen 5 fasen (5V’s). De onderzoeksaanpak voor Rekenkamer(commissie)s kent 6 fasen (6V’s).
AI kent ook andere vormen en toepassingen  die voor Rekenkamer(commissie)s goed bruikbaar zijn.

Verschil Waarderend Onderzoeken ten opzichte van traditioneel onderzoeken

Waarderend onderzoek heeft een andere focus en onderzoeksaanpak dan het traditionele onderzoek. Traditioneel onderzoek zet een probleem centraal en zoekt manieren om het probleem op te lossen; door te trainen op wat er niet goed gaat, of door het elimineren van een probleem; de zgn’ deficit-oriented approach’ of probleemgerichte benadering.

Uitgangspunten van Waarderend Onderzoeken

Waarderend onderzoek gaat uit van:

  • het sociaal constructionistische principe (er is geen objectieve werkelijkheid);
  • het poetisch principe (alles is voor meer interpretaties vatbaar, wat jij vindt dat is);
  • het simultaniteitsprincipe (een vraag is de eerste stap van verandering’);
  • het anticiperend principe (beelden van de toekomst leiden ons) en het
  • positiviteitsprincipe (positieve emoties zijn nodig voor groei en ontwikkeling).

Waarderend onderzoek gaat uit van het principe ‘leren van het verleden,  ontwikkelen op successen,  krachten en gedeelde waardes’. Het gaat uit van het resultaat, waar willen we naartoe, en van de krachten in de organisatie in plaats van de tekortkomingen. Wat willen we WEL? Dat wil niet zeggen dat het onderzoek en de bevindingen niet kritisch zijn, of niet benoemen wat er niet goed gaat; de focus is echter bewust ontwikkelings- en oplossingsgericht. Daarmee is zij duurzamer,  kent meer doorwerking , dan puur traditioneel onderzoek. Daarmee draagt zij voor Rekenkamer(Commissie)’s  meer bij aan de ondersteuning van de kaderstellende rol van de Raad.

Onderzoeksaanpak

De onderzoeksaanpak kent 5 fases ( de 5 V’s):

  1. Verwoorden: wat is het onderwerp, de vraag- en doelstelling van het beleidsterrein & onderzoek?
  2. Verdiepen: wat is de situatie nu (met aandacht voor wat er wel goed gaat en wat wordt ervaren als de krachten en gedeelde waardes in de organisatie
  3. Verbeelden: waar willen we over 10 jaar staan, wat is het gewenste, gedroomde plaatje?
  4. Vormgeven: welke concrete acties en tussentijdse resultaten zijn er nodig om tot het ideaalplaatje te komen?
  5. Verwezenlijken: een uitvoeringsplan maken en uitvoeren

Deze stappen worden idealiter met het gehele systeem, alle betrokken actoren doorlopen.
De allereerste aanpakken in de USA kende 4 fasen ( 4D’s):

  1. Discover
  2. Dream
  3. Design
  4. Destiny

Onderzoeksaanpak voor Rekenkamer(commissie)s

Voor (lokale) Rekenkamer(Commissie)s is een  tussenvorm van AI , genoemd de ‘waarderende benadering’ direkt  toepasbaar.

Figuur 2: naar: ‘waarderend auditen bij de RAD, katalysator voor verbetering’. L. Zarrou, R. Kalker & M. De Zeeuw, 2010.

Voor de toepassing voor lokale rekenkamers  is het  toepassen van de waarderende benadering kritisch en tevens ontwikkelings- en oplossingsgericht. Daarmee is zij duurzamer,  kent meer doorwerking , dan puur traditioneel onderzoek. Zij voldoet daarmee aan aanbevelingen uit de evaluatie van lokale rekenkamercommissies (rapport Berenschot).

Waarderend Onderzoeken voor lokaal rekenkameronderzoek, is door Drs Lydia Zwier geconcretiseerd  in het model met 6 fasen (6 V’s):

  1. Verwoorden: wat is het onderwerp, de vraag- en doelstelling van het beleidsterrein & onderzoek? Wat zijn huidig geldende normen?
  2. Verdiepen: wat is de situatie nu (met aandacht voor wat er wel goed gaat en wat wordt ervaren als de krachten en gedeelde waardes in de organisatie; dit zijn de bevindingen en feitelijke conclusies)
  3. Verbeelden: waar willen we over 10 jaar staan, wat is het gewenste, gedroomde plaatje ?
  4. Verbinden: de beelden van diverse onderdelen/groepen/beleidsvelden met elkaar in verbinding brengen ten bate van het spreken van 1 taal en het vinden van gedeelde sterke kanten, waarden en momenta.
  5. Vormgeven : welke krachten en waarden kunnen we inzetten om te komen op het gewenste punt?  En wanneer ? (door de rekenkamercommissie te verwoorden in de conclusies en aanbevelingen)
  6. Verwezenlijken: een uitvoeringsplan maken en uitvoeren (deze activiteiten zijn aan het college en de organisatie,  op basis van de door de raad aangenomen aanbevelingen)

Andere toepassingen

Andere toepassingen van AI-methoden, als aanvulling op traditionele  onderzoeken met langere doorlooptijden, bij (lokale) Rekenkamer(commissie)s kunnen o.a. zijn:

  • Best practices (h)erkennen
  • Het  vormen van een normenkader
  • Komen tot (gedragen) onderzoeksonderwerpen
  • Verbetering informatievoorziening (of komen tot een checklist informatievoorziening)  voor Raadsleden

Zie ook

  • Waarderend organiseren
  • Waarderend samenwerken
  • Sociale Innovatie
  • Duurzaamheid
  • Waarderend Auditen
  • Waarderend veranderen

Auteur: Drs Lydia M.D. Zwier-Kentie – november 2012

Referenties:

 

Weerstandscapaciteit

Het Besluit begroting en verantwoording provincies en gemeenten (BBV) schrijft een weerstandsvermogen voor als ratio tussen de beschikbare weerstandscapaciteit en het totaal aan gekwantificeerde risico’s, waar geen beheersmaatregelen tegenover staan. Bij de berekening van beide elementen is het van belang om hierin compleet te zijn. Alle componenten van de weerstandscapaciteit dienen te worden meegenomen (incidenteel en structureel). De risicoanalyse dient ingebed te worden in een gemeentebreed risicomanagement, teneinde een goed zicht te krijgen op de afgedekte risico’s (als onderdeel van de reguliere bedrijfsvoering) en de niet afgedekte risico’s (als onderdeel van het weerstandsvermogen). Tot slot dienen alle financiële gegevens te voldoen aan het zogenoemde voorzichtigheidsvereiste.

Definitie van het weerstandsvermogen

Volgens artikel 11 van de BBV bestaat het weerstandsvermogen uit de relatie tussen:

  1. de weerstandscapaciteit, zijnde de middelen en mogelijkheden waarover de provincie onderscheidenlijk gemeente beschikt of kan beschikken om niet begrote kosten te dekken;
  2. alle risico’s waarvoor geen maatregelen zijn getroffen en die van materiële betekenis kunnen zijn in relatie tot de financiële positie.

Verder stelt het BBV dat:
De paragraaf betreffende het weerstandsvermogen ten minste bevat:

  1. een inventarisatie van de weerstandscapaciteit;
  2. een inventarisatie van de risico’s;
  3. het beleid omtrent de weerstandscapaciteit en de risico’s.

Belangrijk is dat het BBV het weerstandsvermogen nadrukkelijk heeft gedefinieerd als een ratio. Deze ratio beschrijft de relatie tussen de weerstandscapaciteit en de (gekwantificeerde) risico’s, waarvoor geen maatregelen zijn getroffen. Alvorens verder op deze ratio in te gaan is het goed om eerst beide componenten zo scherp mogelijk te omschrijven.

Weerstandscapaciteit

Het BBV omschrijft de weerstandscapaciteit als zijnde de middelen en mogelijkheden waarover de gemeente beschikt of kan beschikken om niet begrote kosten te dekken. Dit laatste houdt in dat de Minister een duidelijk onderscheid maakt tussen begrote kosten, dat wil zeggen kosten die deel uitmaken van de begroting en meerjarencijfers, en niet-begrote kosten.

Tevens maakt het BBV onderscheid tussen incidentele en structurele weerstandscapaciteit, waarbij onder de incidentele weerstandscapaciteit wordt verstaan het vermogen om onverwachte incidentele tegenvallers op te kunnen vangen, zonder dat dit invloed heeft op de voortzetting van taken op het geldende niveau.

De middelen die dat vermogen bepalen zijn:

  1. de algemene reserve en de reserves waaraan de raad een bestemming heeft gegeven die kan worden gewijzigd (bestemmingsreserves);
  2. de in de begroting opgenomen ramingen voor onvoorziene uitgaven voor zover hier nog geen bestemming aan is gegeven;
  3. de stille reserves, voor zover deze op korte termijn materieel te maken zijn (reserves waarvan de omvang en/of het bestaan niet uit de balans blijkt, voortkomend uit de onderwaardering van activa of overwaardering van schulden bij het volgen van normale waarderingsmethoden).

De structurele weerstandscapaciteit heeft betrekking op het vermogen om onverwachte tegenvallers structureel in de lopende begroting op te vangen, zonder dat dit ten koste gaat van de uitvoering van bestaande taken. De middelen die dat vermogen bepalen zijn:

  1. de resterende (onbenutte) belastingcapaciteit;
  2. bezuinigingsmogelijkheden (voor zover nog niet meegenomen in de begroting en meerjarenramingen);
  3. cumulatief geraamde onvoorziene uitgaven.

Reserves maken deel uit van de beschikbare weerstandscapaciteit. De algemene reserve is vrij aanwendbaar voor nieuw beleid (of het opvangen van tegenvallers in het jaarresultaat). Bestemmingsreserves zijn daarentegen reserves waar de raad een bepaalde bestemming aan heeft gegeven. Bij een bestemmingsreserve is weliswaar sprake van een vastgelegde toekomstige onttrekking, maar er bestaat op dat moment nog geen verplichting. De raad heeft dan ook alle mogelijkheid om de bestemming van deze reserves te wijzigen.

De totale beschikbare weerstandscapaciteit bestaat derhalve uit de opsomming van alle voornoemde elementen van de incidentele en structurele weerstandscapaciteit.

Een bijzondere categorie vormen de zogenoemde voorzieningen. Voorzieningen zijn afgezonderde vermogensbestanddelen die gevormd worden wegens:

  1. verplichtingen en verliezen waarvan de omvang op de balansdatum onzeker is doch redelijkerwijs is in te schatten;
  2. risico’s waarvan de omvang op de balansdatum onzeker is doch redelijkerwijs is in te schatten en daarmee een hoge mate van waarschijnlijkheid kennen;
  3. fluctuaties in kosten op te vangen (gelijkmatige verdeling van kosten).

Deze definitie impliceert dat voorzieningen geen deel uitmaken van de beschikbare weerstandscapaciteit, omdat er sprake is van reeds aangegane verplichtingen, dan wel van risico’s met een hoge mate van waarschijnlijkheid.

Risico’s weerstandsvermogen

Het tweede element van het weerstandsvermogen bestaat uit de benodigde weerstandscapaciteit op basis van de gemeentebreed geïnventariseerde en gekwantificeerde risico’s, waarvoor geen maatregelen zijn getroffen en die een materieel financieel belang hebben. Risico wordt daarbij gedefinieerd als een mogelijke belemmering voor het behalen van (operationele en strategische) doelstellingen. De omvang van het risico wordt bepaald door de mate van waarschijnlijkheid (kans) en de (gekwantificeerde) impact (op de doelstellingen). De basis voor het inventariseren, kwantificeren en beheersen van deze risico’s ligt in het risicomanagement. Goed uitgevoerd risicomanagement voorkomt daarmee tevens dat het weerstandsvermogen (te) fors oploopt, omdat de meeste reguliere risico’s in het kader van het risicomanagement pro-actief worden herkend en worden afgedekt met beheersmaatregelen.

Voor de wijze waarop het risicomanagement wordt geïmplementeerd kan gebruik worden gemaakt van breed toegepaste en geaccepteerde richtlijnen als COSO en ISO 31000.

Tevens is van belang dat risicomanagement een vast onderdeel vormt van de reguliere planning en controlcyclus, waardoor snel zicht kan worden geboden op mogelijke risico’s en daarmee in een vroeg stadium al beheersmaatregelen kunnen worden genomen. Feitelijk vormt deze sturingsdimensie het logische verlengstuk van de berekening en de omvang van het weerstandsvermogen.

Relatie tussen de weerstandscapaciteit en de risico’s

Het weerstandsvermogen bestaat zoals gezegd uit de relatie tussen de beschikbare weerstandscapaciteit en de voor de afdekking van de risico’s benodigde weerstandscapaciteit. De benodigde weerstandscapaciteit wordt bepaald door het risicoprofiel van de gemeente als geheel, waarbij de waarschijnlijkheid en de omvang/ impact van elk risico afzonderlijk is gewaardeerd en gekwantificeerd. De relatie wordt meestal uitgedrukt in een verhoudingsgetal, waarbij normaliter gestreefd zou moeten worden naar een ratio weerstandsvermogen van minimaal 1,0.

Voorzichtigheidsvereiste

Aan financiële gegevens, die in de begroting worden meegenomen worden nadrukkelijk eisen gesteld. In de ‘circulaire nadere informatie BBV gemeenten’ worden eisen gesteld aan transparantie, toerekening en aan voorzichtigheid. Het voorzichtigheidsprincipe is noodzakelijk omdat bij het opstellen van de begroting en de jaarrekening zich altijd onzekerheden voordoen. Bij de begroting gaat het om ramingen die per definitie een zekere mate van onzekerheid kennen. Het voorzichtigheidsvereiste houdt onder meer in dat risico’s die hun oorsprong vinden voor het einde van het begrotingsjaar in acht moeten worden genomen als zij vóór het opmaken van de jaarrekening bekend zijn.

Initiator: Paul Hofstra

Onderzoeksopzet

De onderzoeksopzet wordt gemaakt na de keuze voor een onderzoeksonderwerp. De onderzoeksopzet geeft antwoord op de vraag waarom, wat, hoe, door wie en wanneer onderzocht gaat worden.

Voorbereiden onderzoeksopzet

Ter voorbereiding van het onderzoek zijn enkele gerichte acties wenselijk:

  • Vaststellen wat precies het onderwerp van onderzoek is en afbakenen van het onderzoeksonderwerp. Dat lijkt voor de hand te liggen, maar in de praktijk blijkt het soms niet eenvoudig om de juiste focus in het onderzoek aan te brengen. Bijvoorbeeld: wat onderzoeken we precies als we ‘het beleid’ onderzoeken? Richten we ons op prestaties of op effecten? Willen we uitspraken doen over enkele onderdelen of over de gemeente als geheel?
  • Vaststellen in welke context het onderzoek plaatsvindt, dat wil zeggen dat het duidelijk moet zijn waarom dit onderzoek juist nu plaatsvindt.
  • Normenkader al op hoofdlijnen voor ogen hebben: wanneer vinden we iets goed en wanneer fout?
  • Benaderen van deskundigen voor enkele algemeen oriënterende gesprekken en hen laten meedenken over een mogelijke aanpak.
  • Meer en detail raadplegen van relevante websites en het gemeentelijk informatiesysteem.
  • Verzamelen en nalopen op voor het onderzoek relevante informatie van onder meer de volgende bronnen:
    • concernbegroting(en) en jaarverslag(en);
    • dienstbegroting(en), jaarverslag(en) inclusief
    • accountantsrapport (en eventueel ook
    • managementbrief) en toetsrapporten bestuursdienst;
    • notulen / verslagen / agenda’s / agendaposten / bijlagen;
    • persberichten bestuur en diensten;
    • berichten in kranten (zoeken via internet).
  • Nagaan of vergelijkbare onderzoeken door andere rekenkamers zijn uitgevoerd, zie bijvoorbeeld de databank op www.rekenkamers.nl.

Als het niet mogelijk is normenkader, onderzoeksmethoden en planning al bij de start scherp te formuleren kan de rekenkamer(commissie) er ook voor kiezen eerst een vooronderzoek te doen en pas daarna een beter gedefinieerd hoofdonderzoek uit te voeren.
Andere opties om de onderzoeksaanpak scherp te krijgen is gebruik maken van kennis van andere rekenkamers (best practices van onderzoek op hetzelfde terrein) of een beroep doen op de expertise van onderzoekbureaus.
Ook is het nuttig bij uitbesteding rekening te houden met mogelijke (originele) suggesties die onderzoeksbureaus in hun offerte kunnen aandragen.

Belangrijke elementen onderzoeksopzet

Laat in de onderzoeksopzet de volgende onderwerpen aan bod komen:

  • Aanleiding: een korte beschrijving van het onderwerp en de argumenten voor het onderzoek (aandachtspunten zijn onder meer relevant beleid, wet- en regelgeving, het maatschappelijk en financieel belang).
  • Doelstelling: het beoogde effect van het onderzoek.
  • Probleemstelling, onderzoeksvragen en afbakening: de hoofdvraag en deelvragen die beantwoord moeten worden om de kennis te verkrijgen waarmee het beoogde effect kan worden bereikt.
  • Normenkader: de normen waaraan de bevindingen worden getoetst om een oordeel te vormen. Het kan van belang zijn om reeds bij de uitwerking van de onderzoeksopzet te bepalen welk normenkader in het onderzoek wordt gehanteerd. Bij publicatie van de onderzoeksopzet krijgen de betrokkenen zo een beeld krijgen over de normen op basis waarvan de rekenkamer(commissie) haar oordeel vormt. Let wel: vaak worden normen tijdens het onderzoek verder gepreciseerd en uitgewerkt.
  • Onderzoeksmethoden: de wijze waarop de gegevens worden verzameld (bijv. interviews, enquêtes, documentenstudie, gevalstudies). Sommige rekenkamer(commissie)s laten dit onderdeel ook wel eens over aan de creativiteit van de externe partij.
  • Organisatie, planning, kosten en procedure: vastleggen wie binnen de rekenkamer als trekker/ eerst aanspreekbare voor het onderzoek optreedt en wie het onderzoek begeleiden/uitvoeren. Hier ook aangeven of het onderzoek wordt uitbesteed aan een externe onderzoeker.

Afwijken van de onderzoeksopzet

Elk onderzoek is een zoekproces, waarbij op grond van voortschrijdend inzicht kan worden afgeweken van het oorspronkelijke plan. Dat kan er toe leiden dat sommige, vooraf bedachte onderzoekslijnen eerder worden afgesloten omdat al snel tot sluitende conclusies kan worden gekomen. Op andere punten kan op grond van (tussen)bevindingen juist geconstateerd worden, dat een verdere verdiepingsslag gemaakt moet worden.
Zo nodig vindt hierover communicatie plaats met betrokkenen en de raad(scommissie).

Aankondigen door publicatie onderzoeksopzet

De onderzoeksopzet kan na vaststelling door de rekenkamer openbaar worden gemaakt. Daarbij moet worden bepaald wie de onderzoeksopzet intern en extern ter kennisgeving wordt toegezonden. De raad, het college, de directie, de betrokken afdelingen en eventuele extern betrokken organisaties zijn de meest voor de hand liggende adressanten.

De publicatie van de onderzoeksopzet en het toesturen hiervan aan betrokken bestuurders, directeuren e.d. is feitelijk de aankondiging van het onderzoek. Bij uitbesteding van onderzoek wordt in deze aankondiging ook aangegeven welke onderzoekers van welk bureau het onderzoek zullen uitvoeren. Ervaring leert dat tijdige communicatie van het onderzoeksplan bevorderlijk is voor de medewerking gedurende het onderzoek. Sommige rekenkamer(commissie)s maken bij aankondiging van het onderzoek afspraken over een eventuele vaste ambtelijke contactpersoon.

Selectiecriteria voor rekenkameronderzoek

Het is gebruikelijk om voor een eerste selectie van onderzoeksonderwerpen een aantal selectiecriteria te hanteren. De rekenkamer(commissie) kan desgewenst vooraf aan bepaalde criteria een groter gewicht toekennen:

  • De mate waarin het onderwerp past binnen de taakopdracht die de rekenkamer(commissie) in de wet heeft meegekregen.
  • De mate waarin het onderwerp past binnen de specifieke taakopdracht en bevoegdheden zoals vastgelegd in de verordening op de rekenkamer(commissie).
  • Een zo groot mogelijke bijdrage aan de missie / doelstellingen van de rekenkamer(commissie), gerelateerd aan de inzet van schaarse onderzoekscapaciteit.
  • Substantieel financieel, organisatorisch, bestuurlijk of maatschappelijk belang.
  • Twijfel over de effectiviteit van het beleid, de doelmatigheid van de uitvoering of de rechtmatigheid van het beleid.
  • Mate van risico voor de gemeente, waaronder financieel;
  • Toegevoegde waarde: het onderzoek levert informatie op die niet reeds uit andere bronnen bekend is.
  • Benutten van specifieke bevoegdheden.
  • Spreiding (variatie in onderwerpen, in onderzochte diensten en eventueel politiek, in portefeuilles van wethouders).
  • Bruikbaarheid (inspelen op verzoeken), bruikbaarheid van aanbevelingen en verwachte leereffecten.

Een onderzoeksprogramma zal in de praktijk tussen de 1 en 3 onderzoeken per jaar bevatten. Daarnaast kan ook nog een aantal aanvullende activiteiten (bijvoorbeeld advisering) worden gepland.

Selectieproces onderzoeksonderwerpen

Een onderzoeksprogramma kan tot stand komen door aan de hand van concrete selectiecriteria een aantal onderwerpen uit de groslijst te selecteren. Het is voor de effectiviteit van de rekenkamer(commissie) doorslaggevend dat de goede onderwerpen op het goede moment worden onderzocht. Zo’n selectieproces kan op verschillende manieren verlopen. De uiteindelijke keuze voor een onderwerp is geen objectief gegeven, maar de uitkomst van een discussie, waarin objectieve criteria een rol spelen naast ‘intuïties’ op basis van signalen.

Suggestie mogelijk eerste selectieproces

Elk lid van de commissie kan bijvoorbeeld een beargumenteerde ‘top 5’ maakt aan de hand van de selectiecriteria. Het uiteindelijke programma is dan de optelsom van alle top 5’en.

Verdieping door vooronderzoek

Indien nodig kan hierna, maar vóór de definitieve vaststelling van het onderzoeksprogramma, een eerste verdiepingsslag gemaakt worden (’een vooronderzoek’). Zo kan de rekenkamer(commissie) een meer beargumenteerde prioritering maken.

Verdieping door selectietoets

Verdieping van het eerste selectieproces is het uitvoeren van een selectietoets voor een beperkt aantal geselecteerde onderwerpen. Deze selectietoets dient een aantal vragen te beantwoorden:

  • Wat is het doel, onderwerp, aanleiding?
  • Welke subonderwerpen zijn te onderscheiden (zeker wanneer het aanvankelijke onderwerp nog te algemeen is geformuleerd)?
  • Welke bronnen zijn geraadpleegd?
  • Welke beleidsnota’s zijn van belang?
  • Wat is de (recente) bemoeienis van de raad?
  • Wat is precies het probleem ofwel wat is de reden voor een onderzoek?
  • Wat is de gemeentelijke competentie blijkend uit relevante wet- en regelgeving?
  • Wat is het financieel belang?
  • Is er ander onderzoek verricht of in uitvoering? Zijn op basis van een verkenning hiervan relevante bureaus en/of onderzoekers te identificeren?
  • Is al iets te zeggen over projecttechnische succes- en faalfactoren (zoals de beschikbaarheid van specifieke kennis, de behoefte aan externe deskundigheid, de omvang en ordelijkheid van de dossiervorming terzake, specifieke stellingname van B&W, raad, media e.d. ten aanzien van het onderwerp)?

Een selectietoets biedt zo een beargumenteerde conclusie om een bepaald onderwerp wel of niet in het onderzoeksprogramma op te nemen.

Procesmatig zijn voor de selectietoets verschillende activiteiten denkbaar: vooral bureauonderzoek (raadplegen van uiteenlopende informatiesystemen, telefonische informatierondes), maar ook in beperkte mate verkennende en oriënterende gesprekken.

Alternatieve presentatievormen rekenkamer onderzoek

Naast onderzoeksrapporten zijn er ook andere mogelijkheden voor het presenteren van resultaten van onderzoek, zoals:

  • Alleen digitaal beschikbaar stellen feitenrapportage
  • Presentatie resultaten alleen in vorm krantenartikel
  • Posterpresentatie
  • Film (kan ook in de vorm van een ‘tekenfilm’)
  • Stripverhaal / cartoon
  • (Powerpoint)presentatie
  • Prezi
  • Webbased vormen, zoals een website over het onderzoek of een webdossier op de website van de rekenkamer
  • Workshops, lezingen of bijeenkomsten met stakeholders
  • Presentaties, bijeenkomsten met externe deskundigen
  • Rekenkamerbrief
  • Een vijf-minuten versie

Bestuurlijk wederhoor

Bestuurlijk wederhoor kan een onderdeel in de totstandkoming van een rekenkamerrapport zijn. Met bestuurlijk wederhoor kan het college voor publicatie van een rekenkamerrapport reageren op de  conclusies en aanbevelingen van de rekenkamer(commissie).
Deze procedure van ‘hoor- en wederhoor’ heeft geen wettelijke basis. Het is ontleend aan de praktijk bij de Algemene Rekenkamer.

Mogelijk te stellen vragen bestuurlijk wederhoor

In de bestuurlijke reactie kan het college ingaan op vragen als:

  • Kunt u de conclusies van de rekenkamer onderschrijven? Zo nee, waarom niet? Zo ja, waarom wel?
  • Acht u de aanbevelingen haalbaar / uitvoerbaar?
  • Neemt u de aanbevelingen van de rekenkamer helemaal of ten dele over? Zo nee, waarom niet? Zo ja, in welke mate neemt u de aanbevelingen over?
  • Welke concrete actie(s) wil u hieraan verbinden?
  • Wat zijn volgens u de (eventuele) consequenties van de aanbevelingen (maatschappelijk / financieel / politiek / bestuurlijk / voor de organisatie)?

Al dan niet toepassen bestuurlijk wederhoor

Veel rekenkamer(commissie)s vinden bestuurlijk wederhoor belangrijk voor de geloofwaardigheid en de doeltreffendheid van de rekenkamer(commissie).
Sommige rekenkamers kiezen er echter voor (soms) geen bestuurlijk wederhoor toe te passen. Zo willen zij de doorlooptijd van rekenkameronderzoek verminderen en de actualiteit van rekenkameronderzoek vergroten. De politieke discussie over een rekenkameronderzoek vindt dan naar verwachting ook meer plaats tussen college en raad.

Bestuurlijke reactie in rekenkamerrapport

Meestal wordt de bestuurlijke reactie van het college in zijn geheel opgenomen in het definitieve (bestuurlijke) rapport. Als de bestuurlijke reactie erg lang is, kan een samenvatting in de hoofdtekst worden opgenomen. De bestuurlijke reactie kan dan in zijn geheel naar de bijlagen.
Als de bestuurlijke reactie daar aanleiding toe geeft, schrijft de rekenkamer een nawoord dat ook in zijn geheel in het rapport wordt opgenomen.
Een uitgebreid bestuurlijk wederhoor maakt de doorlooptijd van een onderzoek langer.

Tips voor bestuurlijk wederhoor

  • Maak onderscheid tussen ambtelijk wederhoor en bestuurlijk wederhoor.
  • Leg aan de betrokken bestuurders (het college) de bestuurlijke nota voor t.b.v. een reactie op de conclusies en aanbevelingen.
  • Hanteer een reactietermijn voor wederhoor van ca. 3 à 4 weken.
  • Kondig het bestuurlijk wederhoor ruim van te voren aan bij betrokkenen.

Beoordelingscriteria verzoek rekenkameronderzoek, verzoek rekenkameronderzoek

Het is van belang dat de rekenkamer helder communiceert over de keuze in onderwerpen voor onderzoek. Wanneer er aan de rekenkamer verzoeken om onderzoek worden gedaan, kan voor de beoordeling van zo’n verzoek uit worden gegaan van de volgende criteria:

Overstijgen van het persoonlijk en partijpolitiek belang;

  • Een motivering (waarom is het onderwerp belangrijk);
  • Een duidelijke onderzoeksvraag;
  • Duidelijk moet zijn wiens en welk belang gediend is met een onderzoek;
  • Mogelijk leereffect voor bestuur en organisatie.

Of het verzoek nu van (de) raad(sleden) komt, het college of burgers: de rekenkamer(commissie) moet haar besluit  transparant motiveren. Mogelijke argumenten kunnen te vinden zijn in:

  • strategische visie,
  • missie,
  • inhoudelijke criteria voor keuze,
  • beschikbaarheid van middelen.

Voor een goede argumentatie is een keuzebeleid nodig. Op die manier maakt de rekenkamer(commissie) duidelijk, dat sprake is van een weloverwogen keuze op basis van staand beleid. De rekenkamer(commissie) moet dit beleid dan wel vooraf ter kennis aan de raad brengen cq. openbaar maken.

Basisvoorwaarden kwaliteit rekenkamerrapport

Aan de kwaliteit van rekenkamer rapporten kunnen enkele basisvoorwaarden worden gesteld. De normen voor de NVRR Goudvink geven een beeld van de minimale voorwaarden waaraan een goed onderzoeksrapport moet voldoen.

Duidelijk onderscheid tussen normen, bevindingen, conclusies en aanbevelingen

Maak bij het rapporteren expliciet en helder onderscheid tussen:

  • normen (criteria, uitgangspunten),
  • bevindingen,
  • analyse,
  • conclusies, en
  • aanbevelingen.

Dit onderscheid is kenmerkend voor rekenkameronderzoek. Tussen geen van de vijf onderdelen mag ‘licht’ zitten, ze moeten naadloos op elkaar aansluiten. Bijvoorbeeld: als oordelen of conclusies niet bij de bevindingen aansluiten, of aanbevelingen niet bij een gehanteerd normenkader gaat dat onherroepelijk ten koste van de geloofwaardigheid van de rekenkamer.

Ook moet de rekenkamer er zeker van zijn dat de gerapporteerde feiten en gegevens betrouwbaar zijn, respectievelijk dat bronnen zijn vermeld. Een rekenkamer kan alleen gezag opbouwen als haar producten voor 100% de toets der kritiek kunnen doorstaan.

Onderscheid tussen nota van bevindingen en bestuurlijke nota

Het onderscheid tussen bevindingen, conclusies, oordelen en aanbevelingen kan binnen één rapport worden gemaakt. Een andere mogelijkheid is het scheiden van rapporten:
in een nota van bevindingen waarin o.a. de feitelijke onderzoeksbevindingen en analyse daarvan staan, en
een bestuurlijke nota waarin o.a. de samenvatting, (overkoepelende) conclusies en aanbevelingen aan de raad zijn opgenomen.

Rekenkameronderzoek en externe onderzoeksbureaus

Geef bij uitbesteding van het onderzoek aan het onderzoeksbureau aan dat in de rapportage de gehanteerde normen, de bevindingen uit het onderzoek, de conclusies en de oordelen duidelijk onderscheiden van elkaar dienen te worden gepresenteerd en naadloos op elkaar aan moeten sluiten. Het komt regelmatig voor dat ingeschakelde bureaus moeite hebben met de vertaalslag van onderzoeksbevindingen naar (suggesties voor) bestuurlijk bruikbare aanbevelingen.
Voor veel onderzoeksbureaus is het ongebruikelijk deze onderdelen zo scherp te onderscheiden. Maar voor een rekenkamer(commissie) is een globaal beeld, waarin betrokkenen zich herkennen, onvoldoende. Daarom is het noodzakelijk om bureaus die voor de rekenkamer onderzoek uitvoeren vooraf heel goed in te lichten over het typische aan rekenkameronderzoek en ze te instrueren over de wijze van rapporteren.

De rekenkamer(comissie) formuleert de aanbevelingen

De rekenkamer doet zelf de aanbevelingen aan de raad (en /of aan het college). Het onderzoeksbureau kan suggesties voor aanbevelingen doen, die de rekenkamer(commissie) vervolgens kan gebruiken bij het opstellen van de bestuurlijke nota.
Het is zaak dat de rekenkamer voldoende tijd plant voor en aandacht besteedt aan het formuleren van de aanbevelingen.

Vooraf (ambtelijk) toetsen aanbevelingen

Vooral wanneer het om complexe of politiek gevoelige onderwerpen gaat, kan het zinvol zijn mogelijke denkrichtingen voor aanbevelingen vooraf ambtelijk te toetsen.

Voorwaarde is wel, dat er geen wezenlijk verschil van mening meer bestaat over het feitencomplex uit de nota van bevindingen. Tegelijkertijd moet duidelijk zijn dat de rekenkamer het laatste woord heeft over de formulering van de aanbevelingen.
Door aan ambtenaren de vraag voor te leggen wat op basis van de geconstateerde feiten oplossingen zouden kunnen zijn, toets je de uitvoerbaarheid van aanbevelingen. Zo’n overleg werkt alleen wanneer aan de ‘andere’ kant het gevoel bestaat, dat er nog geen uitontwikkeld idee bestaat over aanbevelingen en er dus nog invloed mogelijk is.
Het is ook mogelijk aanbevelingen vooraf te toetsen bij de griffie / griffier op bruikbaarheid voor de raad.

Alternatieven voor een rekenkamerrapport

Het is goed voor aanvang van een onderzoek ook aandacht te hebben voor alternatieve presentatievormen.

Ambtelijk hoor en wederhoor

In de procedure ambtelijk hoor en wederhoor ontvangt de ambtelijke organisatie een overzicht van de door de rekenkamer geconstateerde feiten. De ambtelijk eindverantwoordelijken krijgen de gelegenheid daarop te reageren. Het is hierbij de bedoeling dat bij er de uiteindelijke publicatie, wanneer de rekenkamer(commissie) ook conclusies en aanbevelingen presenteert, geen discussie meer zal ontstaan over de feitelijke (on)juistheid van de bevindingen. Ambtelijk hoor en wederhoor wordt ook van belang geacht voor een goede communicatie tussen ambtelijke organisatie en rekenkamer. Een uitgebreid ambtelijk wederhoor maakt de doorlooptijd van een rekenkamer onderzoek echter wel langer.

Deze procedure van ‘hoor- en wederhoor’ heeft geen wettelijke basis. Het is ontleend aan de praktijk bij de Algemene Rekenkamer.

Tips voor ambtelijk wederhoor

  • Maak onderscheid tussen ambtelijk wederhoor en bestuurlijk wederhoor.
  • Leg aan de betrokken ambtenaren de nota van bevindingen voor, ter controle op de juistheid van de feiten en de interpretatie daarvan (de conclusies).
  • Hanteer een reactietermijn voor wederhoor van ca. 3 à 4 weken.
  • Kondig het wederhoor bij betrokkenen ruim van te voren aan.
  • Spreek af of het ambtelijke wederhoor rechtstreeks met de betrokken ambtenaren plaatsvindt of via een leidinggevende/de gemeentesecretaris.
  • Spreek af wat er bij het ambtelijke wederhoor wordt voorgelegd: alleen de voor de persoon relevante passages of het gehele rapport.
  • Spreek af hoe er wordt omgegaan met aanpassing van het rapport, bijvoorbeeld in de situatie dat een respondent erkent dat hij juist is geciteerd, maar dat het citaat uit zijn verband is gerukt.

Ambitie rekenkamer, missie rekenkamer, positie rekenkamer

Wettelijke doelen lokale rekenkamer

Een lokale rekenkamer moet bijdragen aan een transparanter en doelmatiger lokaal bestuur. Door het doen van onderzoek ondersteunt zij de gemeenteraad bij het uitvoeren van zijn wettelijke kaderstellende, controlerende en volksvertegenwoordigende taken.

De raad formuleert bij het instellen van een lokale rekenkamer of rekenkamercommissie de kaders. De raad legt deze kaders in de regel vast in een verordening. Binnen de kaders vanuit wet en verordening geeft de rekenkamer(commissie) hieraan nadere invulling.
De rekenkamer(commissie) is niet het enige controle-instrument van de gemeenteraad. Ook dit is van belang voor de positionering van de rekenkamer(commissie).

Ambities lokale rekenkamer

De rekenkamer moet open zijn over haar ambitieniveau. De rekenkamer(commissie) moet ook verantwoording afleggen over de mate waarin zij haar doelstellingen bereikt. Het is belangrijk om aan de bevolking, gemeenteraad en college duidelijk te maken wat voor soort rekenkamer(functie) zij kunnen verwachten. Om dit te kunnen bepalen kan de rekenkamer antwoord geven op de volgende vragen:
Wat willen we bereiken?
Wat gaan we daarvoor doen?
En welk soort rekenkamer willen we zijn, resp. welk soort onderzoek willen we doen?

Missie

Als missie zijn allerlei keuzes mogelijk. We zetten hier als hulpmiddel enkele keuzes op een rij door telkens twee tegenstellingen aan te geven. De uiteindelijke keuze van de rekenkamer kan heel wel het midden houden tussen uitersten en een mix zijn van de hier genoemde mogelijkheden.

1 Onderzoek gericht op rechtmatigheid, de kwaliteit van begroting en verantwoording, de centrale Planning en Control cyclus. Onderzoek gericht op doeltreffendheid en/of doelmatigheid van beleid, output en outcome, waar voor je geld.
2 Onderzoek bedoeld om systematisch alle onderdelen van beleid en organisatie af te lopen en ‘dekkend’ te zijn Onderzoek bedoeld om te ‘prikken’ naar voorbeelden waar naar uw mening risico’s zitten in organisatie en/of beleid met de bedoeling dat het college en raad een meer systematische  beoordeling overnemen
3 Een rekenkamer die gericht is op terugkijken en afrekenen met de nadruk op onderzoek en beoordeling van eerder bestuurlijk handelen. Een rekenkamer die op basis van onderzoek en rekening houdend met actualiteit toekomstgericht voorstellen doet voor verbetering van organisatie en beleid.
4 Een rekenkamer die gericht is op incidenten en reactief onderzoek doet na berichten in de pers of verzoeken van (delen van) de raad. Een rekenkamer die zoekt naar structurele oorzaken en tendensen door systematisch onderzoek te doen en regelmatig meta-evaluaties te
publiceren
5 Onderzoek dat vooral intern gericht is op de organisatie en het ambtelijk handelen (van binnen naar buiten denken). Onderzoek dat vooral extern gericht is op effecten en beleidsdoelmatigheid en antwoord geeft op de vraag wat de burger opschiet met het openbaar bestuur (van buiten naar binnen denken).

Visie(document) en positie

De lokale rekenkamer zal daarbij in een missie en in doelstellingen duidelijk moeten maken welke doelen zij wil bereiken. Deze keuzes kunnen in een meerjarig ‘Visiedocument’ bij de raad worden neergelegd. Dit vormt een goede aanleiding om contact te zoeken met de raad, je strategische keuzes in een raad(scommissie) te presenteren en te horen wat voor visie(s) daar leven.

Rekenkameronderzoek is één onderdeel van een breder onderzoeksinstrumentarium dat de gemeenteraad ten dienste staat. Dat is relevant voor de uiteindelijke positiebepaling van de rekenkamer.

  • De controle op het financiële beheer en op de inrichting van de financiële organisatie (artikel 213 van de Gemeentewet) door de accountant. De raad wijst accountants aan die belast worden met de controle van de jaarrekening en daarover een verslag (inclusief rechtmatigheidsoordeel) uitbrengen.
  • 213a-onderzoek: periodiek zelfonderzoek naar de doelmatigheid en de doeltreffendheid van het door hem gevoerde bestuur door het college. (Artikel 213a van de Gemeentewet). De raad stelt bij verordening regels hierover. Het college is op grond van hetzelfde artikel verplicht de rekenkamer(commissie) op de hoogte te stellen van deze onderzoeken en ook verplicht een afschrift van de resultaten aan de raad én aan de rekenkamer(commissie) te sturen.
  • Onderzoek door de raad op grond van artikel 155a-f. Dit is onderzoek naar het door het college of de burgemeester gevoerde beleid. Dat onderzoek wordt uitgevoerd door een onderzoekscommissie bestaande uit raadsleden.

Reglement van orde en / of onderzoeksprotocol

Veel rekenkamer (commissies) hebben inmiddels een reglement van orde en/of onderzoeksprotocol opgesteld, waarin de belangrijkste onderzoekscomponenten bij elkaar zijn gezet: missie, doelen, werkwijze, inrichting en verloop onderzoeksproces, communicatie, publicatie e.a. Zo’n document maakt voor alle belanghebbenden duidelijk hoe de rekenkamer/-commissie opereert en welke verwachtingen daaraan ontleend mogen worden. Ook kan zo’n protocol handig zijn bij het uitbesteden van onderzoek.

Onderzoekprogramma

Tot slot zal de lokale rekenkamer duidelijk moeten maken welke prestaties zij wil leveren om het gestelde doel te bereiken: onderzoek, advies, hoorzittingen, brieven etc. In een onderzoeksprogramma wordt duidelijk gemaakt wat de beoogde prestaties zijn (aantal onderzoeken, onderwerpen die worden onderzocht etc.) die moeten bijdragen aan de doelstellingen.

Betrokkenheid bij onderzoeksproces

Doorwerking is gebaat is bij een goede interactie met de raad / provinciale staten, college / gedeputeerde staten en ambtelijke organisatie. De bedoeling hiervan is om zo flexibel mogelijk te kunnen inspelen op veranderende inzichten, behoeften en wensen. Hier staat tegenover dat een deel van het ‘institutioneel gewicht’ van een rekenkamer wordt bepaald door de onafhankelijkheid. Er is dus een grens aan de interactie.

In het algemeen is het zinvol om zoveel mogelijk belanghebbenden tijdens een zo groot mogelijk deel van het onderzoeksproces te betrekken bij het onderzoek. Deze betrokkenheid vergroot de kans dat het onderzoek ook echt zal worden gebruikt. Meestal vindt de interactie plaats voorafgaand aan en na een onderzoek. Het is aan te bevelen ook in de uitvoeringsfase meer interactiemomenten aan te brengen. Goede communicate en verwachtingenmanagement is bij interactie wel een voorwaarde. De interactie kan als volgt plaatsvinden:

  • Tijdens de voorbereiding: goede afstemming over het werkprogramma, uitwerking vraagstelling en aanpak onderzoek, aansluitend bij behoefte van de doelgroep, niet te veel uitbrengen (verzadigingseffect) en ook niet te weinig (onvoldoende zichtbaar), aansluiting vinden bij alle niveaus in de organisatie. Contact en draagvlakverwerving bij raad / provinciale staten, college / gedeputeerde staten, ambtelijke organistie en (eventueel) het beleidsveld.
  • Tijdens de uitvoering van het onderzoek: organiseren feedback tijdens de uitvoering, vormgeven wijze van structureel contact. Contact en draagvlakverwerving bij raad / provinciale staten, college / gedeputeerde staten, ambtelijke organistie en (eventueel) het beleidsveld.
  • Bij de presentatie en nazorg: organiseren vraagbaakfunctie en feedback. Vormgeven wijze structureel contact. Contact en draagvlakverwerving bij raad / provinciale staten, college / gedeputeerde staten, ambtelijke organistie en (eventueel) het beleidsveld.

Kwaliteit van onderzoek(srapport)

Voor de doorwerking van onderzoek is het van belang dat het onderzoek(srapport) gedegen gedegen in elkaar steekt. Deze technische kwaliteit van onderzoek bestaat onder andere uit de volgende elementen:

  • goed onderwerp (de actualiteit en politieke relevantie van het onderwerp).
  • juiste methoden en technieken (passend bij het type onderwerp, onderzoeksprobleem en de onderzoeksvragen).
  • betrouwbaarheid, geldigheid en controleerbaarheid (onweerlegbare bevindingen).
  • evenwichtige beoordeling.
  • toegesneden op de situatie (lokaal maatwerk).
  • bruikbare, specifieke, beleidsinhoudelijke, concrete en doelgerichte aanbevelingen
  • goed leesbaar.
  • goed vormgegeven.

Belangrijke aandachtspunten voor het bereiken van een goede technische kwaliteit zijn:

  • De mate waarin het normenkader overeenkomt met de visie van raad / provinciale staten en college / gedeputeerde staten.
  • De mate waarin raad / provinciale staten en college / gedeputeerde staten zich kunnen vinden in het onderzoeksonderwerp.
  • De mate waarin de aanbevelingen aansluiten bij (lopende) ontwikkelingen binnen de gemeente.
  • De mate waarin aanbevelingen in verhouding tot staan het huidige beleid . Dat kan een dilemma vormen voor de rekenkamer(commissie). De doorwerking van een aanbeveling  is groter, naarmate het beter aansluit op of maar beperkt afwijkt van het huidige beleid. De kracht van rekenkamer(commissie) is echter ook, dat ze discussie kan uitlokken over de uitgangspunten van beleid.
  • Voorkómen dat je als rekenkamer in een machtstrijd komt met college / gedeputeerde staten, door bijvoorbeeld niet te veel op de stoel van de ambtelijke adviseurs te gaan zitten.
  • Een directe aanleiding voor het onderzoek, die ook politiek en maatschappelijk speelt. Dat ‘gevoel van urgentie’ is idealiter ook nog aanwezig als het rapport uitkomt.
  • Een heldere opdrachtformulering en scherpe onderzoeksbegeleiding (bij uitbesteding van het rekenkameronderzoek).
  • Concrete, korte en bondige aanbevelingen die aansluiten bij de ‘belevingswereld’ van de raadsleden. Wat kunnen zij ermee? Hoe kunnen zij er beter mee sturen, controleren, kaderstellen, etc.?

Lessen en ervaringen met gezamenlijk rekenkameronderzoek

Op 8 februari 2011 is in de Kring Onderzoek van de NVRR het thema ‘gezamenlijk rekenkameronderzoek’ bediscussieerd. In deze notitie worden enkele lessen en ervaringen beschreven voor rekenkamers die gezamenlijk onderzoek willen doen.

Gezamenlijk rekenkameronderzoek

Er komen verschillende typen van gezamenlijk onderzoek voor in rekenkamerland, waaronder:

  • Bij een Doe Mee onderzoek maakt één organisatie (bijv. adviesbureau Necker Van Naem) een onderzoeksplan en kunnen anderen inschrijven om deel te nemen;
  • Rekenkamers spreken af om voor een bepaald onderwerp een samenwerking aan te gaan. De samenwerking is tijdelijk en er is een goede inhoudelijke reden om samen een onderwerp te onderzoeken. Opzet en uitvoering worden samen gedaan;
  • Rekenkamers werken standaard samen. Denk daarbij aan verschillende provinciale rekenkamers, zoals de Randstedelijke Rekenkamer (Noord-Holland, Zuid-Holland, Utrecht en Flevoland). Een ander voorbeeld zijn de rekenkamers van Elburg, Nunspeet, Oldebroek en Putten die samen onderzoeken uitvoeren, en een gezamenlijke externe voorzitter hebben.

Motieven voor samenwerking

Er kunnen verschillende motieven / argumenten zijn om samen te werken, we noemen:

  • Benchmarking: het doel is om een beter beeld te krijgen van de eigen positie, kwaliteit van beleid en uitvoering in vergelijking met anderen;
  • Vergroten leervermogen: de vergelijking biedt mogelijkheden om te leren van anderen. Het leren kan zowel betrekking hebben op het uitvoeren van het rekenkameronderzoek, als op het leren van de beleidsaanpak van verschillende overheden;
  • Bundelen capaciteit en deskundigheid: samenwerking biedt rekenkamers toegang tot elkaars kennis en kunde;
  • Kostenbesparing: overwegingen van efficiëntie kunnen een motief zijn om samen te werken. Uit enkele praktijkervaringen blijkt dat die kostenbesparing vaak niet gehaald wordt. Samenwerking biedt inhoudelijke meerwaarde, maar kost meestal meer tijd.
  • Strategische overweging: een gezamenlijk onderzoek kan een groep van rekenkamers positief in beeld brengen bij bestuur en media.

Samen werken of niet?

Het is verstandig om vooraf na te denken over de verwachte meerwaarde van een gezamenlijk onderzoek. Enkele punten van overweging zijn:

  • is er behoefte bij de raad / staten voor een vergelijking (en dus samenwerking van rekenkamers)?
  • is er bij de rekenkamers een duidelijk gezamenlijk belang?
  • zijn de deelnemende gemeenten vergelijkbaar, of de verschillen te groot?
  • is er voldoende helderheid over het onderzoekskader?
  • is er voldoende toegang tot de benodigde informatie / personen?
  • kan er voldoende betrokkenheid zijn van de rekenkamerleden tijdens het proces?
  • is het duidelijk wat het eindprodukt is, en wat ieders rol is in de afronding / rapportagefase?
  • levert het resultaat voldoende meerwaarde op voor de raad / staten?

Leerpunten

Uit ervaringen met gezamenlijk rekenkameronderzoek zijn de volgende leerpunten te formuleren:

  • Weeg goed af waarom gezamenlijk onderzoek voordelen biedt ten opzichte van zelf doen, houd ook zicht op de nadelen;
  • Breng verwachtingen bij elkaar, en zorg dat de inzet per rekenkamer volstrekt helder is;
  • Werk vanuit een eenduidig onderzoekskader: onderzoeksvraag, wijze van uitvoering, beoogd resultaat, procedures van hoor en wederhoor;
  • Wees flexibel: een gezamenlijk onderzoek kan vragen om alternatieve werkwijzen, procedures, eindprodukten e.d.
  • Zorg voor een competent onderzoeksteam / projectleider (zowel bij eigen uitvoering als bij uitbesteding);
  • Voorkom wachten op ‘traagste’ deelnemer: dus maak realistische planning over informatievoorziening, interviews, analyse, schrijfproces e.d.;
  • Organiseer feedback: zorg ervoor dat de ‘achterban’ van rekenkamerleden op de hoogte blijven van de vorderingen;
  • Maak altijd een inkleuring van bevindingen en aanbevelingen gericht op de eigen gemeente / provincie (raadsleden / statenleden vragen zich altijd af wat kunnen WIJ ervan leren?).

Lees ook: Scorekaart: wel of niet meedoen aan gezamenlijk onderzoek ?

auteur: NVRR Kring Onderzoek 2011 opgesteld door Ronald Hoekstra

Mogelijke bronnen onderwerpen rekenkameronderzoek

Officiële stukken:

  • Raadsstukken en raadsagenda’s.
  • Stukken van B&W (bestuursrapportages evaluatierapporten etc.).
  • De begroting, jaarrekening, voorjaarsnota etc.
  • Stukken van de account zoals tussentijds verslag en managementletter.
  • Commissieagenda’s en notulen.

Andere bronnen:

  • Lokale kranten en wijkbladen.
  • Individuele signalen van raadsleden, ambtenaren en burgers.
  • Het horen van de raad.
  • Overleg met audit-commissie of accountant.
  • Binnenlands bestuur.
  • VNG magazine.
  • Maatschappelijke organisaties.

Monitoring

Voor de effectiviteit van de rekenkamer(commissie) is het van groot belang om de goede onderwerpen op het juiste moment te onderzoeken. Daarom moet de rekenkamer het hele jaar door goed in de gaten houden welke thema’s spelen binnen de gemeente en welke thema’s onderbelicht blijven. Dat vereist een goede monitoring of een goed ontwikkelde ‘antenne’ voor wat er speelt in de gemeente.

Van tijd tot tijd kan er over de onderwerpen die worden bijgehouden een notitie worden gemaakt ter informatie aan de staf, de commissie / de directeur of aan de raad. Daarvoor verzamelt de rekenkamer gedurende het hele jaar informatie uit een mix van verschillende schriftelijke bronnen. Daarnaast kan de rekenkamer gebruik maken van:

Het bijhouden van een groslijst door het jaar heen is nuttig om allerlei onderwerpen te plaatsen en vast te houden. Later kunnen de onderwerpen op deze lijst op meer systematische wijze worden gemonitord op hun eventuele potentie als onderwerp van onderzoek.

Om te weten wat in een gemeente belangrijke mogelijke thema’s zijn moet de rekenkamer (commissie) zich niet alleen door de politiek / bestuurlijke agenda laten leiden, maar ook door de maatschappelijke agenda. Waar in de politiek, maar ook in de maatschappelijke publiciteit, het korte termijn belang nog wel eens erg bepalend wil zijn, behoort het min of meer tot de natuurlijke positie van de rekenkamer om juist gericht aandacht te geven aan de gevolgen van beleid op meer lange termijn.

Normen Goudvink NVRR

Bij de beoordeling van de inzendingen voor de Goudvink van de NVRR wordt een rapport als volgt beoordeeld.

1 Basiskwaliteit rapporten Toelichting
1.1 In het rapport is een beschrijving opgenomen van:
a. Reden onderwerpkeuze;
b. Beschrijving onderzoeksonderwerp;
c. Onderzoeksvragen;
d. Onderzoeksaanpak;
e. Databronnen;
f. Gehanteerde normen;
g. Eventuele beperkingen van het onderzoek.
1.2 De onderzoeksbevindingen zijn onderbouwd met valide en betrouwbare data. De bevindingen geven antwoord op de onderzoeksvragen. De bevindingen zijn terug te leiden naar onderbouwende data. De data voldoen aan de eisen van validiteit en betrouwbaarheid. Validiteit betekent dat de beschreven bevindingen aansluiten bij wat er gemeten is (ofwel: er is gebruik gemaakt van de juiste indicatoren). Een voorbeeld: als je de punctualiteit van het treinverkeer wilt meten, is klanttevredenheid van treinreizigers een minder valide indicator dan het aantal treinen dat jaarlijks te laat vertrekt. Betrouwbaarheid betekent dat de gemeten waarde representatief is voor de werkelijke waarde (de uitkomsten zijn dus niet afhankelijk van ‘toevalligheden’). De betrouwbaarheid van een meting kun je bijvoorbeeld vergroten door een meting een aantal malen te herhalen (onder verschillende omstandigheden) en te middelen. Bevindingen op basis van meerdere bronnen die ook nog eens dezelfde kant op wijzen, wijzen op een hogere betrouwbaarheid.
1.3 De conclusies en oordelen sluiten aan op de bevindingen. Oordelende conclusies zijn gebaseerd op een heldere norm. De conclusies zijn congruent met de bevindingen. Dit wil zeggen dat ze te herleiden zijn tot (valide en betrouwbare) bevindingen. Alle relevante bevindingen (zowel positief als negatief) dienen evenwichtig te zijn meegenomen in de conclusies. Een conclusie bevat geen nieuwe data. Bij oordelende conclusies zijn de bevindingen afgezet tegen een heldere norm (een oordeel moet niet uit de lucht komen vallen). Voorbeeld van een conclusie met een onheldere norm: “Er waren maar weinig projecten die in voldoende mate een bijdrage leverden aan de kwaliteit van de arbeidsverhoudingen” (hoeveel is weinig en wanneer is een bijdrage voldoende? Als hier geen heldere norm voor is, houd de conclusies dan feitelijk en dicht bij de bevindingen: X projecten hadden een bijdrage van Y).
1.4 De aanbevelingen hebben een logische relatie met de oordelen en bevindingen en zijn concreet geformuleerd Aan de aanbevelingen moeten oordelen en bevindingen ten grondslag liggen. Een aanbeveling kan niet haaks staan op een oordeel of bevinding. De aanbevelingen geven antwoord op de WWWHW-vragen: waarom, wie, wat, hoe en wanneer.
1.5 Het rapport is toegankelijk (‘lezersvriendelijk’). Het rapport bevat een heldere structuur en duidelijk taalgebruik.
CONCLUSIE
  • Voldoet het rapport aan de basiskwaliteitseisen?
  • Wat zijn opvallend sterke punten van het rapport?

2 Doorwerking Onderzoek Toelichting
2.1 Wat heeft de rekenkamer(commissie) gedaan om doorwerking van een onderzoek te bevorderen? Open vraag. Antwoorden zoveel mogelijk onderbouwen met ‘bewijsmateriaal’. Enkele voorbeelden waaraan gedacht zou kunnen worden (geen limitatieve opsomming):

  • Het onderzoek sluit aan bij de actualiteit in de gemeenteraad en is politiek relevant;
  • De rekenkamer(commissie) heeft (andere) interventies gepleegd om de doorwerking van het onderzoek te vergroten (denk aan rondetafelgesprekken, workshops, opstellen handreikingen etc.);
  • De vormgeving van het onderzoek is zodanig gekozen dat onderwerp en uitkomsten herkend en geaccepteerd worden, bijvoorbeeld door tussentijds mondeling of schriftelijk overleg te communiceren met de onderzochten en door de onderzochten te betrekken bij de vorming van het normenkader;
  • Het onderzoek besteedt aandacht aan de verschillende (deel)belangen van de actoren (raad, B&W, ambtelijke organisatie, e.a.) op het onderzochte beleidsterrein, bijvoorbeeld door de conclusies en aanbevelingen per actor te benoemen.
2.2 Waaruit blijkt de doorwerking? Open vraag. Antwoorden zoveel mogelijk onderbouwen met ‘bewijsmateriaal’. Enkele voorbeelden waaraan gedacht zou kunnen worden (geen limitatieve opsomming):

  • Het college en/of de ambtelijke organisatie heeft de onderzoeksresultaten gebruikt, bijvoorbeeld bij de formulering/aanpassing van (nieuw) beleid;
  • De gemeenteraad heeft naar aanleiding van het onderzoek vragen gesteld aan het college en/of moties ingediend en aangenomen;
  • De gemeenteraad heeft de aanbevelingen overgenomen;
  • De gemeenteraad heeft het rapport geagendeerd voor raadsbehandeling  (plenair en/of in functionele raadscommissie).

Normenkader

Het normenkader is bepalend (sturend) voor de uitvoering van het onderzoek. Aan de hand van het normenkader moet een oordeel gegeven kunnen worden over de aangetroffen praktijk.

Normen voor rekenkameronderzoeken kunnen grosso modo ontleend worden aan:

  • wet- en regelgeving;
  • beleidsdocumenten, waaronder de programmabegroting;
  • wetenschappelijke en vakliteratuur;
  • professionele inzichten.

Idealiter wordt in eerste instantie vanuit algemene normen  (meestal rechtmatigheid, doelmatigheid, doeltreffendheid, integriteit e.d.) vooraf een globale set normen gespecificeerd al naar gelang het onderwerp.
Gedurende het onderzoek kan – op basis van bijvoorbeeld best practices – verder invulling gegeven worden aan een algemene norm (‘relevante en tijdige informatie is….’).

Voor het verkrijgen van draagvlak en om verwachtingen te managen, kan het zinvol zijn het normenkader vóór de definitieve vaststelling te bespreken met bijvoorbeeld de vakspecialisten, ambtenaren, directie, collegeleden en / of raadsleden. Vooral wanneer het om complexe of politiek gevoelige onderwerpen gaat, is commentaar vooraf nuttig. Het kan voorkómen dat je achteraf ‘nat gaat’. Het commentaar vooraf maakt duidelijk waar mogelijk de zwakke of juist gevoelige plekken in het beoordelingskader zitten.
Afwijzende reacties hoeven geen aanleiding te zijn het normenkader te wijzigen. Wel is dan vooraf duidelijk waar later het commentaar op zal gaan komen. Het effect kan ook positief zijn doordat meer draagvlak onder ambtenaren ontstaat voor het onderzoek en zij de zin ervan zien.
Het kan veel problemen in de eindfase voorkomen door, ook tijdens het onderzoek in contact te blijven over de manier waarop de normen worden gespecificeerd. Totale overeenstemming over normen is niet nodig, maar het is wel raadzaam het standpunt van de ander te kennen. De rekenkamer kan daar dan op inspelen bij de formulering van haar oordelen en aanbevelingen.

Offertetraject

Aangeraden wordt minimaal drie bureaus te benaderen voor het uitbrengen van een offerte. Zeker bij wat meer specialistische onderwerpen, kan het nuttig zijn om via het internet gespecialiseerde bureaus of onderzoeksinstellingen op het spoor te komen. Ook bij andere rekenkamers, die vergelijkbaar onderzoek hebben laten doen, kunnen inlichtingen worden ingewonnen. Ook afdelingen van andere gemeenten kunnen vaak goede suggesties doen. Met name ten aanzien van onderzoek naar ‘inhuur van derden’, ‘grondexploitatie’ en ‘subsidiebeleid’ bestaat inmiddels veel ervaring bij lokale rekenkamers. De databanken van De Lokale Rekenkamer (www.delokalerekenkamer.nl) en de NVRR (www.rekenkamers.nl) bieden toegang tot een groot aantal rapporten.

Stappen offertetraject

Volg in het offertetraject de volgende stappen:

  • Benader kandidaat opdrachtnemers telefonisch met de vraag of ze in principe bereid zijn mee te doen met het offerte traject.
  • Stuur ze vervolgens (per e-mail) het onderzoeksplan toe met het verzoek om op basis daarvan een offerte uit te brengen. Het is raadzaam daarbij ook aan te geven welke elementen op welke wijze in ieder geval in de offerte opgenomen moeten worden. Dit betreft in ieder geval:
  • het toetsingskader dat in het onderzoek wordt gehanteerd. Tussen onderzoeksbureau en rekenkamer(commissie) zal op dit punt volstrekte overeenstemming moeten bestaan;
  • ervaring en deskundigheden in het onderzoeksteam;
  • per persoon uitgesplitst wie voor hoeveel uur wordt ingezet;
  • een opgave door het onderzoeksbureau van opdrachten die (op het onderzoeksterrein) voor dezelfde gemeente zijn of worden uitgevoerd;
  • de eis van terugkoppeling van interview verslagen;
  • de terugkoppelingsmomenten aan de rekenkamer(commissie) (en eventueel aan de raad) en de verwachte bijdrage van de rekenkamer(commissie), bijvoorbeeld door regelmatige voortgangsrapportage aan en periodieke bespreking met de rekenkamer.
  • Geef het onderzoeksbureau informatie over de rekenkamer en wijs op het specifieke karakter van rekenkameronderzoek.
  • Maak meteen duidelijk welke bijdrage van het bureau na afloop van de uitvoering nog wordt verwacht, bijvoorbeeld bij de presentatie van het onderzoeksrapport in de raad(scommissie).
  • Maak na ontvangst van alle offertes een selectie van de bureaus die in principe in aanmerking zouden kunnen komen voor de opdracht. Nodig deze bureaus uit voor een gesprek over de offerte.
  • Laat na het gesprek zo nodig nog een herziene offerte maken en maak tenslotte de keuze op basis van de (herziene) offerte en het gesprek.
  • Plan een evaluatie in met het onderzoeksbureau nadat het rapport is behandeld.

De NVRR heeft een handig sjabloon ter ondersteuning van de offerte aanvraag gepubliceerd.

Keuze voor een externe onderzoeker

Op basis van de offertes en de mondelinge toelichting kan de keuze voor een bureau worden gemaakt. Alhoewel er allerhande criteria zijn waaraan offertes kunnen worden beoordeeld, gaat het uiteindelijk toch vooral om het vertrouwen bij de opdrachtgever dat de opdrachtnemer echt in staat is dat onderzoek uit te voeren.

Belangrijke (hulp) criteria zijn:

  • kennis en ervaring van de onderzoeker(s);
  • de mate waarin zij blijk geven uw onderzoeksvragen te begrijpen en van een antwoord te kunnen voorzien;
  • ingewonnen referenties;
  • uw geloof in een goede invulling van de opdracht;
  • en natuurlijk ook: een goede prijs/kwaliteitverhouding van het onderzoek.

Hanteer eigen leveringsvoorwaarden

Let ook op de leveringsvoorwaarden. De meeste bureaus brengen u offerte uit op basis van hun eigen leveringsvoorwaarden, en soms willen die nog wel eens erg beschermend zijn voor het bureau zelf. Daarom is het verstandig dat de rekenkamer(commissie) haar eigen voorwaarden hanteert. Het bureau dat het onderzoek gaat uitvoeren wordt gevraagd daarmee akkoord te gaan.  De voorwaarden van de externe partij worden vervolgens expliciet uitgesloten in de opdrachtbrief.

Specifieke rekenkamerbepalingen in het contract

Specifieke rekenkamerbepalingen in het contract zijn bepalingen ten aanzien van:

  • Kosten voor meerwerk (m.n. als gevolg van hoor -wederhoor, vragen uit de raad etc.);
  • Vertrouwelijkheid;
  • Toegang tot gegevens;
  • Eigendom van rapporten;
  • Het eigendom van stukken/dossiers;
  • De omgang met citaten en verslagen;
  • Public relations (woordvoerderschap)
  • De wijze waarop het extern bureau in het onderzoeksrapport wordt vermeld,  bijvoorbeeld:
    • rapport in huisstijl extern bureau;
    • rapport met logo extern bureau en rekenkamer;
    • rapport in huisstijl rekenkamer met vermelding van bureau.

Afstemming tussen raad en rekenkamer(commissie)

De wetgever wil eigenlijk dat de rekenkamer afstemt met de raad, maar ook onafhankelijk is in de keuze en aanpak van onderzoek. Deze twee beginselen lijken elkaar uit te sluiten.

Deze tegenstelling kan mogelijk opgelost worden door:

  1. in de verordening procedureafspraken vast te leggen over de momenten en de wijze waarop de raad wordt betrokken bij de onderwerpkeuze, en
  2. de raad op de te hoogte houden van het verloop van de onderzoeken.

Op deze manier kan een rekenkamer(commissie) zowel klantgericht als onafhankelijk functioneren. De eindverantwoordelijkheid blijft daarbij bij de rekenkamer(commissie) zelf.

Vast bespreekpunt met de raad

Het punt ‘rekenkameraangelegenheden’ kan een vast agendapunt zijn op de agenda van de raadscommissie, die het aanspreekpunt is voor de rekenkamer(commissie). Vertegenwoordigers van de rekenkamer(commissie) kunnen dan de lopende zaken toelichten. In de praktijk zijn er veel manieren om tussentijds in overleg te treden over de voortgang en /of voorlopige bevindingen.

Grenzen aan invloed raad op onderzoek rekenkamer(commissie)

Het komt soms voor dat rekenkamer(comissie)s kiezen voor constructies, waarbij de raad bepaalt wat de rekenkamer(commissie) onderzoekt. De achterliggende gedachte hierbij is dat de rekenkamer(commissie) als taak heeft de controlerende functie van de raad te versterken. Het lijkt daarom logisch, dat de raad invloed heeft op het onderzoeksprogramma. In de praktijk verloopt dit vaak soepel. En in een overgangssituatie kan deze praktijk bijdragen aan het versterken van de controlerende functie van de raad. Het is echter voor de langere termijn niet wat de wetgever heeft beoogd.