Monitoring and control in US federal government

Transcription

Steunpunt Bestuurlijke Organisatie in Vlaanderen
Spoor Financiën & Monitoring
Internationale trends in prestatiemeting bij de overheid
Miekatrien STERCK
Prof. Dr. Geert BOUCKAERT
2003
D/2004/10106/023
algemeen secretariaat - steunpunt beleidsrelevant onderzoek
bestuurlijke organisatie vlaanderen
E. VAN EVENSTRAAT 2 C - B-3000 LEUVEN – BELGIE
Tel: 0032 16 32 36 10 - Fax: 0032 16 32 36 11 - E-mail: sbov@soc.kuleuven.ac.be
www.steunpuntbov.be
Inhoudsopgave
Inhoudsopgave
1.
INLEIDING.................................................................................................................................. 11
1.1.
Situering van het onderzoek................................................................................................ 11
1.2.
Methodologie......................................................................................................................... 12
1.3.
Beschrijvende variabelen..................................................................................................... 12
1.3.1.
Initiatieven tot prestatiemeting ......................................................................................... 12
1.3.2.
Actoren betrokken bij prestatiemeting ............................................................................. 13
1.3.3.
Proces van prestatiemeting ............................................................................................. 13
1.3.4.
Wet- en regelgeving met betrekking tot prestatiemeting ................................................. 14
1.3.5.
Rapportering van prestatiegegevens............................................................................... 14
1.3.6.
Focus van prestatiemeting: wat wordt er gemeten?........................................................ 14
1.3.7.
Audit en kwaliteitscontrole ............................................................................................... 15
1.3.8.
Gebruik van prestatiegegevens ....................................................................................... 17
1.4.
2.
Structuur van het rapport..................................................................................................... 18
PRESTATIEMETING IN DE AUSTRALISCHE FEDERALE OVERHEID ................................. 19
2.1.
Historisch overzicht van de hervormingen ........................................................................ 19
2.2.
Actoren betrokken bij de hervormingen............................................................................. 21
2.3.
Proces van prestatiemeting ................................................................................................. 22
2.4.
Richtlijnen voor prestatiemeting ......................................................................................... 23
2.4.1.
Criteria voor goede indicatoren........................................................................................ 23
2.4.2.
Criteria voor performance management.......................................................................... 24
2.5.
Rapportering van de prestatiegegevens ............................................................................ 25
2.5.1.
Outcome Statements: maatschappelijke effecten op portfolioniveau.............................. 25
2.5.2.
Portfolio Budget Statements: outputs en administered items op portfolioniveau ........... 26
2.5.3.
Agency Annual Reports ................................................................................................... 26
2.6.
Focus van de prestatiegegevens: Wat wordt er gemeten? .............................................. 27
2.7.
Audit en kwaliteitscontrole van de prestatiegegevens .................................................... 28
2.8.
Gebruik van prestatiemeting ............................................................................................... 29
2.8.1.
Financiële cyclus: outcome budgeting............................................................................. 31
2.8.2.
Beleids- en beheerscyclus............................................................................................... 31
2.8.3.
Sturing en verantwoording............................................................................................... 32
3.
PERFORMANCE MANAGEMENT IN CANADIAN FEDERAL GOVERNMENT ...................... 33
3.1.
History and objectives of performance management reforms ........................................ 33
3.2.
Actors involved in performance management................................................................... 34
3.2.1.
Treasury Board Secretariat (TBS) ................................................................................... 35
3
3.2.2.
Statistics Canada............................................................................................................. 36
3.2.3.
Standing Committee on Government Operations and Estimates.................................... 36
3.3.
Guidelines for monitoring and control ............................................................................... 37
3.4.
Reporting performance information ................................................................................... 38
3.4.1.
Departmental Performance Report.................................................................................. 38
3.4.2.
Example: Natural Resources Canada ............................................................................. 40
3.4.3.
Government-wide performance reporting........................................................................ 41
3.5.
Focus of monitoring: what is measured? .......................................................................... 42
3.6.
Quality control and audit of performance information ..................................................... 43
3.7.
Use of performance information ......................................................................................... 44
3.7.1.
Financial cycle ................................................................................................................. 44
3.7.2.
Policy and management cycle ......................................................................................... 45
3.7.3.
Accountability to parliament............................................................................................. 45
4.
PERFORMANCE MANAGEMENT IN THE NETHERLANDS ................................................... 46
4.1.
History and objectives of reform......................................................................................... 46
4.2.
Actors involved in performance management reform ...................................................... 47
4.2.1.
Ministry of Finance, Division for Policy Instrumentation and Policy Evaluation .............. 47
4.2.2.
Central Bureau of Statistics (CBS) .................................................................................. 47
4.2.3.
Audit Court (Algemene Rekenkamer).............................................................................. 47
4.3.
Process of performance management ............................................................................... 48
4.4.
Guidelines for performance management.......................................................................... 48
4.5.
4.5.1.
Departmental level .......................................................................................................... 50
4.5.2.
Government-wide level .................................................................................................... 51
4.6.
Focus of performance measurement: what is measured?............................................... 51
4.7.
Quality control and audit of performance information ..................................................... 52
4.8.
4.8.1.
Financial cycle: outcome budgeting ................................................................................ 53
4.8.2.
Policy and management cycle ......................................................................................... 54
4.8.3.
Accountability................................................................................................................... 54
5.
PERFORMANCE MANAGEMENT IN SWEDEN....................................................................... 55
5.1.
History and objectives of performance management reforms ........................................ 55
5.2.
Actors involved in performance management reforms .................................................... 57
5.2.1.
Ministry of Finance and Swedish National Financial Management Authority (ESV) ....... 57
5.2.2.
Office of Public Management (Statskontoret).................................................................. 58
5.2.3.
National Council for Quality and Development................................................................ 58
4
Inhoudsopgave
5.2.4.
Statistics Sweden ............................................................................................................ 59
5.2.5.
Ministries.......................................................................................................................... 59
5.2.6.
Agencies .......................................................................................................................... 60
5.2.7.
Agencies with a specific monitoring and evaluation task ................................................ 60
5.2.8.
Swedish National Audit Office (Riksrevisionsverket)....................................................... 61
5.3.
Process of performance planning and reporting .............................................................. 61
5.4.
5.5.
5.5.1.
Instruction Letter (Regleringsbrev) .................................................................................. 62
5.5.2.
Annual Report .................................................................................................................. 63
5.5.3.
Performance dialogue...................................................................................................... 64
5.5.4.
Financial benchmarking................................................................................................... 64
5.5.5.
Official Statistics and the Statistical Yearbook of Sweden .............................................. 65
5.6.
Focus of performance measurement: what is measured?............................................... 65
5.7.
Audit and quality control of performance information ..................................................... 66
5.8.
5.8.1.
Steering and controlling agencies.................................................................................... 68
5.8.2.
Budget Process ............................................................................................................... 69
5.8.3.
Communication to citizens............................................................................................... 70
6.
PRESTATIEMETING IN HET VERENIGD KONINKRIJK ......................................................... 73
6.1.
Historisch overzicht van de hervormingen ........................................................................ 73
6.2.
Actoren betrokken bij de initiatieven tot prestatiemeting ................................................ 75
6.3.
Proces van prestatiemeting ................................................................................................. 77
6.4.
Richtlijnen voor prestatiemeting ......................................................................................... 79
6.4.1.
Criteria voor goede prestatiemeetsystemen.................................................................... 79
6.4.2.
Criteria voor goede indicatoren........................................................................................ 80
6.5.
Rapportering van de prestatiegegevens ............................................................................ 80
6.5.1.
Public Service Agreements.............................................................................................. 81
6.5.2.
Service Delivery Agreements .......................................................................................... 82
6.5.3.
Delivery Plans and Delivery Reports ............................................................................... 82
6.5.4.
Spring Departmental Report ............................................................................................ 82
6.5.5.
Departmental Annual Report and Accounts .................................................................... 82
6.6.
Focus van de prestatiegegevens: wat wordt er gemeten?............................................... 85
6.7.
Audit en kwaliteitscontrole van prestatiegegevens .......................................................... 86
6.8.
Gebruik van de prestatiegegevens ..................................................................................... 87
6.8.1.
Gebruik in de financiële cyclus: Spending Review .......................................................... 87
6.8.2.
Gebruik in de beleidsen beheerscyclus: business planning.......................................... 88
5
6.8.3.
7.
Gebruik in sturing en verantwoording.............................................................................. 89
PERFORMANCE MANAGEMENT IN THE UNITED STATES FEDERAL GOVERNMENT .... 93
7.1.
History and objectives of performance management reform .......................................... 93
7.2.
Actors involved in performance management................................................................... 95
7.2.1.
Office of Management and Budget (OMB) ...................................................................... 95
7.2.2.
Principal Statistical Agencies........................................................................................... 96
7.2.3.
Federal Committee on Statistical Methodology ............................................................... 97
7.2.4.
General Accounting Office (GAO) ................................................................................... 97
7.3.
Process of performance management ............................................................................... 98
7.4.
7.5.
Performance reporting ....................................................................................................... 100
7.6.
Focus of performance measurement: what is measured?............................................. 102
7.6.1.
Outcome and output measures ..................................................................................... 102
7.6.2.
Human Capital Assessment and Accountability Framework......................................... 102
7.6.3.
Common Performance Measures.................................................................................. 103
7.7.
Audit and quality control of performance information ................................................... 103
7.8.
Use of performance information ....................................................................................... 104
7.8.1.
Budgetary decision making............................................................................................ 104
7.8.2.
Internal management..................................................................................................... 105
7.8.3.
Congressional oversight ................................................................................................ 106
8.
CONCLUSIE: INTERNATIONALE TRENDS IN PRESTATIEMETING .................................. 109
8.1.
Initiatieven tot prestatiemeting: vormen van verandering ............................................. 109
8.2.
Actoren betrokken bij de hervormingen........................................................................... 110
8.3.
Proces van prestatiemeting ............................................................................................... 112
8.4.
Wetgeving, regelgeving en richtlijnen .............................................................................. 113
8.5.
Rapportering van prestatiegegevens................................................................................ 114
8.6.
Focus van prestatiemeting: wat wordt er gemeten?....................................................... 116
8.7.
Audit en kwaliteitscontrole van prestatiegegevens ........................................................ 118
8.8.
Gebruik van prestatiegegevens......................................................................................... 119
8.9.
Verband tussen prestatiemeting en boekhoudsystemen............................................... 121
8.9.1.
Functies van boekhouding en prestatiemeting .............................................................. 122
8.9.2.
Procedures van boekhouding en prestatiemeting ......................................................... 123
8.9.3.
Formattering van boekhouding en prestatiemeting ....................................................... 125
8.10.
Overzichtstabellen van het internationaal vergelijkend onderzoek naar
prestatiemeting .............................................................................................................................. 128
6
Lijst met tabellen
Lijst met tabellen
Tabel 1-1: Operationalisering van de beschrijvende parameters in een set van variabelen voor de
vergelijking van initiatieven tot prestatiemeting. ............................................................................ 12
Tabel 1-2: Criteria voor goede indicatoren. ........................................................................................... 16
Tabel 1-3: Positionering van de meetsystemen in functie van de drie systeemdimensies .................. 17
Tabel 2-1: Evolutie van initiatieven tot prestatiemeting in de Commonwealth of Australia................... 19
Tabel 2-2: Actoren betrokken bij de initiatieven tot prestatiemeting in de Australische Commonwealth
....................................................................................................................................................... 21
Tabel 2-3: Proces van prestatiemeting in de Australische Commonwealth.......................................... 22
Tabel 2-4:Criteria voor performance management. .............................................................................. 24
Tabel 2-5: Classificatie van resultaatgerichte hervormingen naar de functies die ze vervullen ........... 30
Tabel 2-6: Gebruik van prestatiegegevens in de Commonwealth of Australia ..................................... 30
Tabel 2-7: Structuur en inhoud van de begrotingsdocumenten in de Commonwealth of Australia . .. 31
Table 3-1: History and objectives of performance management reforms in Canada............................ 33
Table 3-2: Criteria used in the assessment of the fairness and reliability of performance information. 38
Table 3-3: Structure of departmental performance reports. .................................................................. 38
Table 3-4: Natural Resources Canada Actual Expenditures by Strategic Outcomes and Activities..... 41
Table 3-5: Quality of Life Indicators....................................................................................................... 42
Table 4-1: History and objectives of performance measurement reforms in the Netherlands.............. 47
Table 4-2: Share of input-, activity-, output- and outcome measures in 2002 departmental budgets. . 52
Table 5-1: History of public sector reforms relevant for performance management in Sweden. .......... 57
Table 5-2: Budget process and reporting process in Sweden .............................................................. 61
Table 5-3: ESV assessment of the agencies financial management systems...................................... 65
Table 5-4: Use of performance information in decision-making in Sweden.......................................... 68
Table 5-5: Number of retrievals from Sweden’s statistical databases by subject area......................... 70
Tabel 6-1: Overzicht van de initiatieven tot prestatiemeting in het Verenigd Koninkrijk. ...................... 74
Tabel 6-2: Actoren betrokken bij de initiatieven tot prestatiemeting ..................................................... 75
Tabel 6-3: Actoren betrokken bij het proces van prestatiemeting ......................................................... 78
Tabel 6-4: Department of Education: Statement of Resources by Aims and Objectives...................... 85
Tabel 6-5: Verdeling van indicatoren in de Public Service Agreements ............................................... 85
Tabel 6-6: Structuur van de begroting van het Department of Education and Skills 2003-2004. ......... 88
Table 7-1: History and objectives of performance management reform in the United States. ............. 93
Table 7-2: President’s Management Agenda Scorecards in July 2001 and September 2003 ............ 95
Table 7-3: Principle statistical agencies: budget and work force. ......................................................... 96
Table 7-4: Percentage of federal managers reporting having specific types of performance measures
to a great or very great extent ..................................................................................................... 102
Table 7-5: Examples of Common performance measures................................................................. 103
Table 7-6: Use of performance information in decision-making in the United States. ....................... 104
Table 7-7: Evolution in the agency climate and the use of performance information in federal agencies
..................................................................................................................................................... 105
Table 7-8: Percentage of Federal Managers who reported having outcome measures to a great or
very great extent.......................................................................................................................... 108
Table 7-9: Percentage of Federal Managers who reported having output measures to a great or very
great extent.................................................................................................................................. 108
Tabel 8-1: Overzicht van nationale statistiekinstellingen. ................................................................... 112
Tabel 8-2: Criteria voor goede indicatoren, prestatiemeetsystemen en rapportering. ........................ 119
Tabel 8-3: Vergelijking boekhoudsystemen met prestatiemeetsystemen........................................... 122
7
Lijst met figuren
Lijst met figuren
Figuur 1-1: Concept en timing van het onderzoek naar de modernisering van de beleidsen
beheerscyclus en de financiële cyclus. ......................................................................................... 11
Figuur 1-2: Analytisch schema van de doelmatigheidsanalyse ............................................................ 15
Figuur 1-3: Dimensies voor de evaluatie van een meetsysteem. ........................................................ 17
Figure 3-1: Average score on reporting principles for 2001 and 2002.................................................. 39
Figuur 3-2: Assessments of Departmental Performance Reports 2002. .............................................. 40
Figure 3-3: Model for rating performance reports ................................................................................. 44
Figure 4-1: Step-by-step process of policy planning and performance measurement ......................... 50
Figuur 6-1: Proces van performance management............................................................................... 77
Figuur 6-2: Plannings- en rapporteringscyclus in het Verenigd Koninkrijk............................................ 81
Figure 6-3: Business planning model .................................................................................................... 88
Figure 7-1: The US federal government performance management process....................................... 98
Figuur 8-1: Cyclus van planning en rapportering volgens het Kaderdecreet Bestuurlijk Beleid en het
Ontwerp van Comptabiliteitsdecreet. .......................................................................................... 116
9
Inleiding
1. Inleiding
1.1.
Situering van het onderzoek
De internationale vergelijking van initiatieven tot prestatiemeting situeert zich in een vijfjarig onderzoek
binnen het Steunpunt Bestuurlijke Organisatie Vlaanderen naar de modernisering van de beleidsen
beheerscyclus en de financiële cyclus. Deze studie beoogt verschillende doelstellingen. Ten eerste
wordt er een internationale vergelijking gemaakt van hervormingen in de beleidsen beheerscyclus
zoals
de
invoering
van
strategische
beleidsevaluatie en performance audits.
planning
en
prestatiebegrotingen,
prestatiemeting,
Nadat deze hervormingen in kaart gebracht zijn, wordt
gezocht naar verklaringen voor het al dan niet slagen van deze veranderingen. Welke faal- en
succesfactoren kunnen we formuleren voor de implementatie van resultaatgerichte hervormingen bij
de overheid? Tenslotte kan het beschrijvend en verklarend onderzoek een inspiratiebron vormen om
de Vlaamse situatie te interpreteren. Hoe kunnen we de buitenlandse beleidsen beheerspraktijken
vertalen naar Vlaanderen? De finale doelstelling van dit onderzoek is dus op basis van
wetenschappelijke bevindingen aanbevelingen te formuleren voor het Vlaamse moderniseringsproces.
Nadat in 2002 een internationale vergelijking werd gemaakt van initiatieven met betrekking tot
strategische planning en prestatiebegrotingen, kwam in 2003 de opvolging van het beleid en het
beheer aan bod. Tegelijkertijd werd ook een inventarisatie gemaakt van boekhoudhervormingen
(Scheers & Bouckaert, 2003). De verschillende componenten van de beleidsen beheerscyclus en de
financiële cyclus worden beschreven en vergeleken aan de hand van drie parameters: functies,
procedures en formatteringen. De volgende figuur illustreert het onderzoeksconcept.
planning
begroting
F
2002
I
II
2003
F
P
III
I
P
monitoring
boekhouding
F
I
F
P
I
P
I
audit
2004
F
I
P
financiële cyclus
evaluatie
F
I
P
beleidsen
beheerscyclus
Figuur 1-1: Concept en timing van het onderzoek naar de modernisering van de beleidsen beheerscyclus en de financiële
cyclus.
11
Het onderzoeksprogramma voor 2003 betreft de volgende drie onderzoeksvragen:
I. Welke zijn de functies, procedures en formatteringen van prestatiemeetsystemen en in welke
mate zijn ze afgestemd?
II. Welke zijn de functies, procedures en formatteringen van boekhoudsystemen en in welke mate
zijn ze afgestemd? (zie rapport: Internationale trends in de modernisering van de
overheidsboekhouding) (Scheers & Bouckaert, 2003).
III. In welke mate zijn de functies, procedures en formattering van de boekhoudsystemen en de
prestatiemeetsystemen afgestemd?
1.2.
Methodologie
Het vergelijkend onderzoek naar prestatiemeting gebruikt de methodologie van een multiple case
study. Het onderzoeksobject van deze studie beslaat de regeringswijde initiatieven tot prestatiemeting
binnen de centrale of federale overheid in 6 OESO landen (Australië, Canada, Nederland, Zweden,
Verenigd Koninkrijk en de Verenigde Staten). Deze landen werden geselecteerd omdat zij reeds een
lange
traditie
hebben
inzake
prestatiemeting.
We
maken
gebruik
van
kwalitatieve
onderzoeksmethoden zoals de literatuurstudie van primaire en secundaire documenten en interviews
met ambtenaren betrokken bij de hervormingen.
1.3.
Beschrijvende variabelen
De beschrijving van de hervormingen van de beleidsen beheerscyclus gebeurt aan de hand van drie
parameters: de functies, de procedures en de formattering van het systeem. Voor het onderzoek naar
prestatiemeting, werden deze parameters verder geoperationaliseerd in een aantal beschrijvende
variabelen. Deze set van variabelen is gebaseerd op deze gebruikt in het onderzoek naar
prestatiemeting van Bouckaert, Hoet en Ulens en wordt in de volgende paragrafen verder toegelicht
(Bouckaert, Hoet & Ulens, 2000: 312-313). De volgende tabel geeft een overzicht van de set van
variabelen die gebruikt worden in de multiple case study.
Functies
Procedures
Formattering
Initiatieven met betrekking tot prestatiemeting
Gebruik van prestatiegegevens
Actoren betrokken bij prestatiemeting: wie meet?
Proces van prestatiemeting
Wetgeving en regelgeving met betrekking tot prestatiemeting
Audit en kwaliteitscontrole van prestatiegegevens
Rapportering van prestatiegegevens
Focus van prestatiemeting: wat wordt er gemeten?
Tabel 1-1: Operationalisering van de beschrijvende parameters in een set van variabelen voor de vergelijking van initiatieven tot
prestatiemeting.
1.3.1. Initiatieven tot prestatiemeting
Om aan te vangen maken we een inventarisatie van de belangrijkste initiatieven met betrekking tot
prestatiemeting. Hierbij wordt gefocust op regeringswijde hervormingen binnen de centrale overheid.
12
Inleiding
Er wordt een overzicht gegeven van de historiek en de centrale doelstellingen van de veranderingen.
In dit inleidende onderdeel worden de volgende vragen beantwoord:
-
Welke zijn de belangrijkste initiatieven met betrekking tot prestatiemeting? Welke hervormingen
gingen hieraan vooraf?
-
Wat zijn de doelstellingen van de hervormingen?
-
Hoe verhouden de initiatieven zich tot andere moderniseringsprojecten?
1.3.2. Actoren betrokken bij prestatiemeting
Ten tweede wordt per land nagegaan welke actoren betrokken zijn bij de initiatieven rond
prestatiemeting. Er zijn verschillende verantwoordelijkheden te onderscheiden: de voorbereiding,
ontwikkeling, uitvoering en evaluatie van algemeen beleid met betrekking tot prestatiemeting enerzijds
en met betrekking tot het statistiekbeleid anderzijds.
Hierbij kunnen dus zeer veel verscheiden
actoren betrokken zijn. In het onderdeel “Actoren betrokken bij prestatiemeting” zullen de volgende
vragen beantwoord worden:
-
Welke actoren zijn verantwoordelijk voor de voorbereiding, ontwikkeling en uitvoering van het
algemeen beleid rond prestatiemeting?
-
In welke mate is het beleid rond prestatiemeting gedecentraliseerd? Welke rol spelen
departementen en agentschappen in het proces van prestatiemeting?
-
Welke
rol
spelen
externe
actoren,
zoals
parlementaire
commissies,
rekenkamers,
beroepsgroepen, andere overheden,… in het beleid rond prestatiemeting?
-
Welke actoren zijn verantwoordelijk voor de voorbereiding, ontwikkeling en evaluatie van het
algemene statistiekbeleid?
1.3.3. Proces van prestatiemeting
Het proces van prestatiemeting bestaat uit verschillende fasen. We kunnen de volgende basisstappen
onderscheiden in het proces van prestatiemeting (Hatry, 1999):
-
Missie, doelstellingen en de doelgroep van het programma definiëren.
-
Outcomes en outputs formuleren
-
Outcome indicatoren en outputindicatoren ontwikkelen
-
Dataverzameling
-
Verwerking van gegevens, bijvoorbeeld uitsplitsingen en vergelijkingen
-
Analyse en rapportering van prestatiegegevens
-
Het proces van prestatiemeting staat niet op zich. Het is ingebed in de beleidsen beheerscyclus van
de organisatie en mogelijks ook in de contractcyclus en de financiële cyclus. In de analyse van het
proces van prestatiemeting in de selectie van OESO-landen komen de volgende vragen aan bod:
-
Hoe verloopt het proces van prestatiemeting? Welke verschillende fasen worden in dit proces
onderscheiden?
-
In welke mate is het proces van prestatiemeting ingebed in de beleidsen beheerscyclus?
13
-
In welke mate is het proces van prestatiemeting ingebed in de financiële cyclus?
-
In welke mate is het proces van prestatiemeting ingebed in de contractcyclus?
1.3.4. Wet- en regelgeving met betrekking tot prestatiemeting
Ten vierde zullen we nagaan in welke mate de hervormingen verankerd zijn in weten regelgeving.
Het is niet enkel van belang te weten of er een wettelijke of regelgevende basis is voor
prestatiemeting, maar ook hoe concreet de vereisten voor prestatiemeting zijn vastgelegd. De graad
van detail van de weten regelgeving kan variëren van de algemene vereiste van beleidsen
beheersopvolging en de verantwoordelijkheid hiervoor tot specifieke criteria voor prestatiemeting en –
rapportering. Om de weten regelgeving met betrekking tot prestatiemeting te beschrijven,
beantwoorden we de volgende vragen:
-
Zijn de initiatieven met betrekking tot prestatiemeting wettelijk verankerd?
-
Welke regelgeving bestaat er met betrekking tot prestatiemeting?
-
Welke handleidingen bestaan er voor prestatiemeting?
-
Zijn er criteria voor goede prestatiemeetsystemen en goede indicatoren geformuleerd?
1.3.5. Rapportering van prestatiegegevens
Nadat de data verzameld, geanalyseerd en verwerkt zijn, worden ze gerapporteerd. De rapportage
van prestatiegegevens kan variëren naargelang het document waarin ze gerapporteerd worden, de
frequentie van rapportering en de openbaarheid van de rapportering. Bij de beschrijving van de
rapportering van prestatiegegevens komen de volgende vragen aan bod:
-
In welke documenten worden de prestatiegegevens gerapporteerd?
-
Op welk niveau worden de prestatiegegevens gerapporteerd (organisatieniveau? niveau van het
beleidsdomein? regeringswijd niveau?)
-
Aan wie worden de prestatiegegevens gerapporteerd? Zijn ze publiek toegankelijk?
-
Met welke frequentie worden de prestatiegegevens gerapporteerd?
-
Worden de financiële en niet-financiële gegevens geïntegreerd of apart gerapporteerd? In welke
mate wordt het verband gelegd tussen de financiële en de niet-financiële gegevens?
1.3.6. Focus van prestatiemeting: wat wordt er gemeten?
Wat is de focus van de prestatiemeetsystemen die ontwikkeld worden? Welke verschillende
indicatoren worden gemeten? Er kunnen indicatoren ontwikkeld worden voor het ganse spectrum van
middelen, activiteiten, prestaties en effecten. Hierbij dient een onderscheid gemaakt te worden tussen
enkelvoudige grootheden (middelen, activiteiten, prestaties en effecten) en samengestelde
grootheden (efficiëntie, effectiviteit en kosteneffectiviteit). De indicatoren worden gehecht aan een
hiërarchie of cascade van doelstellingen. De onderstaande figuur geeft weer hoe de verschillende
14
Inleiding
indicatoren van het MAPE-spectrum geplaatst kunnen worden ten opzichte van de doelstellingen van
de overheid, de financiële beleidsruimte en de maatschappelijke behoeften.
financiële
beleidsruimte
behoeften
strategische doelstellingen
operationele doelstellingen
effectiviteit
middelen
activiteiten
prestaties
effecten
efficiëntie
kosteneffectiviteit
omgeving
zuinigheid
Figuur 1-2: Analytisch schema van de doelmatigheidsanalyse (Bouckaert, Van Reeth, Auwers & Verhoest, 1997:39)
In het internationaal vergelijkend onderzoek wordt de focus van prestatiemeting onderzocht aan de
hand van de volgende vragen:
-
Binnen welke hiërarchie van doelstellingen worden de indicatoren gesitueerd?
-
In welke mate worden er middelen, activiteiten, prestaties of effecten gemeten en gerapporteerd in
de jaarverslagen?
-
Worden er ook samengestelde grootheden zoals efficiëntie, effectiviteit en kosteneffectiviteit
gemeten en gerapporteerd in de jaarverslagen?
-
In welke mate is er een kloof tussen wat is voorgeschreven in weten regelgeving en wat er
daadwerkelijk gemeten en gerapporteerd wordt?
1.3.7. Audit en kwaliteitscontrole
Om een prestatiemeetsysteem te kunnen gebruiken als instrument in de financiële cyclus, de beleidsen beheerscyclus en de contractcyclus is het van cruciaal belang dat de prestatiegegevens van een
goede kwaliteit zijn. Dit kan gegarandeerd worden door de invoering van kwaliteitscontroles en audits.
De audit van prestatiegegevens kan enerzijds gezien worden als een onderdeel van de performance
audit of het doelmatigheidsonderzoek dat nagaat of de
efficiënte en effectieve wijze worden benut.
toegewezen middelen op een zuinige,
Barzelay daarentegen beschouwt de audit van
15
prestatiegegevens als een apart type van audit (Barzelay, 1997). De methodologie van de audit van
prestatiegegevens lijkt sterk op deze van de financiële audit, maar toch zijn er een aantal belangrijke
verschilpunten zoals het niet zuiver kwantitatief karakter van prestatiegegevens, het belang van
interpretatie, de onzekerheid over de kwaliteit van externe bronnen en het gebrek aan algemeen
aanvaarde standaarden voor prestatierapportering.
We zullen de audit en kwaliteitscontrole van prestatiegegevens vergelijken in de 6 OESO-landen aan
de hand van de volgende vragen:
-
Welke actoren zijn betrokken bij de audit en kwaliteitscontrole van prestatiegegevens?
-
Is er een statutaire bevoegdheid om prestatiegegevens te auditen? Behoort de audit van
prestatiegegevens tot de bevoegdheid om performance audits uit te voeren?
-
Gebeurt de audit en kwaliteitscontrole van prestatiegegevens systematisch of eerder ad hoc?
-
Wat is het onderzoeksobject van de audit (indicatoren? prestatiemeetsystemen? rapportage van
prestatiegegevens?)
Voor prestatiemeting bestaan er tot op heden geen internationaal aanvaarde standaarden zoals dat
wel het geval is voor boekhouding en audit. Het is belangrijk een onderscheid te maken tussen criteria
voor goede prestatiemeetsystemen enerzijds en criteria voor goede indicatoren anderzijds. Bouckaert
maakte een inventarisatie van de verschillende criteria voor goede indicatoren die in de literatuur
gebruikt worden.
Criterium
Meetbaar
Uniform over de tijd
Beschikbaarheid van gegevens
Accuraatheid
Begrijpbaar
Omvattend
Congruent met andere gegevens
Reproduceerbaar
Objectief
Keuzevrijheid
Tastbaar
Homogeen
Controleerbaar
Kost van de datacollectie
Directheid van de meting
Uniek, mutueel exclusief
Definieert proceskarakteristieken
Definieert kwaliteitskarakteristieken
Missiegeoriënteerd
Ontraadt ongewenst gedrag
Usilaner &
Soniat
X
X
X
Hatry
Van de Kar
X
X
X
X
X
X
X
X
X
X
X
X
X
X
Hurst
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
Tabel 1-2: Criteria voor goede indicatoren (Bouckaert & Auwers, 1999).
Bij de evaluatie van een goed prestatiemeetsysteem moet men drie dimensies in beschouwing
nemen: de legitimiteit, de functionaliteit en de validiteit. Naarmate de legitimiteit, de validiteit en de
functionaliteit hoog of laag zijn, onderscheidt men de volgende scenario’s.
16
Inleiding
Functionaliteit
2
6
8
4
1
3
5
Technische validiteit
en betrouwbaarheid
7
Legitimiteit
Figuur 1-3: Dimensies voor de evaluatie van een meetsysteem (Bouckaert & Auwers, 1999: 69).
Type PMS
1. Doemscenario
2. Pragmatisch
3. Symbolisch
4. Rethorisch en pragmatisch
5. Technocratisch
6. Technocratisch en pragmatisch
7. Technocratisch en rethorisch
8. Globaal optimum
Validiteit
Laag
Laag
Laag
Laag
Hoog
Hoog
Hoog
Hoog
Legitimiteit
Laag
Laag
Hoog
Hoog
Laag
Laag
Hoog
Hoog
Functionaliteit
Laag
Hoog
Laag
Hoog
Laag
Hoog
Laag
Hoog
Tabel 1-3: Positionering van de meetsystemen in functie van de drie systeemdimensies (Bouckaert & Auwers, 1999: 68).
1.3.8. Gebruik van prestatiegegevens
Prestatiegegevens kunnen gebruikt worden voor verschillende doeleinden.
Ten eerste kunnen
prestatiegegevens de financiële cyclus meer resultaatgericht maken door de invoering van
prestatiebegrotingen, kostenanalytische boekhoudingen en de audit daarvan. Ten tweede hebben
prestatiegegevens een rol te spelen in de beleidsen beheerscyclus, bij de beleidsvoorbereiding, de
beleidsuitvoering en het intern management en bij de beleidsevaluatie en de doelmatigheidsaudit.
Tenslotte kunnen prestatiegegevens gebruikt worden in sturings- en verantwoordingsrelaties: tussen
de overheid en de burger als klant, tussen de overheid en de burger als burger, tussen verschillende
overheden, tussen parlement en regering, tussen administratie en minister, tussen administratie en
verzelfstandigde organisaties, tussen het topmanagement en organisatieafdelingen, teams en/of
individuele personeelsleden.
Om het gebruik van prestatiegegevens in verschillende landen te onderzoeken, zullen we de
doelstellingen van de initiatieven tot prestatiemeting vergelijken met de gerealiseerde effecten, voor
zover deze reeds zijn vast te stellen. Hierbij stellen we de volgende vragen:
-
Welke verschillende gebruiksvormen beoogde men met de invoering van de prestatiemeting?
-
In welke toepassingen worden de prestatiegegevens daadwerkelijk gebruikt?
-
In welke mate worden de prestatiegegevens gebruikt in de financiële cyclus?
17
-
In welke mate worden de prestatiegegevens gebruikt in de beleidsen beheerscyclus?
-
In welke mate worden de prestatiegegevens gebruikt in sturings- en verantwoordingsrelaties?
1.4.
Structuur van het rapport
In de volgende zes hoofdstukken worden de resultaten gerapporteerd van de landenstudies naar
prestatiemeting. In hoofdstuk twee komen de initiatieven tot prestatiemeting van de federale overheid
in Australië aan bod. Het derde hoofdstuk bespreekt de case van de Canadese federale overheid.
Ook in Nederland is men reeds lange tijd actief in de opvolging van beleid en beheer. Hoofdstuk vier
gaat hierop dieper in. Het Zweedse verhaal wordt verteld in hoofdstuk vijf. Het zesde en het zevende
hoofdstuk bespreken respectievelijk de initiatieven in het Verenigd Koninkrijk en in de federale
overheid van de Verenigde Staten. Tot slot worden in hoofdstuk acht de verschillende cases
vergeleken op hun gelijkenissen en verschillen en toetsen we de bevindingen aan de Vlaamse
situatie. In het concluderend hoofdstuk wordt ook aandacht besteed aan het verband tussen
initiatieven tot prestatiemeting en boekhoudhervormingen.
18
Prestatiemeting in de Australische federale overheid
2. Prestatiemeting in de Australische federale overheid
“The Australian Public Service focuses on achieving results and managing performance” (Public Service Act
1999)
Performance information is the currency of accountability (Australian National Audit Office (ANAO), 1996 pp.5-6)”
2.1.
Historisch overzicht van de hervormingen
Initiatief
Het Financial Management
Improvement Program (FMIP)
Periode
1983-1984
Doelstellingen
Besluitvorming, management en evaluatie op basis van outputs en
outcomes:
Corporate planning
Prestatie informatie
Systematische programma-evaluatie
Corporate Management
Jaren 80
-
Verbeterde coördinatie
Verhoogde efficiëntie en effectiviteit
Versterkte ministeriële controle op departementen en agentschappen
Verbeterde verantwoording
Program Performance Statements
to Parliament
1988
-
Rapportering van prestatie-informatie aan het parlement
Task Force on Management
Improvement
De Financial Management and
Accountability Act (FMA Act)
1992
-
Evaluatie van een decennium management hervormingen
1997
-
Het regelgevende, boekhoudkundige en aansprakelijkheidsraamwerk
uitwerken voor het beheren van geld en eigendom van de
Commonwealth
De verantwoordelijkheden en de bevoegdheden van de Minister van
Financiën als beheerder van de schatkist
verantwoordelijkheden en bevoegdheden van de Chief Executive of
Agencies voor efficiënt, effectief en ethisch management bepalen
De administratie en de aansprakelijkheid van de publieke sector van
de Commonwealth verbeteren door onder andere het uitvoeren van
performance audits
Integratie van bevoegdheden inzake financiën en
overheidsmanagement in één departement
De Auditor-General Act
1997
-
Oprichting Department of Finance
and Administration
1998
-
Public Service Act
1999
-
Accrual-based Outcomes & Outputs
Budgeting and Reporting
Framework
1996
(beslist)
1999-2000
-
Generalised Performance
Management Framework
2002
-
Wettelijk kader bieden voor de tewerkstelling, het
personeelsmanagement en het leidinggeven van ambtenaren
Bepaling van de bevoegdheden, het takenpakket en de
verantwoordelijkheden van de agentschapshoofden, de Public
Service Commissioner en de Merit Protection Commissioner
Bepalingen van de rechten en plichten van ambtenaren
Kader bieden voor een politiek neutrale, efficiënte en effectieve
public service
Het raamwerk wil het publieke beslissingsproces en de publieke
verantwoording focussen op drie hoofdelementen: outcomes, outputs
and administered items, en prestatie-indicatoren
Delegeren van het financieel, prestatie- en risk management naar de
agentschappen toe
De agentschappen voldoende flexibiliteit geven om op de meest
effectieve en efficiënte manier bij te dragen tot de outcomes
De transparantie verhogen van de overheidsuitgaven door het geven
van informatie over kosten en prestaties
Geïntegreerd geheel van strategieën en activiteiten ter afstemming
van de doelstellingen en performantie op het niveau van de
organisatie, teams en individuen
Tabel 2-1: Evolutie van initiatieven tot prestatiemeting in de Commonwealth of Australia.
19
Reeds sinds de jaren ’80 vatte men in Australië aan met de modernisering van het
overheidsmanagement. De belangrijkste realisaties op het vlak van performance management in de
jaren ’80 werden verwezenlijkt in het Financial Management Improvement Program. Het Financial
Management and Improvement Program kadert in een nood aan een besparingen. De doelstellingen
van deze hervormingen waren tweërlei. Enerzijds was het de bedoeling om de controle op de uitgaven
te versterken door de invoering van een expenditure control framework. Dit framework voorziet de
invoering van een driejarige tijdshorizon in de begroting (forward estimates system), een
decentralisatie
van
begrotingsbeslissingen
naar
portfolio
ministers
en
een
financiële
responsabilisering van de manager. Anderzijds beoogde het Financial Management Improvement
Program ook meer het verband te leggen tussen financiële en niet-financiële informatie door de
invoering van Program Management and Budgeting. De besluitvorming, het management en de
beleidsevaluatie werden gefocust op outputs en outcomes. Hiertoe werden er programmastructuren,
prestatiemeetsystemen en systemen van beleidsevaluatie ontwikkeld. Andere belangrijke initiatieven
in de jaren ’80 waren het Corporate Management en de rapportering van prestatiegegevens aan het
parlement aan de hand van Program Performance Statements.
In de jaren ’90 werd verder gebouwd op de hervormingsbeweging van de jaren ’80. In de
hervormingen van de jaren ’90 staat het Accrual-based Outcomes & Outputs Framework centraal. De
invoering van het
Accrual-based Outcomes & Outputs Framework heeft een dubbele bedoeling.
Enerzijds wil men het interne beheer van de agentschappen verbeteren door een algemeen kader te
creëren waarbinnen de agentschappen
hun eigen corporate governance, beheers- en
rapporteringsystemen kunnen ontwikkelen. Anderzijds beoogt men met dit kader een verbetering van
de externe rapportering van de agentschappen aan de regering en een meer transparante
verantwoording aan het parlement en aan de burgers. De invoering van het Accrual-based Outcomes
& Outputs Framework draagt bij tot de modernisering van financiële en beheersprocessen door de
afstemming van prestaties op maatschappelijke effecten, de reductie van de beheerscomplexiteit, de
verbeterde kwaliteit van besluitvorming, de verhoogde transparantie van het beheer en de verbeterde
verantwoording aan de hand van prestatiegegevens (Department of Finance and Administration,
2000a p.6).
Het Accrual-based Outcomes & Outputs Framework werd in 1997 wettelijk verankerd in de Financial
Management and Accountability Act 1997. Deze wet regelt het boekhoudkundig kader, het financieel
management en de bevoegdheden van de Chief Executives voor de centrale overheid en
agentschappen zonder rechtspersoonlijkheid. De Commonwealth Authorities & Companies Act 1997
regelt het financieel kader voor de agentschappen met rechtspersoonlijkheid. Het Accrual-based
Outcomes & Outputs Framework werd geïmplementeerd in 1999.
Op het vlak van Human Resources Management was vooral de Public Service Act belangrijk omdat
deze een wettelijk kader biedt voor het personeelsmanagement en een afbakening maakt van de
bevoegdheden van de agentschapshoofden.
20
2.2.
Actoren betrokken bij de hervormingen
Er zijn zeer veel verschillende actoren bij de ontwikkeling van performance management. De volgende
tabel geeft hiervan een overzicht.
Actor
Department of Finance and Administration (DOFA)
Budget Group
Financial Framework Division
Management Advisory Committee (MAC)
(Secretaries en Agency Heads)
Australian Public Service & Merit Protection
Commission (PSMPC)
-
Joint Committee of Public Accounts and Audit
(JCPAA)
-
Australian National Audit Office (ANAO)
-
Australian Bureau of Statistics (ABS)
-
Rol
Verantwoordelijk voor de ontwikkeling en introductie van het
accrual-based outcomes and outputs budgeting and reporting
raamwerk
De ontwikkeling van ruime beleidsdomeinen en principes
Begeleiden van en advies geven aan de agentschappen
Zorgen voor betere en meer efficiënte overheidsactiviteiten
Zorgen voor een efficiënt functionerend parlement
Commonwealth HRM
Advies uitbrengen aan regering inzake hervormingen
overheidsmanagement
Advisering regering inzake overheidsmanagement
HRM Senior Executive Service
Toepassing en sensibilisering Public Service Act 1999
Advisering agentschappen inzake performance management
Ondersteuning bij de implementatie van beleid inzake
overheidsmanagement
Opvolging en analyse van nieuwe issues, trends en ontwikkelingen
inzake HRM
Vorming en training inzake leiderschap
Informatievoorziening inzake de werking en samenstelling
Australian Public Service
Uitdrukken van de wens van het parlement om te evolueren naar
een begroting, boekhouding en rapportering gebaseerd op accrual
regels
Publiceren van rapporten betreffende de vooruitgang en
aanbevelingen omtrent het accrual outcomes & outputs raamwerk
Uitvoeren van de traditionele watchdog audit rol: financiële audit,
rechtmatigheidsaudit en performance audit
Adviserende rol: suggereren van verbeteringen naar de
administratie toe
Verzameling van algemene statistieken zoals
bevolkingsstatistieken, economische en sociale statistieken,…
Tabel 2-2: Actoren betrokken bij de initiatieven tot prestatiemeting in de Australische Commonwealth.
Op het politieke niveau speelt de Minister of Finance and Administration een sleutelrol. Deze wordt
bijgestaan door twee staatssecretarissen, de Parliamentary Secretary to the Minister of Finance and
Administration en de Special Minister of State. De parlementaire commissie bevoegd voor
overheidsmanagement is de Joint Committee of Public Accounts and Audit die een zeer actieve rol
speelde bij de financiële hervormingen en vragende partij was voor de invoering van een accrual
begroting en boekhouding.
De belangrijkste administratieve actor in de ontwikkeling van prestatiemeting is het Department of
Finance and Administration. In 1997 werden de bevoegdheden van het toenmalige Department of
Finance uitgebreid met de verantwoordelijkheid voor ambtenarenzaken (organogram in bijlage). De
horizontale bevoegdheid inzake prestatiemeting en prestatiebegroting ligt bij de Budget Group die zich
bezig houdt met het Accrual-based Outcomes and Outputs Framework.
De Public Service & Merit Protection Commission draagt de horizontale bevoegdheid inzake het
gebruik van prestatiegegevens in HRM (performance management) en is verantwoordelijk voor het
personeelsbeleid van de topambtenaren, de Senior Executive Service.
21
Het Australian National Audit Office (ANAO) staat het parlement bij in de controle van de uitvoerende
macht. De Australische rekenkamer speelt zowel een traditionele ‘watchdog’ rol als een adviserende
rol. Het ANAO voert dus enerzijds rechtmatigheidsaudits, financiële audits en performance audits ter
controle van de uitvoerende macht . Anderzijds onderzoekt het ook de implementatie van
managementhervormingen, formuleert het hieromtrent aanbevelingen en publiceert het handleidingen.
Dit is dus de adviserende rol van het ANAO.
Het Australian Bureau of Statistics is de nationale statistiek instelling van Australië. De missie van
ABS bestaat erin “To assist and encourage informed decision-making, research and discussion within
governments and the community, by providing a high quality, objective and responsive national
statistical service.” (Australian Bureau of Statistics, 2003).
2.3.
Periode
Jan-feb
Document
Portfolio Budget Submissions
Mei
Mei
Approriation Bill with Outcome
statement
Portfolio Budget Statements
September
Annual report
Inhoud
outcome & output
structure
nieuwe
beleidsvoorstellen
machtiging van
middelen per outcome
toelichting van de
Appropriation Bill
jaarverslag met
realisatie van
outcomes, outputs en
administered items en
financial statements
Focus
outcomes en
outputs
Verantwoordelijke actor
Departementen en
agentschappen
outcomes
Department of Finance
and Administration
Per portfolio: departement
en agentschappen
Agentschappen
outputs en
administered items
outcomes, outputs
en administered
items
Tabel 2-3: Proces van prestatiemeting in de Australische Commonwealth.
De verantwoordelijkheid voor prestatiemeting ligt in principe bij de departementen en agentschappen.
Het Department of Finance and Administration formuleert de algemene uitvoerende richtlijnen voor
prestatiemeting. De ontwikkeling, verzameling, analyse en rapportering van de gegevens gebeurt in
de agentschappen.
De Financial Management and Accountabilities Act definieert het algemeen kader voor
prestatiemeting voor alle departementen en agentschappen. Deze wet bepaalt dat de Chief Executive
verantwoordelijk is voor het efficiënt, effectief en ethisch gebruik van de toegewezen middelen (, 1997
art.44). Het is evenwel de bevoegde minister die de eindverantwoordelijkheid draagt voor de effecten
van het beleid. De Chief Executive legt enkel verantwoording af over de output van het agentschap en
de bijdrage tot de beleidsdoelstellingen zoals uitgestippeld door de bevoegde minister. Voor de
overheidsbedrijven wordt de prestatiemeting en –rapportering geregeld in de Commonwealth
Authorities and Companies Act. De concrete uitvoering van de Financial Management and
Accountabilities Act is geregeld in de Financial Management and Accountability Orders 1997.
De realisaties van de overheid zijn ook onderhevig aan externe factoren. Een cruciale verandering in
de omgeving waarbinnen de overheidsorganisatie opereert kan een bijsturing van de geplande
22
outcomes en outputs vereisen. Wanneer een agentschap de outputs zoals gepland in de Portfolio
Budget Statements wil wijzigen, kan dit overeengekomen worden met de bevoegde minister. Wanneer
een agentschap de geplande outcomes wil bijsturen, dan is ook de goedkeuring van de Minister van
Financiën en Ambtenarenzaken noodzakelijk.
2.4.
Richtlijnen voor prestatiemeting
2.4.1. Criteria voor goede indicatoren
In haar handleiding “Specifying outcomes and outputs” formuleert het Department of Finance and
Administration een aantal vereisten waaraan goede indicatoren moeten voldoen. Er wordt hierbij een
onderscheid
gemaakt
tussen
effectindicatoren,
outputindicatoren
en
subsidie-indicatoren
(administered items).
Bij de formulering van outputs en output-indicatoren moet men rekening houden met de volgende
stelregels (Department of Finance and Administration, 2000b pp. 48):
-
De formulering van outputs moet betrekking hebben op de goederen of diensten die door het
agentschap worden geleverd aan externe individuen of organisaties
-
De outputs moeten duidelijk en identificeerbaar geformuleerd worden
-
De outputs moeten geformuleerd worden in termen van de diensten en producten die geleverd
worden en niet in termen van de functie die ze vervullen
-
De outputs moeten bijdragen aan het bereiken van de geplande outcomes
-
Het agentschap moet het realiseren van de outputs direct of indirect onder controle hebben
-
De outputindicatoren moeten de volgende elementen meten
De prijs per eenheid output
De te leveren kwantiteit outputs
De kwaliteit van de outputs (timing, frequentie, locatie)
De bijdrage van de outputs aan de geplande outcomes
-
De formulering van de outputs en de outputindicatoren moet het mogelijk maken huidige output
leveranciers te vergelijken met potentieel toekomstige leveranciers
-
De formulering van outputs moet alle activiteiten van het agentschap dekken, zij het direct, als een
onderdeel van de outputs, zij het indirect als overheads die bijdragen aan de realisatie van de
outputs
Bij de formulering van outcomes en outcome-indicatoren moet men de volgende vragen in acht
nemen (Accrual Budgeting Project (ABP), 1998 pp.19)
-
Reflecteert de outcome de doelstellingen en prioriteiten van de regering?
-
Is de outcome geformuleerd in termen van maatschappelijke impact?
-
Wanneer de outcome een specifieke doelgroep kent, is die doelgroep dan duidelijk afgebakend?
-
Is de outcome realiseerbaar binnen een specifieke timing?
-
Is het mogelijk het bereiken van de outcome op te volgen en te beoordelen?
-
Is het mogelijk een causaal verband te leggen tussen de acties van de overheid en de outcome?
23
-
Is het mogelijk de outcome te onderscheiden van de strategie van het agentschap?
-
Is de outcome duidelijk en ondubbelzinnig geformuleerd, geschikt voor externe rapportering?
De outcomes mogen enerzijds niet te algemeen geformuleerd worden omdat het anders te moeilijk is
voor de agentschappen om prestatiegegevens te ontwikkelen en te verzamelen die het verband
weergeven tussen de activiteiten en de outputs van het agentschap en de outcomes.
While high level outcomes can be useful in providing context and high level meaning to agency
operations, they have limited value for planning, accountability and performance management
(Accrual Budgeting Project (ABP), 1998 pp.21).
Anderzijds mogen de outcomes ook niet te gedetailleerd geformuleerd worden omdat men dan het
gevaar loopt enkel de activiteiten van het agentschap op te volgen en te weinig oog te hebben voor de
maatschappelijke effecten. While low level and intermediate outcomes are important for planning and
monitoring, they are usually not sufficient to provide a clear view of what the agency is trying to
achieve (Accrual Budgeting Project (ABP), 1998 pp.22).
2.4.2. Criteria voor performance management
Naast de criteria voor geode indicatoren, werden er ook meer algemen criteria voor goede
performance management systemen geformuleerd. De Public Services Commissions definieerde de
centrale voorwaarden om te psreken van een goed opvolgingssysteem als alignment, credibility en
integration.
Credibility
Alignment
• Outcomes sought by government
• Consistency with APS values and
legislative framework
• Nature of the business
• Client and stakeholder expectations
• History with performance
management
• Maturity of systems
• Organisational Values
• Industrial climate
•
•
•
•
•
•
•
•
•
Evolving factors:
Integrating organisational values with
output based performance
Achieving alignment in outsourced
functions
Evolving factors:
Constructing reward and recognition
strategy - especially for teams
CEO and Executive commitment
Review and Simplicity
Fairness and trust
Multi source feedback
Addressing the rhetoric - reality gap
Dealing with underperformance
Reporting of outcomes
Management buy in
Staff ownership of the system
Integration
• Line of sight between corporate and
individual goals
• Embedding in a system of
organisational performance
management
• Progressive and iterative approach
• Link to training and career
development
• On-line delivery
Evolving factors:
Performance measurement and reporting
Tabel 2-4:Criteria voor performance management (Australian Public Service Commission, 2002 pp.35).
24
2.5.
Rapportering van de prestatiegegevens
2.5.1. Outcome Statements: maatschappelijke effecten op portfolioniveau
Het begrip Outcomes wordt gedefinieerd als de impact die de overheid beoogt en verwacht in een
bepaald beleidsdomein. Outcomes bevinden zich op hetzelfde strategische niveau als de missie van
de organisatie, maar zijn meer extern gericht en minder waardegeladen. Het begrip outcomes wordt
gedefineerd als de resultaten of gevolgen van de activiteiten van de overheid en andere instellingen
op de maatschappij. Aangezien er dus verschillende actoren en factoren zijn die een invloed
uitoefenen op het uiteindelijk maatschappelijk effect, is het moeilijk de invloed van de overheid te
onderscheiden van externe invloeden (Department of the Parliamentary Library, 2002 p. iv).
Het Outcome Statement heeft een belangrijke wettelijke betekenis aangezien de begroting
gemachtigd wordt op het niveau van de outcomes. Daarom dienen de Outcome Statements ook te
voldoen aan de appropriations vereisten geformuleerd in
secties 81 en 83 van de Australische
Grondwet. De Outcome Statements dienen te voldoen aan een aantal criteria (Department of Finance
and Administration, 2000a p. 12).
-
Outcomes zijn meer dan een beschrijving van de activiteiten van een agentschap. Outcomes
geven de beoogde gevolgen van de geplande activiteiten van het agentschap weer.
-
Outcomes moeten specifiek genoeg zijn om een verband te kunnen leggen met de uitgaven die
ervoor nodig zijn. Het verband tussen de appropriation en de outcome wordt verder uitgeklaard in
de Portfolio Budget Statements en de Portfolio Additional Estimates Statements.
-
Bij het formuleren van outcomes moeten waardegeladen of subjectieve bewoordingen zo veel
mogelijk vermeden worden.
Het aantal geformuleerde outcomes en de grootte van het bijhorende budget lijkt nogal te verschillen
van beleidsdomein tot beleidsdomein. De beoordeling van de vereiste detailgraad van de outcomes
wordt overgelaten aan de ministeries en agentschappen zelf. Inhoudelijk dient de formulering van
effectdoelstellingen te voldoen aan de volgende criteria:
-
effectgericht in plaats van op input- of procesgericht,
-
bondig,
-
beleidsdomein specifiek,
-
in overeenstemming met de Portfolio Budget Statements en de Additional Estimates
Statements,
-
gericht op de relevante doelgroepen,
-
evenwichtig,
-
meetbaar aan de hand van effectindicatoren,
-
vrij van waardegeladen, veralgemeende of aspirerende taal,
-
vatbaar voor agentschaps- of beleidsdomeinoverschrijding.
25
In de Appropriation Bills worden dus enkel outcomes gemachtigd en geen outputs. De outputs die
geleverd worden om de outcomes te bereiken worden opgenomen in de Portfolio Budget Statements,
de memorie van toelichting op de begroting. De reden hiervoor is de agentschappen voldoende
flexibiliteit te geven bij de uitvoering van het beleid.
2.5.2. Portfolio Budget Statements: outputs en administered items op
portfolioniveau
Het Portfolio Budget Statement is de memorie van toelichting op de Appropriation Bills waarin de
allocatie van enveloppes aan outcomes voor de parlementsleden verduidelijkt wordt en waarin de
informatie van de verschillende agentschappen die onder het beleidsdomein ressorteren,
geconsolideerd wordt.
Het Portfolio Budget Statement wordt opgesteld door het departement in
samenspraak met de verschillende agentschappen. Het Department of Finance and Administration
formuleert de richtlijnen voor de opmaak van de Portfolio Budget Statements. Dit zijn echter
minimumvereisten waaraan de Portfolio Budget Statements moeten voldoen en de agentschappen
beslissen in grote mate zelf over de structuur en de inhoud van de Portfolio Budget Statements
(Department of the Parliamentary Library, 2002 p. 3). De inhoud van de Portfolio Budget Statements
dient aan een aantal algemene principes te voldoen (Australian National Audit Office, 2001 p. 12).
-
De Portfolio Budget Statements dienen voldoende informatie, verklaring en verantwoording te
bevatten zodat het voor het parlement duidelijk is welke doelstellingen men wil bereiken.
-
De informatie moet relevant zijn en voldoen aan de informatiebehoefte van het parlement en
van de publieke opinie.
-
De nadruk moet liggen op de performantie van de agentschappen.
-
De agentschappen krijgen binnen de grenzen van de richtlijnen van het Department of
Finance and Administration de vrijheid een format te kiezen die voldoende transparant is.
Onder outputs verstaat men de goederen en diensten die de agentschappen produceren voor interne
en externe gebruikers om de beoogde outcomes te bereiken.
Administered items zijn alle middelen die door het agentschap beheerd worden in opdracht van de
regering en die bijdragen tot het realiseren van de externe effecten, zoals bijvoorbeeld subsidies,
transfers aan de staten en uitkeringen.
2.5.3. Agency Annual Reports
Departementen en agnetschappen rapporteren jaarlijks hun realisaties in een jaarverslag of Annual
Report. De criteria waaraan de Annual Reports moeten voldoen, worden vastgesteld door het
Department of the Prime Minister and Cabinet en vervolgens goedgekeurd door het Joint Committee
of Public Accounts and Audit. 1
1
Public Service Act 1999 art. 63(2) en art.70
26
Volgens deze criteria dienen de Annual Reports de volgende elementen te bevatten (Department of
the Prime Minister and Cabinet, 2002 pp.5):
-
terugblik op het jaar door de Departmental Secretary,
-
overzicht van het departement,
-
o
rol en functie departement,
o
organisatiestructuur,
o
outcomes & ouputs structure,
prestatierapport,
o
realisatie van doelstellingen Portfolio Budget Statements aan de hand van
prestatiegegevens,
o
realisatie
van
doelstellingen
beheersovereenkomsten
aan
de
hand
van
prestatiegegevens,
-
o
analyse en interpretatie van prestatiegegevens,
o
financiële resultaten en implicaties voor de toekomst,
o
tabellen met middelen per outcome,
management en verantwoording,
o
corporate governance
lijst van Senior Executives en hun bevoegdheden
senior management committees en hun bevoegdheden
organisatie en activiteiten van de dienst interne audit
ethische standaarden
beloningsbeleid Senior Executive Service (SES)
o
externe onderzoeken van Auditor-General, parlementair comité of ombudsdienst en
belangrijke rechterlijke uitspraken
-
o
human resources management
o
aset management
o
overzicht van adviesopdrachten en open aanbestedingen en afgesloten contracten
financial statements.
In de jaarrapporten van de agentschappen wordt ook de financiële informatie gerapporteerd die de
agentschappen in overeenstemming met de Financial Management and Accountability Act 1997
dienen te rapporteren. Dit houdt in dat er in de jaarrapporten winst- en verliesrekeningen, een balans
en kasstroominformatie wordt opgenomen.
2.6.
Focus van de prestatiegegevens: Wat wordt er gemeten?
Het Australische systeem van prestatiemeting was initieel hoofdzakelijk gericht op outcomes of
maatschappelijke effecten. De doelstelling van het Programme Budgeting Initiative uit de jaren ’80
was een verband te leggen tussen inputs en outcomes. Het ging dus eerder over een effectgerichte
programmabegroting dan over een outputgerichte prestatiebegroting. Met de invoering van het
Accrual-based Outcomes and Outputs Framework eind jaren ’90 nam de aandacht voor outputs toe.
Men doelt hiermee namelijk op het linken van inputs, outputs en outcomes.
27
In haar handleiding prestatiemeting onderscheidt het Department of Finance and Administration dan
ook outcome-indicatoren, outputindicatoren en subsidie-indicatoren (administered items).
Outcomes worden gedefinieerd als de resultaten, de impact of de gevolgen van de acties van de
overheid op de maatschappij. Binnen de outcome-indicatoren onderscheidt men enerzijds de
indicatoren om de beleidseffecten op te volgen en anderzijds de indicatoren om de bijdrage van het
agentschap aan de beleidseffecten te meten. Er moet dus zowel aandacht zijn voor de algehele
effecten van het beleid (indicators of achievement of outcome) als voor de specifieke rol van het
agentschap in het bereiken van de beleidseffecten (indicators of contribution of outputs to outcomes).
Outputs worden gedefinieerd als de goederen en diensten die de agentschappen in naam van de
overheid leveren aan externe organisaties of individuen.
Ook de goederen en diensten die een
agentschap levert aan een andere overheidsorganisatie worden gerekend tot de outputs.
Outputindicatoren meten de prijs, de kwantiteit en de kwaliteit van de outputs. Voorbeelden van
outputs zijn inspecties, sensibiliseringscampagnes m.b.t. gezondheidszorg en het uitbetalen van
werkloosheidsuitkeringen.
Administered items worden gedefineerd als “expenses, revenues, assets or liabilities, managed by
agencies on behalf of the Commonwealth that fund third party outputs”. Het gaat dus over zijn de
subsidies of transfers die het agentschap levert aan derden om outputs te realiseren. Voorbeelden
van administered items zijn Childcare Assistance, Family Payments, Export and Industry Subsidies en
Art and Cultural Foundation Funding. Om de administered items op te volgen moeten er indicatoren
ontwikkeld worden om de realisatie van de doelstellingen gekoppeld aan transfers en subsidies te
meten.
Het Departement of Finance and Administration heeft een centraal Accrual Information Management
System (AIMS) ontwikkeld ter ondersteuning van het accrual-based outcomes & outputs framework .
In het AIMS worden de gegevens geconsolideerd die door de agentschappen worden verzameld in
hun Financial Management Information System (FMIS).
2.7.
Audit en kwaliteitscontrole van de prestatiegegevens
“A common limitation in the performance information related to effectiveness indicators which did not actually
measure outcome performance. In particular, outcome effectiveness indicators were often, influenced by factors
beyond the agencies’ control (Australian National Audit Office (ANAO), 2002 pp.14).”
“The Portfolio Budget Statement performance information did not always include targets or the targets that were
provided were often vague and/or ambiguous (Australian National Audit Office (ANAO), 2002 pp.14)”
De externe audit van prestatiemeetsystemen en prestatiegegevens behoort tot de discretionaire
bevoegdheid van de Auditor-general. Het Australian National Audit Office heeft de bevoegdheid om
value-for-money audits uit te voeren waarbinnen het de mogelijkheid heeft om de kwaliteit van de
28
prestatiemeetsystemen en prestatiegegevens te onderzoeken. Aangezien de Auditor-general
autonoom beslist over de selectie van doelmatigheidsonderzoeken is er geen structurele garantie voor
een jaarlijkse, alomvattende audit van de prestatiemeetsystemen en prestatiegegevens.
De interne audit van de prestatiemeetsystemen behoort tot de verantwoordelijkheid van een audit
comité. De Financial Management and Accountability Act 1997 vereist dat in elk agentschap een audit
comité
wordt
opgericht
dat
onder
andere
verantwoordelijk
is
voor
de
audit
van
de
prestatiemeetsystemen en de prestatiegegevens (Commonwealth of Australia Parliament, 1997
art.46). Uit een survey van het Australian National Audit Office in 1997 bleek dat een kwart van 137
onderzochte agentschappen nog geen audit comité had opgericht.
Zowel de Auditor-general als de bevoegde parlementaire commissies hebben reeds kritiek geuit op de
rapportering van de prestatiegegevens:
-
De prestatie-informatie in de Portfolio Budget Statements is te geaggregeerd om nuttig te zijn
-
Er is een gebrek aan regeringswijde, geaggregeerde prestatiegegevens
-
Er is een gebrek aan trenddata over prestaties
-
Onvoldoende verband tussen outputs en outcomes
-
Onvoldoende verband tussen Portfolio Budget Statements en Annual Reports
-
Effectindicatoren meten de outcomes niet
-
Er zijn onvoldoende of te vage targets
2.8.
Gebruik van prestatiemeting
Prestatiemeetsystemen hebben zowel een functie te vervullen in het intern management van
departementen en agentschappen als in de externe rapportering aan het parlement en de burgers. In
het intern management fungeren de prestatiegegevens als knipperlichten. Wanneer de realisatie van
de doelstellingen in het gedrang komt, moet er bijgestuurd worden. De indicatoren kunnen ook
gebruikt worden in het Human Resources Management, namelijk voor de terugkoppeling naar en de
evaluatie van het personeel. Indicatoren kunnen ook een rol spelen in de koppeling van
organisatiestructuur en de financiële structuur met de outcome & output structure van de begroting.
Extern gebruik van prestatiegegevens situeert zich in de ex ante en ex post verantwoording van de
departementen en agentschappen aan het parlement. Prestatiegegevens worden gebruikt in het
begrotingsproces en bij de beleidsontwikkeling. In de Portfolio Budget Statements en de Departmental
Annual Reports worden de doelstellingen geformuleerd en opgevolgd aan de hand van
prestatiegegevens.
Idealiter vormen de prestatiegegevens die verzameld worden voor interne gebruik, de basis voor de
externe rapportering. Het Australian National Audit Office stelde vast dat wanneer de verzamelde
prestatie-informatie echt gebruikt wordt in het intern management en de interne verantwoording, het
personeel beter het nut inziet van de prestatiemeting en ook meer gemotiveerd is om
29
prestatiegegevens te verzamelen voor externe rapportering (Australian National Audit Office (ANAO),
2001 pp.29).
In de volgende tabel worden de verschillende resultaatgerichte hervormingen geclassificeerd volgens
de functies van prestatiemeting die ze beogen.
Applications of performance information
Performance budgeting & accounting
Performance Management
Accountability & control
Policy development
Reform Initiatives
Financial Management Improvement Program (1983-’84)
Accrual-based Outcomes & Outputs Framework (1999-2000)
Financial Management Improvement Program (1983-’84)
Corporate Management (jaren ’80)
Generalised Performance Management framework (2002)
Program Performance Statements (1988)
Financial Management and Accountability Act (1997)
Auditor-General Act (1997)
Review Report of the Commonwealth Service Provision
Accrual-based Outcomes & Outputs Framework (1999-2000)
Review Report of the Commonwealth Service Provision
Tabel 2-5: Classificatie van resultaatgerichte hervormingen naar de functies die ze vervullen
Prestatiegegevens
spelen
dus
een
Gove rnme nt, Portfolio Ministe r(s),
Ministe r(s), Parliame ntary Se cre tary,
Le gislative and Re gulatory Frame work
rol
doorheen de verschillende fasen van de
O utcome s & O utputs Structure
beleidsen beheerscyclus, bij de planning en
begroting, de opvolging en boekhouding en de
evaluatie en audit.
Corporate Planning &
Gove rnance
Vision, mission, aims
Values, behaviours
Major directions & priorities
Management Structures
bleek
prestatiegegevens
dat
in
Australië
hoofdzakelijk
de
Allocating resources between
programmes
Allocating resources within
programmes
Setting program priorities
Changing work processes
Setting individual staff
performance plans
Adopting new programme
approaches
No use
Priorities, Resource Allocation, Risks
gebruikt
worden in het intern management.
Within
Ministry/
Agency
X
Busine ss Planning
Budget Cycle Links
Organisational capabilities
Corporate Strategies (IT , people, financial)
Individual action plans/performance
agreements: objectives, values, behaviour
Uit een survey van de OESO en de Wereld
Bank
Outcomes
Outputs &
Performance indicators
Pe rformance Re vie w & Fe e dback
Organisational Performance Reviews
Individual and team performance reviews
Performance linked renumeration policy
Managing under-performance
Parent
Ministry
Ministry of
Finance
Prime
Ministers
Office
Cabinet
Legislature
X
X
X
X
X
Tabel 2-6: Gebruik van prestatiegegevens in de Commonwealth of Australia (OECD & World Bank, 2003).
30
X
2.8.1. Financiële cyclus: outcome budgeting
In de Australische Budget Bill worden er per departement middelen toegewezen aan outcomes of
effecten. Aangezien de parlementaire machtiging betrekking heeft op de uiteindelijke resultaten van
het beleid, spreken we van een effectbegroting. De prestaties die geleverd worden om
de
beleidseffecten te bereiken, worden toegelicht in Portfolio Budget Statements (Chan, Nizette, La
Rance, Broughton & Russell, 2002). Hierbij maakt men een onderscheid tussen de prestaties die het
departement zelf levert (departmental items) en de prestaties die geleverd worden door derden met
subsidies van het departement (administered items). De volgende tabel illustreert de structuur en
inhoud van de Australische begroting:
Niveau van
parlementaire
2
machtiging
Portfolio
e.g. Family and Community Services
Agency
e.g. Department for Family and Community Services
Outcomes
e.g. Stronger Families: “Families, young people and students have
access to financial assistance and family support services”
Output Groups
e.g. Family assistance
Departmental Items
e.g. Policy advice
Performance Indicators
e.g. Minister’s and ministers ’ offices satisfied with the quality of policy
advice and Department meets standards for policy advice”
Administered Items
e.g. Services for Families with Children
e.g. % of families with children under 5 years of age participating in
playgrounds
Budget Bill
2002-2003
Portfolio Budget
Statement
2002-2003
X
X
•
X
X
X
X
X
X
X
Tabel 2-7: Structuur en inhoud van de begrotingsdocumenten in de Commonwealth of Australia (Parliament of the
Commonwealth of Australia House of Representatives, 2002; Minister for Family and Community Services & Minister for
Children & Youth Affairs, 2002).
2.8.2. Beleids- en beheerscyclus
De mate waarin agentschappen beschikken over een geïntegreerd performance management
framework, blijkt sterk te variëren. 80% van de agentschappen stelde een systeem te hebben waarin
de business planning gekoppeld is aan de rapportering over outputs op het organisatieniveau.
Volledig geïntegreerd systemen waarin de planning, het personeelsbeleid en het performance
management op alle niveaus gekoppeld zijn aan de doelstellingen en waarin de prestaties van
individuen, teams en de organisatie geëvalueerd worden, komen minder vaak voor (Public Services
Commission, 2002). Uit een survey in 2001 bleek dat 93% van de agentschappen het performance
management als positief ervaarden voor de individuele prestaties en de prestaties van de organisatie.
“The agency's performance management arrangements have contributed to improved individual and
2
Dit is het kleinste onderdeel van de begroting waarop de parlementaire autorisatie betrekking heeft. Er kunnen geen middelen
verschoven worden tussen deze begrotingsartikelen zonder goedkeuring van het parlement.
31
organisational performance through improved role accountability and work planning, increased
alignment to agency outcomes and improved individual capability.”
2.8.3. Sturing en verantwoording
Prestatiegegegevens spelen ten derde ook een rol in sturings- en verantwoordingsrelaties. De
resultaatgerichte hervormingen hadden mede al sdoelstelling om de politiek sturing en het primaat van
de politiek over het beleid te versterken. Daarnaast was het ook de bedoeling om de verantwoording
van de uitvoerende macht ten opzichte van het parlement te versterken. De vraag rijst echter of de
accountability inderdaad is toegenomen. Vanuit het Parlement blijkt er ongenoegen bestaan over de
kwaliteit van de prestatiegegevens die gerapporteerd worden. Uit een survey van de OESO en de
Wereld Bank bleek dat de prestatiegegegevens niet gebruikt worden door het parlement en dat er
geen bewijs is dat de prestatiegegevens gebruikt worden in de politieke besluitvorming (OECD &
World Bank, 2003).
32
Performance management in Canadian Federal Government
3. Performance management in Canadian Federal Government
3.1.
History and objectives of performance management reforms
Initiatives
Program Review 1994
Improved Reporting to Parliament
Period
1994
1994
Getting Government Right
1996
Citizens First Survey
1998
Framework
Portfolio Management
1999
Results for Canadians
Modern Comptrollership
2000
2000
Results-Based Management
lexicon
Policy On Alternative Service
Delivery
2002
Service Improvement Initiative
2002
2002
Review of Non-statutory programs Budget
2003
Public Service Modernisation Act
2003
Management and Accountability
Framework (MAF)
2003
Objectives
Policy and management reviews
Agencies have to inform parliament about their planning and their results by
means of Reports on Plans and Priorities and Departmental Performance
Reports
Increased citizen’s participation and improved service delivery
st
Setting priorities for the 21 century challenges
Making the role of the federal government more transparent
The Canadian Centre for Management Development (CCMD) and the Treasury
Board Secretariat (TBS) conduct a joint survey on citizens satisfaction with
government service delivery
Performance management for federal executives
Rewarding results linked to corporate priorities and leadership
Strengthening the policy coherence within the ministerial portfolios by means of
exchanging information, sharing managerial practices and ensuring the
involvement of relevant units in policy development.
Management framework for the federal government:
Linking financial and non-financial information and ensuring integrated
performance information
Effective control systems
Integrated risk management
Sound ethics and values
Treasury Board Secretariat (TBS) develops a lexicon with standardized
terminology for results management and reporting
Guide departments in developing appropriate organisational and structural
arrangements for service delivery so that all forms of service delivery have
appropriate governance and accountability structures.
Commitment to achieve a 10% increase in client satisfaction with key, significant
direct service delivery activities by the year 2005
Systematic review of all non-statutory programs over a 5-year cycle on
relevance, effectiveness, resources and management and reallocation of $
1Billion to high priorities
Preservation of a merit based, non-partisan public service
More flexible, modern staffing regime that helps departments compete for skilled
employees and achieve results for Canadians
More cooperative working relationship with bargaining agents, supporting a
healthy and productive workplace
Integrated framework for public service learning to develop and retain employee
by means of the creation of the Canada School of Public Service
To provide deputy heads and all public service managers with a list of
management expectations that reflects the different elements of current
management responsibilities.
Table 3-1: History and objectives of performance management reforms in Canada.
33
3.2.
Actors involved in performance management
Beside the 22 operating departments there are a
few central agencies responsible for horizontal
issues for example the Privy Council Office, the
Treasury Board Secretariat (TBS) and the Public
Services Commission (PSC). The Privy Council
Office is the department supporting the Prime
Minister in the exercise of his/her duties. The
Public
Service
independent
Commission
agency
(PSC)
responsible
is
for
an
the
supervision on the implementation of the merit
principle in the public service as defined by the
Public Service Employment Act. This agency is
also responsible for the recruitment and selection
of the top layer of civil servants, the Executive
Group.
As
Resources
the
responsibilities
Management
are
for
Human
mainly
a
responsibility of the departments and agencies,
the PSC has mainly a steering role. The Canadian
Centre for Management Development (CCMD) is
a central agency, lead by the Prime Minister,
The objectives of the Canada School of Public Service
are (House of Commons of Canada, 2003)
(a) to encourage pride and excellence in the Public Service
and to foster in managers and other Public Service
employees a sense of the purposes, values and traditions
of the Public Service;
(b) to help ensure that those managers have the analytical,
creative, advisory, administrative and other managerial
skills and knowledge necessary to develop and implement
policy, respond to change, including changes in the social,
cultural, racial and linguistic character of Canadian society,
and manage government programs, services and
personnel efficiently, effectively and equitably;
(c) to help managers and other Public Service employees
to develop successful cooperative relationships at all levels
through
leadership,
motivation,
effective
internal
communications and the encouragement of innovation,
high-quality service to the public and skills development;
(d) to develop within the Public Service and to attract to the
Public Service, through the School’s programs and studies,
persons who are of high calibre and who reflect the
diversity of Canadian society, and to support their growth
and development as public sector managers and
employees committed to the service of Canada;
(e) to formulate and provide training, orientation and
development programs for public sector managers and
employees, particularly for those in the Public Service;
(f) to assist deputy heads in meeting the learning needs of
their organization, including by way of delivering training
and development programs;
(g) to study and conduct research into the theory and
practice of public sector management and public
administration ; and
(h) to encourage a greater awareness in Canada of issues
related to public sector.
responsible for the development of a strong
executive management group. The Public Service
Modernisation Act 2003 will lead to the creation of
the Canada School of Public Service. Training and Development Canada, which is currently
administered by the PSC, and the Canadian Centre for Management Development would be
amalgamated into a new institution: The Canada School of Public Service. The school becomes
responsible for learning and development activities for employees in the public service.
The Federal Public Service as a whole
experienced between 1995 and 2001 a reduction in
employment of 31.1 percent. However, several central agencies knew an employment growth of more
than
20% in the same period. A similar evolution occurred in the Privy Council Office (21%) and
Statistics Canada (31.0%) (Treasury Board Secretariat, 2001).
In the following paragraphs we will describe further the role and responsibilities of the central actors
involved in performance management, the Treasury Board Secretariat, Statistics Canada and the
Standing Committee on Government Operations and Estimates.
34
3.2.1. Treasury Board Secretariat (TBS)
The Treasury Board of Canada is one of the five ministerial committees of Cabinet decision-making.
The Treasury Board is set up since 1997 as a management board responsible for strategic
management change. The Treasury Board is chaired by a Cabinet member, the President of the
Treasury Board. The Treasury Board is responsible for supporting the general management of the
government’s financial, human and material resources3 and is supported in its function by the
Treasury Board Secretariat.
The Treasury Board Secretariat is a central agency with government-wide management
responsibilities that cut across the operating departments and other organisational entities. The TBS is
active in the following areas (TBS, 2003):
-
Expenditure management : preparation of government’s
expenditure budget, monitoring program spending
-
Human Resources Management: setting terms and
conditions
of
civil
service
employees, equitable participation of women, Aboriginal
people, disabled persons and visible minorities
Financial and information management : setting the
policy framework with respect to accounting, audit and
evaluation,
contracting,
focussed on innovation, service to citizens,
values, responsible spending and results.
employment, equitable
participation of English-speaking and French-speaking
-
Vision
To achieve excellence in management
financial
Strategic Outcomes
Stewardship: sound public management of
federal resources
Human Resources Management: A modern,
effective, well-managed public service
Service Improvement: Citizen-centred service
management,
delivery
information technology etc.
The TBS is organizationally structured along the following business lines:
-
Expenditure Management and Planning: government-wide resource allocation that
is consistent with government priorities and the fiscal framework
-
Comptrollership: management practices that focus on results and values, integrate
financial and non-financial information for planning and reporting, respond to risks
responsibly, and provide appropriate systems of control
-
Service and Innovation—an innovative, citizen-centred public service that responds
to Canadians’ priorities for service improvement and is committed to the goal of
delivering services that meet or exceed their expectations
-
Information Management and Information Technology—affordable and responsive
delivery of government services through the strategic use of information
management and information technology
-
Human Resources Management—a public service that is results-driven,
value-based, representative, and learning-oriented
-
Corporate Administration—the provision of effective corporate services that
support all business lines in meeting their objectives
3
Financial Administration Act, sections 5-13
35
Whereas the departments are responsible for reporting on their performance, the TBS is responsible
for reporting overall performance to Parliament. The Departments submit their Reports on Plans and
Priorities and their Departmental Performance Reports to the Treasury Board Secretariat which is
integrating the reports in the Main Estimates to submit to Parliament.
“The performance management initiatives have been strongly driven by the Treasury Board
Secretariat with formal requirements placed on departments and agencies. There have also been
some elements of encouragement and facilitation, rather than direction by the Treasury Board
Secretariat and some bottom-up initiatives from within federal organisations (Talbot et.al., 2001).”
The Treasury Board Secretariat employed in 2001 988 FTE. Between 1995 and 2001 the number of
civil servants employed by the TBS increased with 35.5% whereas the total public service employment
decreased with 31.1% in the same period (TBS, 2002). The Treasury Board has for the Fiscal Year
2003-2004 a budget of 2,410,594 thousands of Canadian Dollars4 (Treasury Board Secretariat,
2003a).
3.2.2. Statistics Canada
Statistics Canada is the organisation responsible for the collection and analysis of official Canadian
statistics on population, resources, economy, society and culture. Statistics Canada is a federal
organisation and is responsible for the collection of statistics for the whole of the federal government
and for each of the provinces. Statistics Canada organizes a census every five years. Statistics
Canada employed 6147 FTE in 2001. As other central departments, the Statistics Canada number of
employees increased significantly since 1995 (31%).
3.2.3. Standing Committee on Government Operations and Estimates
The Standing Committee on Government Operations and Estimates was launched to strengthen
parliamentary control on performance reporting by the executive. This standing committee is formally
authorized to evaluate
-
The effectiveness, efficiency and operation of operational plans and expenditure plans of
departments and agencies
-
The effectiveness, efficiency and operation of cross-cutting operational items and expenditures
-
The budget of cross-cutting, horizontal programs
-
The process of budget preparation
-
The effectiveness, efficiency and operation of operational plans and expenditure plans concerning
legal expenditure authorizations
4
This amount corresponds to 1 596 253 thousand euro
36
3.3.
Guidelines for monitoring and control
There are several guidelines for good performance
Criteria for good performance reporting:
reporting. The TBS annually sets the guidelines for
6 principles for reporting performance
departmental performance reporting based on the
1.
following six reporting principles. The Performance
Reporting Rating Model developed by the Office of
the Auditor General (see supra) to assess the
quality of departmental performance reports is not
one-to-one related to the TBS model, but the criteria
Does the report provide information that allows the
reader to make informed decisions about the reliability of
the performance information?
2.
Does the report provide a coherent and balanced picture
of performance information?
3.
Does the report focus on outcomes that benefit
Canadians and Canadian society?
4.
How effectively does the report associate performance
are broadly consistent with the TBS reporting
with earlier commitments discussing any performance
principles. The Canadian Comprehensive Auditing
gaps?
Foundation developed in 2002 a set of Reporting
Principles
5.
with the objective to take public
performance reporting to a new level.
How well does the performance report provides
understanding of the department’s role and operating
environment?
6.
Does the report demonstrate the value of departmental
performance
by
linking
outcomes
achieved
with
resources expended?
The Office of Auditor General developed the following set of audit criteria used in the assessment of
the fairness and reliability of performance information (Office of the Auditor General of Canada, 2003).
Criteria
Sub-criteria
Relevant
The performance information reports in context,
tangible and important accomplishments against
objectives and costs.
Program context includes the mission, mandate, organizational structure and major
priorities/strategies and partners used in relation to the objectives, and explains the external
environment including risks and challenges faced.
Logical relationships and alignment between government priorities, mandates, objectives and
accomplishments are presented.
Tangible and important accomplishments are reported in a timely manner, and their
significance is explained.
Reported results are focused on outcomes with related program activity types and outputs
identified.
Cost and financial information on the resources used and revenues received in delivering the
results is presented.
Meaningful
The performance information tells a clear
performance story, describing expectations and
benchmarks against which performance is
compared.
Expectations are set out which are
clear and concrete
consistent with the objectives (strategic outcomes)
explained
focused on outcomes with relevant activities and outputs identified, and
consistent with previously stated plans.
Comparisons are provided between actual reported accomplishments and expected
performance with a realistic interpretation of the gap between the two.
Comparisons are provided with relevant benchmarks, such as similar activities, programs or
organizations, or trends over time.
Future plans are discussed as to what will change as a result of changing circumstances and
what has been learned from past performance; major challenges are identified.
Selective, concise and clear information is presented, along with links to more detailed
information.
Attributable
The performance information demonstrates in a
reasonable fashion why the program has made a
difference.
The contribution that has been made by the program to the reported results is demonstrated
in a reasonable fashion, including evidence regarding attribution.
The role of key partners and other external factors is discussed.
37
Accurate
The performance information adequately reflects
the facts, to an appropriate level of accuracy.
Valid measures of performance are used.
Reliable data are used.
Performance accomplishments and conclusions are supported by adequate evidence,
including the use of relevant evaluations.
Appropriate methods of data collection and analysis have been implemented.
Information sources and limitations of data collection, analysis and presentation are explained
and any planned improvements discussed.
The basis for confidence in the reliability of the information being reported is disclosed.
Balanced
A representative yet clear picture of the full range
of performance is presented, which does not
mislead the reader.
Both strong and weak accomplishments are reported as are significant unintended impacts.
There is coverage of all objectives.
There are no distortions of information through presentation or tone, or through omission of
information or context.
The emphasis on information presented is proportional to its importance and materiality.
Table 3-2: Criteria used in the assessment of the fairness and reliability of performance information (Office of the Auditor
General of Canada, 2003).
3.4.
Reporting performance information
The Canadian Government is making the performance information available to the public both by
means of government-wide publications, as for example “Canada’s Performance” as by means of
Departmental Performance Reports. Every year about 80 departments and agencies report to
Parliament on the achievement of their objectives by means of a Departmental Performance Report.
Departments report internally to the management of the departments on a more ad hoc basis.
Departments report to Cabinet on an ad hoc basis.
3.4.1. Departmental Performance Report
Every department and agency has to report annually on the departmental performance of the past
year. Departments and agencies submit their reports to the Treasury Board Secretariat which includes
the documents in the budget document or the Main Estimates for the coming year and submits them
to Parliament.
The Treasury Board gives the departments and agencies instructions about the
structure and content of the performance report. The next table gives an overview of the issues that
should be reported on.
1. Minister’s message
2. Context
3. Performance
4. Management
5. Mandatory financial reporting
Mission and vision of the organization
Environment scan
Link between strategic outcomes and government priorities
Horizontal linkages to key partners
Internal and external risks in delivering the strategic outcomes
How do programs and resources contribute to the strategic outcomes?
Key accomplishments
Management issues and practices within the department
Implementation of government-wide management improvement initiatives
Summary of Voted Appropriations
Comparison of total planned to actual spending
Historical comparison of total planned to actual spending
Crosswalk between strategic outcomes and business line (when business lines differ from
strategic outcomes)
Revenues
Statutory Payments
Resources requirements by organization and business line
Loans, investments and advances
Revolving Funds
Contingent liabilities
Table 3-3: Structure of departmental performance reports.
38
The Treasury Board Secretariat commissioned a review of the Departmental Performance Reports FY
2000-2001. The study did not assess the factual content of the report, but tested the reports to the
Treasury Board Secretariat reporting principles. The conclusion of this review was that most
departmental performance reports focused more on outcomes instead of outputs and that the central
concept of strategic outcome was well adopted. However, costing of outcomes, describing the context
of the department, making a logical connection between activities and strategic outcomes remained
important challenges.
“There is a tendency to use the vocabulary of results-based management and performance reporting
without applying the performance paradigm and its focus on outcomes. The organisation of the report
is by business line and what is reported are activities rather than results. (…) The focus is on what
was done or initiated in the past year, while the outcomes that should be reported on may have started
a number of years earlier (Treasury Board Secretariat, 2003b).”
The following figure gives an overview of the average score on each of the reporting principles
(Treasury Board Secretariat, 2003b):
Average Score
5.0
Reporting Principles
4.5
2001
1. Reliability
4.0
2002
2. Balanced & coherent picture
3.5
3. Focus on outcomes
3.0
4. Performance against commitments
5.
2.5
Departmental
role
&
operating
context
2.0
6. Linking outcomes to resources
1.5
Scoring scale
1.0
0=No evidence
0.5
1= Poor / Weak
2=Needs improvement
0.0
1
2
3
4
Principles
5
6
3=Satisfactory
4=Very good
5= Outstanding / Excellent
Figure 3-1: Average score on reporting principles for 2001 and 2002 (Treasury Board Secretariat, 2003b).
The Office of the Auditor General developed a model for rating departmental performance reports in
2002 and applied it for the first time in 2003 to a selection of nine departments and agencies. The
following figure illustrates the results of this audit. The departments scored on average “good” on
defining the organizational context of the department and setting the strategic outcomes clearly. They
ware “fairly good” at reporting the key results as outputs and outcomes that contribute to the expected
strategic outcomes. They had however more problems with expressing the performance expectations
in a clear and concrete way, that is as outputs and outcomes with a direction, an amount of change, a
timeframe and an action strategy. Another difficulty remains to provide reliable and credible
performance information that gives a balanced view of the achievements. The use of performance
39
information in departmental decision–making, at last, remained at a basic level and seems to be the
hugest challenge for good departmental performance reporting.
Figuur 3-2: Assessments of Departmental Performance Reports 2002 (Auditor General of Canada, 2003: 6).
An assessment of the 2002 Departmental Performance Reports showed that smaller departments
have more difficulties with performance reporting and make less progress in performance reporting
than larger departments. The average overall score of all large departments was 2.5 whereas the
average overall score for the smaller departments and agencies was 2.1 (Treasury Board Secretariat,
2003b).
The following organisations were rated by an independent review as having very good departmental
performance reports: Canada Economic Development for Quebec Regions, The Canadian Human
Rights Tribunal, The Canadian International Development Agency, the National Library, The National
Parole Board, Natural Resources Canada, Office of the Auditor General, Office of the Information
Commissioner, Parks Canada (Treasury Board Secretariat, 2003b). A few organisations were rated
excellent for parts of their performance reporting, for example Veterans Affairs Canada and Transport
Canada for the relation of resources to outcomes.
3.4.2. Example: Natural Resources Canada
The following figure illustrates the structure and content of departmental performance reports with the
example of Natural Resources Canada.
Departmental Performance Report Natural Resources Canada
1.
Minister’s Message
2.
Raison d’être and operating context
3.
Departmental performance by strategic outcome
a.
Strategic Outcome 1: “Information to make balanced decisions regarding natural resources”
b.
Strategic Outcome 2: “Sustainable economic, social and environmental benefits derived from natural
c.
Strategic Outcome 3: “Strategies that reduce environmental impacts in the natural resource sectors”
resources for present and future generations”
40
i.
Actual Expenditures Strategic Outcome 3
ii.
Key Accomplishments: e.g. Climate change Policy
iii.
Short to medium-term objective: “Canada addressing its international Kyoto commitment to
iv.
Performance indicators: GHG emissions compared to Kyoto protocol; GHG emissions to GDP
reduce greenhouse gas emissions”
ration compared to other countries; Trends in use of renewable energy, Trends in energy
efficiency;…
v.
Performance target: “By 2010 reduce GHG emissions from federal operations by 31% below
1990 levels”
vi.
Performance Assessment for Strategic Outcome 3
d.
Strategic Outcome 4: “Safety and security in the natural resource sectors”
e.
Strategic Outcome 5: “A department that is efficiently and effectively managed”
4.
Government-wide initiatives and management issues
5.
Financial Performance
a.
Actual Expenditures by Strategic Outcomes and Activities
Strategic Outcomes
Activities
Connecting Canadians to geospatial information
Creating an Aboriginal property rights infrastructure
Departmental services
Developing Canada's North through geoscience and
geospatial information
Ensuring a clean and safe environment for Canadians
Investments in and support of forest sector programs
and special initiatives
Low level radioactive waste management
Leveraging investments in climate change
Market transformation and incentives for energy
efficiency and renewable energy
Meeting Canadians' security and safety needs
Policy research, development, and program support
Providing science, technology and innovation support
for the sustainable development of Canada's natural
resources
Regulation and assistance for the development of
offshore oil industry
Regulation, research, and control of explosives use
Stewardship of NCR facilities and workplace
environment
**
Less: Respendable Revenues
Total Net Expenditures
S.O.1
S.O.2
S.O. 3
S.O. 4
S.O. 5
TOT
60.6
19.1
16.9
60.6
19.1
16.9
16.9
6.6
19.8
3.0
6.9
14.0
36.7
14.0
2.7
9.3
16.5
2.2
12.3
9.3
18.7
9.6
67.7
10.9
118.3
60.8
17.9
57.1
39.6
8.1
91.5
51.6
117.1
267.0
299.9
11.4
2.6
206.9
11.4
10.6
431.6
303.2
7.2
9.2
6.0
231.7
9.2
81.6
45.3
23.0
991.2
Table 3-4: Natural Resources Canada Actual Expenditures by Strategic Outcomes and Activities
3.4.3. Government-wide performance reporting
TREASURY BOARD SECRETARIAT ANNUAL REPORT ON GOVERNMENT’S PERFORMANCE
Whereas the departments and agencies have to report to parliament about the results achieved in
their policy area, the Treasury Board Secretariat is responsible to report to Parliament about
performance measurement, reporting and results-based management at a government-wide level.
Therefore the TBS publishes since 1995 an annual report on the performance of the Government of
Canada. With this government-wide report the TBS hopes to build trust and to encourage citizen’s
engagement, to increase the transparency and accountability to Parliament and to encourage modern
management focused on results. The report is build around twenty quality of life indicators in the
areas of economy and innovation, health, environment and the strength and safeties in the
41
communities. Most data used to report on the quality of life indicators are provided by Statistics
Canada. The report also provides a gateway to departmental performance information by means of
electronic links to
Reports on Plans and Priorities and Departmental Performance Reports. The
following table gives an overview of the 20 quality of life indicators.
Economic
Health of Canadians
opportunities and
Canadian
Strength and safety of
Environment
Canadian
Air quality
Volunteerism
Water quality
Attitudes
communities
innovation
Real GDP per capita
Life expectancy
Real disposable income Self-rated health status
per capita
toward
diversity
Innovation
Infant mortality
Biodiversity
Employment
Physical activity
Toxic substances in the Political participation
environment
Literacy
Cultural participation
Safety and security
Educational attainment
Table 3-5: Quality of Life Indicators
CANADA AT A GLANCE
Statistics Canada publishes every year a report with key indicators about Canada, Canada at a
Glance. This report includes key statistics on the economy, the labour market, income, demography,
education, health, justice, housing, travel, finance and foreign trade. It also contains an international
comparison of a set of key indicators as population, GDP, expenditures on health etc.
CITIZENS FIRST SURVEY
In 1998 the Canadian Centre for Management Development and the Treasury Board Secretariat
conducted a survey on service delivery. More than 2900 Canadians gave their opinion about service
needs, expectations, degree of satisfaction and priorities for service improvement. The results of the
survey showed that Canadians rate public services in the same range as private sector services.
Federal, services were given an average rating of 6.0 out of ten, whereas private sector services were
on average rated 6.2 out of ten.
3.5.
Focus of monitoring: what is measured?
Every department and agency has to negotiate on a policy accountability structure that is used to plan
and report on performance and to structure the organisation. For each strategic outcome departments
and agencies have to demonstrate how their program results and resources contribute to their
strategic outcomes. The departmental performance reports are structured along the following
hierarchy of objectives:
-
Strategic outcomes
-
Key targets for strategic outcomes and overall results
-
Programs, resources and results linkages
42
-
Management practices
For each strategic outcome and program, resource allocations and performance indicators have to be
defined. However, reporting on outcomes still seems to be difficult. An assessment of departmental
performance reports of 2001 showed that only 31 of the 84 examined reports were focused on
outcomes. “Although most
Departmental Performance Reports define one or more strategic
outcomes, many of these could be classified as outputs as they were produced directly by the
department and were focused on activities under the direct control of the organization (Treasury Board
of Canada, 2002: 7)”. The assessment of the departmental performance reports of 2002, showed a
stronger focus on outcomes, although a lot of reports are still largely focused on activities, outputs and
immediate or intermediate outcomes (Treasury Board Secretariat, 2003b) .
3.6.
Quality control and audit of performance information
The Auditor General Act gives the Auditor General the statutory authority to examine the performance
measurement systems of departments. When the Auditor General finds that the procedures to
measure and report the effectiveness of programs are not established satisfactorily, then he/she the
shall bring this lack of performance measurement systems to the attention of the House of Commons5.
The Auditor General is thus not systematically auditing the departmental performance reports
systems, but is only auditing the performance information in a selection of programmes (Talbot et.al,
2001; OECD & World Bank, 2003).
The Auditor General conducted an overall assessment of the departmental performance reports in
1997 and in 2000. The Standing Committee on Public Accounts recommended the Auditor General in
2001 “to conduct random audits of the information contained in the performance reports of
departments in order to verify, among other things, that the information contained in these reports is a
fair representation of accomplishments against goals and objectives (Standing Committee on Public
Accounts, 2001)”. The Office of the Auditor General developed then a model for rating departmental
performance reports. This model was implemented for the first time in the spring 2003 when the
Auditor General assessed the quality of
performance reports of a selection of departments and
agencies: Citizenship and Immigration Canada, Correctional Services Canada, Immigration and
Refugee Board, National Defence, National Parole Board, Royal Canadian Mounted Police, the
Solicitor General Canada and Transport Canada. “These organisations represent $19.3 billion in
expenditures or 12% of the total government expenditures for FY 2001-2002 (Office of the Auditor
General, 2003).”
5
Auditor General Act: An Act respecting the Office of the Auditor General of Canada and sustainable development monitoring
and reporting 1995 c. 43 s.1., art 7 (2) d
43
Level 1
Level 2
Level 3
Level 4
Level 5
Basic
Fair
Good
Very Good
Excellent
1. Organizational
context and
strategic outcomes
are clear
Planned strategic outcomes at each level are increasingly aligned in logical sequence w ith the
department's operating environment, its legislated mandate, mission and relevant risks. They
indicate how the department and its key partners w ill contribute to the strategic outcomes
2. Performance
expectations are
clear and concrete
Statements of performance expectations are increasingly expressed as outputs and outcomes with a
direction, an amount of change, a timeframe and a strategy for achieving planned targets
3. Key results are
reported against
expectations
Key results are increasingly expressed as outputs and outcomes that contribute to each of the
planned strategic outcomes with results that are aligned with performance expectations. T hey are
increasingly accompanied by challenges, attribution and resource information.
4. Reliability of
performance
information is
supported
Performance information is increasingly supported by reliable sources and information on data
quality. T he performance information presented includes a balance between successes and
shortcomings.
5. Use of
performance
information is
Performance information is increasingly used to manage and improve further improvements.
demonstrated
Figure 3-3: Model for rating performance reports (Office of the Auditor General, 2003)
Departments and agencies also play a role in the quality control of performance information.
Departments conduct internal audits and evaluations of their programs in which they might control the
system of performance measurement. The Treasury Board Secretariat and the Office of the Auditor
General plan to release a Management for Results Self Assessment Tool for departments to monitor
and control their management information systems.
“The main issues raised by the OAG have been about the quality of financial data, the lack of focus
on outcomes, problems of coverage of performance data, information from new forms of service
delivery (Talbot et.al., 2001).”
3.7.
Use of performance information
3.7.1. Financial cycle
The Canadian Main Estimates are structured as a traditional programme budget, but since 1995
departments and agencies report on their plans and priorities in part II of the Main estimates to inform
parliament about the outputs and outcomes they want to achieve with the authorized resources.
Including output and outcome information in the budget however does not necessarily mean that this
44
information is used in the budget process. According to the OECD & World Bank Survey on budget
practices, performance information is used in determining budget allocation within ministries and
within programmes for less than 25% of the programmes (OECD & World Bank, 2003). Expenditures
are linked to output and outcome targets for less than 25% of the programmes. Performance targets
seem to be mainly used internally within departments in the process developing the budget
submissions. Performance information is used to allocate resources between and within programmes,
to set programme priorities, to change work processes, to set individual staff performance plans and to
adopt new programme approaches (OECD & World Bank, 2003).
3.7.2. Policy and management cycle
According to the Joint OECD- World Bank Survey performance information is not commonly used in
political decision making. This observation was confirmed in several assessments of departmental
performance reports of 2002: the departmental performance reports showed very little indication of
use of performance information for decision making (Treasury Board Secretariat, 2003b; Auditor
General of Canada, 2003).
The success of performance reporting seems to be positively correlated with evidence that the
information is used for decision-making or program improvements. A study of the Treasury Board
Secretariat that the Departments with satisfactory to very good departmental performance reports
scored high on the use of performance information to learn and the use of performance information for
decision-making. “In most of these cases the performance information has a strategic quality to it and
the focus is on outcomes, with a clear indication of the logic between what the a department does and
produces and how this contributes to the outcomes (Treasury Board Secretariat, 2003b).”
3.7.3. Accountability to parliament
A third important impetus to develop performance measurement systems has been the need for
increased accountability to parliament. The Improved Reporting to ParliamentProjuect aimed at giving
members of Parliament more information on the planned and realised results. However the use of
performance information in parliamentary oversight does not seem to be of great importance yet.
According to the joint OECD-World Bank survey on budget performance information is not used at all
by members of parliament (OECD & World Bank, 2003).
45
4. Performance management in the Netherlands
4.1.
History and objectives of reform
The Netherlands has a long tradition of performance measurement initiatives and policy evaluation.
The Commission for the Development of Policy Analysis yet worked in the seventies on performance
budgeting initiatives (1971-1978). It was only in the nineties that central, government-wide
performance initiatives were comprehensively implemented. The main objective of these initiatives
was to include performance indicators in the budget documents. The use of performance information
in the budget steadily increased over time and the focus shifted from input-, process-, output- and
outcome measures towards efficiency and effectiveness measures. These initiatives finally led in 1999
to the development of a new outcome-oriented budget structure. The initiative “From Policy budgeting
To Policy reporting” aimed at making the budget and annual reports more transparent and more
policy-oriented to increase the accountability to parliament. The new budget is divided into policy lines
(formulated as policy objectives) and departments have to explain the allocation of resources to policy
lines by means of strategic and operational objectives and efficiency and effectiveness measures. The
policy budgeting and reporting reform has been enacted in the Public Finance Act 2001. While
implementing this reform, there occurred the need to set a clear set of standards to guarantee the
quality of the non-financial information contained in the budgets and reports. Therefore the Ministry of
Finance developed the Regulation on Performance Measurement and Policy Evaluation. At the same
time, departments were developing internal information systems to support the reporting of nonfinancial information in the departmental budgets and reports.
Reform
Agency model
Date
1991-1997
Price and volume indicators
1994
Interdepartmental Policy Research
Efficiency indicators
1995
1997
Melkert Resolution
1998
Pilot projects performance measurement
and policy evaluation
1998
VBTB: From Policy Budget to Policy
Report
1999
Manual Government Governance
Regulation on Performance
Measurement and Policy Evaluation
2001
Manual “Policy planning and
performance measurement”
Regulation on the Internal Management
2002
46
2002
Objectives
Establishment of agencies with managerial flexibility and accrual
accounting and budgeting systems
Departments have to include in the budget document price and volume
measures on which the budget estimates are based.
Departments have to include efficiency measures in the budget
document
Parliament can specify in the budget the policy objectives on which
departments have to report by means of performance measures
Pilots implement performance measurement and policy evaluation
systems.
Dissemination of best practices.
Introduction of a new, outcome-based budget structure.
Performance information is integrated in the budget and in the annual
report and accounts to increase accountability to parliament.
Disseminating the concepts and practices of government governance
Model for government governance: steering-control-supervisionaccountability
Checklist to assess organisation’s government governance
Ministry of Finance issues quality guidelines for performance
information in budgets and annual reports and accounts.
Guidelines on the evaluation function in departments and agencies.
Step-by-step guide to formulate policy goals and to develop
performance measures
Departments are required to report in the budget and the annual report
Performance management in Sweden
Statement
Public Finance Act
2002
on the risks in their internal management.
Enactment of the new VBTB budget structure in the Public Finance Act.
Table 4-1: History and objectives of performance measurement reforms in the Netherlands
4.2.
Actors involved in performance management reform
4.2.1. Ministry of Finance, Division for Policy Instrumentation and Policy
Evaluation
The Ministry of Finance is the main actor responsible for setting the general performance
management policy. The Budget Directorate sets the general budgeting policy, prepares budget
legislation as the Public Finance Act and issues regulation as the annual Budget Instructions. Within
this Directorate there is a Division for Policy Instrumentation and Policy Evaluation that develops
performance management tools, guidelines and regulations. This division is responsible for supporting
the departments in the implementation of the outcome budgeting initiative VBTB. The Division for
Policy Instrumentation and Policy Evaluation also developed the Regulation on Performance
Measurement and Evaluation.
4.2.2. Central Bureau of Statistics (CBS)
The Central Bureau of Statistics (CBS) is the official organisation responsible for the collection and
publication of statistics. The focus of the CBS statistics collection is very broad. The decsion has been
made to transform the CBS into an autonomous agency (ZBO) from the 1st of January 2004 on
because of the importance of independent statistics collection. The CBS comes under the Ministry of
Economic Affairs. The program of statistics collections is set by the Central Commission for Statistics.
This independent commission has to watch over the impartiality, independency, relevance, quality and
continuity of the statistical program (Centraal Bureau voor de Statistiek, 2003a). Both within
departments and within parliament there is an increasing interest in an need for statistics to inform
policy making. Therefore the CBS has established a Centre for Policy Statistics. This unit provides
departments with policy statistics and supports departments in the collection of performance data.
4.2.3. Audit Court (Algemene Rekenkamer)
The Audit Court is the Dutch independent supreme audit institution, supporting parliamentary control
of the executive branch. Therefore the Audit Court conducts financial audits and performance audits.
The Audit Court played an influential role in the recent outcome budgeting reform, VBTB, both in the
development as in the implementation of the new system. The Audit Court, for example, formulated
47
advise on the new Public Finance Act 2001, examined and commented the budget documents and
formulated recommendations for improvement.
4.3.
Process of performance management
The Public Finance Act specifies the responsibilities of ministers concerning performance
measurements. Hereby a distinction is made between monitoring policy on the one hand and
monitoring management on the other hand. Ministers are first of all responsible for the effectiveness
and efficiency of their policies. They examine periodically the effectiveness and efficiency of the
policies they initiated with the allocated budgets and report the results of this examination to
Parliament and the Audit Court (Tweede Kamer der Staten-Generaal, 2002: art. 20). Secondly,
ministers are also responsible for running their department in an efficient way. Therefore ministers
have to examine periodically and report to Parliament and the Audit Court on the efficiency of their
department’s management (Tweede Kamer der Staten-Generaal, 2002: art. 21).
Within the departments the responsibility for performance measurement is split between the Finance
Directorate and the policy directorates. Every Minister is supported in the preparation and execution of
the budget by a central finance directorate responsible (Tweede Kamer der Staten-Generaal, 2002:
art.27). The Finance Directorate is the “financial conscience” of the department, implementing the
policies set by the Ministry of Finance. Often, the departmental finance directorates are staffed by
former employees of the Ministry of Finance. The finance directorate has to set and support the
general framework for performance management within the department, but it are the policy
directorates who finally have the responsibility for the collection of performance data.
Ministers have to report to Parliament on their policy achievements and managerial performance by
means of a departmental performance report. The performance report has to be submitted to
Parliament on the 1st of March.
4.4.
Guidelines for performance management
The performance management guidelines are enacted in the Public Finance Act 2001. This act
requires from ministers to measure the effectiveness and efficiency of their departmental policies and
management and to report efficiency and effectiveness measures in the budget and the annual report.
The Minister of Finance sets more detailed guidelines on the use of performance data in the budget in
the annual Budget Instructions. The Ministry of Finance also developed a set of quality standards for
performance information in the Regulation on Performance Measurement and Policy Evaluation. The
Regulation on Performance Measurement and Policy Evaluation distinguishes between regular
performance measurement systems on the one hand and evaluation studies on the other hand.
Performance information contained in the annual report has to be collected respecting the appropriate
quality standards of validity, reliability, accuracy and usefulness. Performance measurement systems
have to be set up according to the following quality standards (Ministerie van Financiën, 2002a):
48
-
Valid alignment of the system
-
There is a clear view on the demands of information and the system is tuned to the information
demands
-
Concepts are well-specified
-
Well-designed system
-
There is a multi-annual comparability to guarantee stability
-
Adequate selection of units and reliable and valid measurement
-
Valid techniques of analysis and valid techniques of drawing conclusions and recommendations
Every department has specific needs concerning performance measurement and therefore it is
important to develop policy area specific quality standards. The Regulation on Performance
Measurement and Policy Evaluation sets the general framework for quality standards. Departments
can develop more concrete quality standards by means of internal regulations.
A major issue in performance measurement is the high cost of collecting valid, reliable, accurate and
useful performance information. This issue is recognised in the regulation that states that the costs of
the performance measurement system may not be higher than the benefits. Departments may decide
not to implement a performance measurement system and not to report performance information
when they think that the costs might outweigh the benefits, but they have to explain there decision to
parliament in their departmental report.
The Ministry of Finance published in 2002 also a manual on “Policy planning and performance
measurement”, consolidating all regulation and guidelines on performance management. The manual
contains a step-by-step-process of performance management. The manual provides several steps to
fine-tune and improve the formulation of policy goals and performance measures supporting the policy
line structure. The following figure illustrates the step-by-step process (Ministerie van Financiën,
2002b).
49
Step 1: Is the Budget Policy Line complete?
Strategic goals and outcome measures? Operational goals and
output measures?
Step 2: Mapping the policy issue
Step 3: Matching policy line and policy map?
Final Outcome
External
influences
Intermediate
outcomes
Side
Effects
Policy Instruments
Step 4: Are the policy goals complete and
accurate?
Captivating?Time-specific?Target group defined?Measurable?
Accountability defined?To the point?Feasible?Controllable
Step 5: Rephrase the policy goals
Step 6: Are the performance measures complete?
Outcome measures? Output measures (price and volume)?
Activity measures (price and volume)? Quality measures?
Step 7: Are the performance measures accurate?
Valid and reliable? Relevant and op-to date? Well presented?
Learning function?
Step 8: Are the performance measures
embedded in the internal planning & control
cycle?
Alignment of internal and external planning & control
documents? Transparent accountability lines? Reliance on
information of external information?
Step 9: Rephrase the performance measures
Figure 4-1: Step-by-step process of policy planning and performance measurement
4.5.
4.5.1. Departmental level
OUTCOME BUDGET
The departmental budgets are structured along policy lines (beleidsartikelen) that should be
formulated as policy outcomes. In the explanatory note on the budget, departments explain what they
aim to achieve with the allocated resources, which actions they will take to achieve these outcomes
and how much these actions may cost. For each policy article departments have to provide the
following information (Tweede Kamer der Staten-Generaal, 2002: art. 5):
-
Strategic objectives
o
-
Effectiveness measures
Operational objectives
o
Effectiveness measures
-
Instruments
-
Multi-annual planning of program expenditures (t-2 to t+4)
-
Multi-annual planning of administration expenditures (t-2 to t+4)
o
50
Efficiency measures
-
Multi-annual planning of commitments (t-2 to t+4)
-
Multi-annual planning of incomes (t-2 to t+4).
-
Information about the assumptions on effectiveness, efficiency and estimates.
ANNUAL REPORT AND ACCOUNTS
Agencies report on the execution of the budget and their performance in a departmental report. This
report first of all includes information about the execution of the budget: the estimated and realised
commitments, the estimated and realised expenditures and the estimated and realised incomes. The
financial accounts are structured along policy lines. The departments report for each policy line on the
achieved policy outcomes and managerial performance in an explanatory performance statement,
containing the following elements:
-
Achievement of strategic goals
-
Achievement of operational goals
-
Instruments used to achieve the strategic and operational goals
-
Multi-annual data about the program expenditures, administration expenditures, commitments and
incomes (t-4 to t)
-
Efficiency and effectiveness measures
-
Statement on internal management.
The financial and non-financial information about the performance of the autonomous agencies
(ZBO’s) is integrated in the annual report and accounts of the parent ministry.
4.5.2. Government-wide level
The Public Finance Act 2001 does not require the government to publish a government-wide
performance report. Government-wide reporting of performance information consist mainly of
statistical reports. The Central Bureau of Statistics (CBS) publishes annually a government-wide
statistical report called “The year in numbers”. CBS also developed a website with general statistical
information available to the public, http://www.statline.nl. CBS reports statistical dossiers, as for
example on health, the economy an immigration in the CBS annual report (Centraal Bureau voor de
Statistiek, 2003b).
4.6.
Focus of performance measurement: what is measured?
The performance measurement requirements as set by the Public Finance Act are rather ambitious.
Performance measurement concerns as well the policies of the departments as the management of
the departments. Reporting output and outcome information is not sufficient: departments are obliged
to report effectiveness and efficiency measures. However, departments seem to focus mainly on
output measurement. The Audit Court examined the use of performance information in the
51
departmental outcome budgets for 2002 and made a classification of the performance information
contained in it. The following table illustrates the results of this study.
( < 15% are not included)
Input
Activity
Output
#
Foreign Affairs
Justice
Interior Affairs and Kingdom
relations
Education, Culture and
Science
Finance
Defense
Housing, Regional Planning
and Environment
Transportation and Water
Management
Economic Affairs
Agriculture, Nature
Management and Fisheries
Social Affairs and
Employment
Public Health and Sports
115
220
75
30%
Outputs of local
governments
and
autonomous
agencies
Outputs of
business,
citizens and
and
organizations
Final
outcome in
society
40%
33%
60%
65
230
130
25%
175
15%
35%
145
70
Outcome
90%
240
110
85
Intermediate
outcomes
25%
50%
60%
40%
15%
40%
33%
35%
35%
45%
40%
30%
20%
15%
33%
45%
30%
24%
15%
17%
23%
Table 4-2: Share of input-, activity-, output- and outcome measures in 2002 departmental budgets (Algemene Rekenkamer,
2002).
This study shows that departments report mainly output measures in their budget documents. The
Audit Court also examined the use of performance information in the 2002 performance reports,
combined with an examination of the 2003 departmental budgets. The conclusion of this study was
that departments mainly report information about expenditures and outputs, whereas information
about outcomes was rather rare (Algemene Rekenkamer, 2003).
4.7.
Quality control and audit of performance information
The importance of valid and reliable performance information is enacted in the Public Finance Act
2001 (art. 58). “The policy and management information contained in the departmental report has to
be collected, analysed and reported according to information quality standards”. The Audit Court has
the statutory authority to examine annually whether the performance information contained in the
performance report respect the information quality standards (art 82 (e)).
The Audit Court examined the use of performance information in the departmental budgets of 2002
and 2003 and in the departmental annual reports of 2002 (Algemene Rekenkamer, 2003). The
conclusion of this study was that most departments include information about outputs in their budgets
and their annual reports, but that they do not link outputs to expenditures and thus do not report on the
efficiency of their programs. Information about the final outcomes achieved as a result of the
departmental policies is lacking. Another important conclusion was that the information about
52
expenditures, outputs and outcomes was insufficiently compared over time. Departments do not focus
enough on the differences between the planned outputs and outcomes and the achieved outputs and
outcomes. There might be several explanations for these problems:
-
the complexity of the policy area: no direct relationship between expenditures and outcomes,
influence of external factors, cross-cutting issues, international context
-
high costs of measuring efficiency and effectiveness,
-
learning process: lack of experience with performance measurement, lack of historical data, lack
of incentives as the performance information is insufficiently used in the budget process,
-
selective data reporting because of the need for conciseness (Algemene Rekenkamer, 2003).
van Dijken and van Schoten examined the “SMARTness” of the performance objectives in the 2003
departmental budgets. They concluded the following:
-
31% of the operational objectives were specific,
-
41% of the operational objectives were measurable,
-
48% of the operational objectives were time-specific,
-
176 of the 497 operational objectives were neither specific, measurable, nor time-specific (van
Dijken and van Schoten, 2003) .
Recently, steps have been taken to install an internal audit function in the Departmental Accountancy
Divisions. Departmental Accountancy Divisions are currently responsible for certificating the
departmental accounts. These divisions will be transformed into Departmental Audit Divisions. The
internal audit examines whether the department has a well-developed and effective internal control
system. The audit of management information systems could potentially be a part of the internal audit.
4.8.
One can conclude that the performance management system is a multifunctional system: performance
information is used in accountability to Parliament, in policy planning, in budgetary decision making
and in internal management. The question arises whether the performance information is used for
these several purposes and by these several actors to the same extent. To what extent do the
performance data influence the budgetary decision making? To what extent is parliament using the
performance information in the exercise of its parliamentary control function?
4.8.1. Financial cycle: outcome budgeting
In the Netherlands, a budget reform initiative was set up in 1999 to strengthen the governmental
accountability to parliament and the public by creating a more transparent and outcome-oriented
budget structure and by focusing the budget debate more on the broad policy priorities of government.
The reform named “From budgeting for outcomes to reporting for outcomes” has the ambition to
enhance the connection between the budget and the annual report and accounts.
53
The new performance-oriented budget format has been introduced in 2001. In this new budget format,
appropriations are made for beleidsartikelen or policy lines. These are outcomes that the Dutch
government aims to achieve. The policy objectives, the instruments to achieve them, the outputs to
deliver and the estimated means are described in the explanatory statement. The following table
illustrates the structure of the budget documents.
Level of
Approval by
Parliament
Department
e.g. Department for Social Services and Employment
Policy Items
e.g. “Improving the possibilities to combine labour and care”
Strategic Objectives
e.g. “Improve the possibilities to combine labour and care”
Operational Objectives
e.g. “Retain the current supply of high quality nurseries, 182 653
places”
e.g. “Total number of places for children in nurseries”
Appropriation Act
2004
X
X
Explanatory
Note
2004
X
X
X
X
X
4.8.2. Policy and management cycle
A second important impetus for the development of performance measurement systemes is the use of
performance information in policy and management decision making. According to the oECD & World
Bank survey performance iformation is used in political decision-making by ministers and by the
cabinet (OECD & World Bank, 2003). The extent to which the performance information is used and the
influence on the political outcomes, however, needs to be further examined. The performance
information is also an instrument in the departmental planning and control cycle. The performance
information is used within departments and agencies to allocate resources between and within
programs, to set program prioirities, to change work processes, to set inidvidual performance plans
and to adopt new program approaches (OECD & Woirdl Bank, 2003). The extent to which the use of
performance information varies between departments and agencies is an important subject for further
research.
4.8.3. Accountability
A third important application of performance information is the extrenal reporting on
results, to
parliament and to citizens. This accountability objective was also integrated in the performance
budgeting project VBTB (“From outcome budgeting to outcome reporting”). The aim was to make the
budget and the annual reports more transparent to enhance the accountability towrads citizens and
members of Parliament. The extent to which the reform was effective, needs to be further examined.
54
5. Performance management in Sweden
“Sweden has for almost 200 years built its state bureaucracy on semi-autonomous agencies. Only a
small percentage of civil servants of the central administration are employed by ministries, the majority
by agencies or boards (Larsson, T., 2002: 178).” There are 10 central ministries, employing each only
a few hundreds of people. The ministries are responsible for policy preparation, planning and coordination. For the preparation and investigation preceding government bills, the government sets up
ad hoc commissions of inquiry. There are about 300 agencies employing almost 200000 civil servants.
The agencies may range hugely in numbers of employment, from very small agencies with a handful
of employees to very large agencies counting 25000 employees). There are three types of agencies:
administrative agencies, public enterprises and state-owned companies.
The autonomy of agencies is constitutionally anchored in de principle that ministers cannot interfere in
the operations of agencies putting the laws adopted by parliament into effect. Agencies have a
significant flexibility in spending resources: annually they receive a lump-sum appropriation, they van
carry over unspent resources to the next year’s budget and they can borrow against next year’s
appropriation. Agencies have their own interest-bearing accounts which gives them incentives for
good cash management. Agencies are also responsible for their own Human Resources Management
within the overall requirements set and monitored by the Ministry of Finance.
The autonomous agencies are steered and controlled by means of several instruments (Swedish
Financial Management Authority, 2003a: 4). Firstly agencies have to operate within the framework set
in laws and regulations (e.g. the Government Agencies Ordinance, Budget act, Financial Management
Ordinances) and instructions about their duties and responsibilities. Secondly ministries are
responsible for the results-oriented steering and control of agencies by means of objectives set in
instruction letters and reported on in annual reports and performance dialogues. A third important
steering instrument is the financial steering: agencies have to submit their annual budget request to
the mother ministry deciding on this basis on the agency appropriation. Finally ministries have kept the
authority to appoint the Directors General of the agencies despite the decentralisation of the human
resources management to the agencies. Ministries can also influence agencies by choosing the
chairmen and members of the agency advisory boards.
5.1.
History and objectives of performance management reforms
The Swedish government started yet at the end of the sixties with program budgeting and
management by objectives but this reform was not perceived fully successful. The government picked
up the thread of results-oriented reforms at the end of the eighties
with the introduction of a
performance management system. The performance management system introduced increased
managerial and financial flexibility, reporting mechanisms, three-year budget estimates and
performance auditing. In 1993 the government implemented an accrual accounting system to support
55
the performance management reform by providing information on the costs per output. “The reforms
that followed during the late 1980’s and early 1990’s, based on the concept of performance
management, represented an attempt to restore, and make more explicit, the decision powers of the
political leadership. The government was required to provide a better description of what is expected
from an agency and the budget horizon was prolonged. In return agencies were given extensive
freedom when deciding on the use of administrative allocations, but where simultaneously required to
deliver improved reports and analyses of their achieved results (Molander, Nilsson & Schick, 2002).”
Enduring the first half of the nineties, the need for stricter financial control dominated the public debate
and results-oriented reforms were pushed into the background. This focus on financial control led in
1996 to the implementation of a new, top-down budget process with three-year expenditure limits.
When public finances became more healthy in the second half of the nineties, performance
management regained attention. In 1997 a new performance budgeting initiative was launched, the
VESTA project, aiming at the integration of an activity structure in the budget and at the
implementation of an accrual budget. In 2000 a White Book on performance budgeting was published
to confirm the steps towards more results-oriented budgeting and to refine them.
The government appointed in 1995 a commission to analyse the societal demands to state
administration, today and in the future and to find out the central issues for the public administration of
the future. The conclusions of the commission were translated in the White Paper “Central
Government Administration in the Citizens’ Service” and approved by Parliament. Swedish central
government administration should be accessible and obliging towards the public, have citizens’ full
confidence, give business and industry favourable conditions for work and growth and be successful
and respected in its international co-operation (Gustafsson & Svensson, 1999). To realise this aim the
Swedish government developed four guidelines for modernisation: concentration on core activities and
collaboration, quality and skills development, focus on performance and effective provision of
information. The White Paper contains a warning for using performance measurement as an
instrument for financial control. “There is a danger that general savings measures on the cheeseparing principle may, in certain situations, become an ineffective instrument. The Government
considers that further efforts to promote efficiency should be primarily focused on more systematically
examining state commitments in one sector after another (Gustafsson & Svensson, 1999: 165).” The
White Paper confirms the importance of performance management as a tool for giving more
responsibility to agency management on the one hand and as an instrument for policy steering and
follow-up by departments on the other hand. The intention was formulated to report annually to
Parliament in productivity trends in central government administration. The Government also made the
commitment to ensure the accessibility of all relevant public sector data to the public, at reasonable
cost and on equal terms for all groups in society. Quality and skills development are central principles
to public sector modernisation. Therefore a special agency, the National Council for Quality and
Development was established in 1999 with the tasks of promoting and supporting the development of
a high quality public administration with competent public servants. The following table gives an
overview of the history of relevant performance management reforms in Sweden.
56
Initiative
Date
1988
Accrual Accounting
1993
Budget and Fiscal
Management Act
VESTA
1996
1997
White Paper Central
Government Administration at
the Citizens’ Service
1998
National Council for Quality
and Development
White Book on Performance
Budgeting
Council for the Coordination
of Official Statistics
1999
2000
2002
Objectives
Increase of financial and managerial flexibility for agencies
Introduction of performance auditing
Introduction of an accrual accounting system to support performance management
by providing information about the costs per output
New budget process with a top-down procedure, tri-annual expenditure ceilings
and flexible appropriations
Accrual budgeting
More results-oriented budget structure
Guidelines for a citizen-oriented public administration based on service, quality,
ethics and skills :
Concentration on core activities and collaboration with other players
Quality and skills development:
Focus on performance
Effective provision of information
Establishment of a special agency to promote and support quality and skills
development
Introduction of an activity structure (policy areas, programs and subprograms)
linked to the finance structure
Establishment of an advisory council on issues of accessibility, quality and utility
of official statistics
Table 5-1: History of public sector reforms relevant for performance management in Sweden.
The objectives of the performance management initiatives are thus twofold. One the one hand the
reforms aim to increase the efficiency of government operations by decentralising management
responsibilities and creating financial management flexibilities. The responsibility for policy
implementation is decentralised to executive agencies reporting to government about the results
achieved with the appropriations. On the other hand, performance management reforms aim to
increase the transparency of government and the accountability of the executive branch to parliament
and to the citizens (Swedish National Financial Management Authority, 2003). There have been
several demand pressures to develop and collect performance measures, from within central
government administration, from the public and internationally: the increased need for government to
focus on efficiency and effectiveness, the evolution of the instruction letters towards tools for
performance planning, the diminishing trust of citizens in public administration , the increasing public
demand for public statistics and the EU requirements to collect and report information.
5.2.
Actors involved in performance management reforms
5.2.1. Ministry of Finance and Swedish National Financial Management
Authority (ESV)
The Swedish National Financial Management Authority (ESV) is an expert agency of the Ministry of
Finance responsible for performance and financial management in the central government sector and
for business systems and human resources systems of central government agencies. It was
established in 1998. The overall objective for ESV to achieve is “that the government administration is
characterised, in its entirety, by high levels of productivity, high quality and good service from which
decision-makers, citizens and trade and industry can derive advantage. ESV is also responsible for
providing information on the national economy and financial statistics for the central government
57
annual report. ESV supports agencies by providing business systems and HR systems. To be aware
of the needs of the agencies, ESV conducts an annual survey on agencies’ business and HR systems.
Within ESV the Division for Budget Process and Performance Management is responsible for
assisting ministries and agencies in the development of financial and performance management
systems. ESV conducted at the end of 2002 a survey on the views of customers on the performance
and financial management. ESV asked the agencies how well they consider the performance and
financial management function discharging its responsibility for monitoring and developing financial
management in central government. 56% of the respondents assessed the central performance and
financial management function as “good” or “very good”. Only 3% considered that the financial and
performance management function was unsatisfactory (Swedish National Financial Management
Authority, 2003b: 9-10).
5.2.2. Office of Public Management (Statskontoret)
The Office of Public Management (Statskontoret) is an agency of the Ministry of Justice, responsible
for governance and organizational issues in central government administration. The Office of Public
Management was established in 1998 after a huge Cabinet reshuffle. The participation in the 1998
election decreased to 81.4 percent, the lowest figure since the 1950’s (Gustafsson & Svensson, 1999:
149). This was perceived as an important signal of the decreasing confidence of citizens in
government. Therefore a new Minister was appointed responsible for democratic institutions and
public administration issues. By installing a new public management agency under the Ministry of
Justice, the government hoped to shift the focus of reforms towards democracy and citizen
involvement.
The Office of Public Management plays an advisory and supporting role towards ministries and
agencies and is conducting evaluations and reviews. These are its principle responsibilities:
-
Evaluation and control of state transfers
-
Central government’s relations with the local government sector
-
Public administration and the European Union
-
Deregulation and outsourcing of public service activities
-
Structure, governance and development of public administration
-
Electronic infrastructure for public administration
-
IT-supported modernisation of public administration
-
Co-ordination of IT purchasing
-
Provision of premises for the central government (Gustafsson & Svensson, 1999: 152).
5.2.3. National Council for Quality and Development
“The task of the National Council for Quality and Development is to support and to stimulate the
central agencies’ quest for long-term, systematic quality development and skills provision. This
includes enhancing administrative know-how among agencies staff and their grasp of basic ethic
58
values as rule of law, democracy and efficiency6”. Therefore the National Council for Quality and
Development organises conferences, seminars and skills development programs for heads of public
administrations, senior directors and leaders of reform projects. It is also publishing training and
discussion material. The Council aims at promoting the exchange of experiences with researchers and
lectors at universities and colleges. The Council has set up among other things a project on strategic
leadership, a “Women Managers” program, a mentor program and academic in-service training for
management and development.
5.2.4. Statistics Sweden
Statistics Sweden is the central government agency responsible for official statistics. Statistics
Sweden is, similar to the Office of Public Management, an agency of the Department of Justice. The
mission of Statistics Sweden is to develop, produce and disseminate statistics, to participate actively
in
statistical
cooperation
on
an
international
level
and
to coordinate and support the Swedish system for official statistics by means of issuing guidance and
advice on official statistics. Statistics Sweden has the vision to be the world leader in the development,
production and dissemination of statistics. Statistics Sweden has a work force of
around 1390
employees and a turnover of 827 million SEK (400 million SEK of the annual appropriation and 427
million of commissioned work) (Statistics Sweden, 2003: 1).
There is an Official Statistics Act setting out the conditions for official statistics. Official Statistic are
produced for use in policy planning an decision-making and are freely disseminated to the citizens.
The conditions for producing official statistics are set out in the Official Statistics Act. The Official
Statistics Ordinance of 2001 states which authorities are responsible for collecting official statistics in
the different policy areas. Statistical authorities are agencies appointed to produce official statistics in
their policy area. There are 25 statistical authorities each responsible for the collection and publication
of official statistics in their policy area. Statistics Sweden is the official statistics authority for the broad
areas of society, namely the labour market, the economy, business and prices, population and welfare
and housing and constructions. In 2002 a Council for Official Statistics was established to strengthen
the coordination of Swedish official statistics. This council has an advisory function on issues as the
accessibility, quality and utility of official statistics. The Council also administers a website, SAM
Forum where official statistical authorities can find information, instruments and tools for collecting
official statistics.
5.2.5. Ministries
Ministries are responsible for policy preparation and steering and control of the semi-autonomous
agencies attached to the department. The Departments define the broad policy objectives towards
which the agencies’ activities have to be oriented. The department also has to specify the
6
http://www.kkr.se
59
performance information the agencies have to report on. Both the policy objectives and the reporting
requirements are contained in the annual instruction letter or Regleringsbrev. Within each ministry a
desk officer is assigned to plan and follow-up the policy implementation and execution by executive
agencies. The steering and control of agencies lays a heavy burden on the ministries. The very small
ministries, however, often lack the capacity of analysis to fulfil this task. Desk officers responsible for
the follow-up of the agencies are often junior civil servants, lacking experience in the policy area.
5.2.6. Agencies
Besides the 10 central ministries, there are about 300 semi-autonomous agencies responsible for the
execution of the law and the implementation of the policies as set by the ministries. According to the
Verksförordning, a Government decree regulating the organisation of agencies, agencies are obliged
to co-ordinate activities with other agencies and policies, to evaluate their activities, to give good
service to the public and to keep good accounting. Agencies are lead by a Director-General appointed
by the government and carrying out the following responsibilities as set out by the Agency Ordinance:
-
to manage government funds efficiently;
-
to guarantee that the agency co-ordinates its activities with other agencies to the benefit of the
government as a whole;
-
to constantly review and re-consider the agency’s own activities, and – if required – take
necessary measures;
-
to take into consideration requirements on the agency’s activities implied by defence concerns,
regional policy, an ecologically sustainable development and equality between the sexes;
-
to ascertain that the general public’s and outside parties’ contacts with the agency are
characterised by good service and accessibility;
-
to ascertain that the agency is organised so that accounts, the administration of public funds as
well as the agency’s activities at large, are appropriately held and monitored (Molander, Nilsson &
Schick, 2002: 74).
The Director General is most often supported in his/her function by a controller responsible for the
development and follow-up of the management information system of the agency.
5.2.7. Agencies with a specific monitoring and evaluation task
Recently there were two new agencies established with a specific evaluation and monitoring task, the
Office of Labour Market Policy Evaluation and the Swedish Institute for Transport and Communication
Analysis. Office of Labour Market Policy Evaluation studies the functioning of the Labour market and
evaluates the effects of labour market policy by examining the activities of other labour market
agencies. The Swedish Institute for Transport and Communication Analysis is responsible for carrying
out evaluation studies, developing forecasting and planning methods and for collecting official
statistics (Molander, Nilsson & Schick, 2002: 82).
60
5.2.8. Swedish National Audit Office (Riksrevisionsverket)
The Swedish National Audit Office (Riksrevisionsverket) used to be part of the executive branch as an
agency of the Ministry of Finance. Parliament was supported in its oversight function on the executive
branch by a group of Parliamentary Auditors . On the 1st of July 2003, a merger of the executive audit
office and the parliamentary auditors has led to the installation of an independent Supreme Audit
Institution reporting to parliament. The audit institution is named the Swedish National Audit Office or
Riksrevisionen. The Swedish National Audit Office is responsible for auditing the Government
ministries, agencies, the courts and administrative authorities, the administration of Parliament
(Riksdag) and the authorities under the Riksdag. It is lead by three Auditor Generals and is
organisationally divides in the following departments:
-
Performance Audit Public safety, coordination and administration of finance
-
Performance Audit Welfare and health
-
Performance Audit Education and development
-
Financial Audit Public safety, coordination and administration of finance
-
Financial Audit Welfare and health
-
Financial Audit Education and development
The responsibility for these areas will circulate between the Auditors General, who will be actively
involved in the auditing process within their areas of responsibility. Each Auditor General's main area
of responsibility consists of two financial audit departments and two performance audit departments.
There will also be three special divisions: an international division, a division for quality and methods
and a division for the audit of public companies and special audits. Major findings from the
performance audits and annual audits are to be compiled by the Audit Office in an annual report
submitted to the Government and Parliament.
5.3.
Process of performance planning and reporting
The Swedish performance management process is integrated in the budgeting process. The following
figure illustrates the link between the budget cycle on the one hand and the reporting cycle on the
other hand.
Budget process
January- February
March
April
May
June
September
October
November
December
Budget Request t+1
Spring Fiscal Policy Bill (27
expenditure areas) presented
to parliament
Decision-making on
appropriations to agencies
Parliamentary approval Spring
Fiscal Policy Bill
Budget Bill presented to
parliament
Parliamentary approval
Budget Bill
Annual Instruction Letter
t+1(Regleringsbrev)
Reporting process
Annual Report t-1
Annual Report Central
Government Sector t-1
Six months report
Informal dialogue between
ministries and agencies.
Annual Instruction Letter
t+1(Regleringsbrev)
Table 5-2: Budget process and reporting process in Sweden
61
5.4.
The crucial guidelines for monitoring and control are set in the Ordinance on Annual Reports and
Budget Documentation (2000:605). This Ordinance states that the annual report should give a true
and fair view of the results of operations and of expenses, revenues and the financial position of the
agency (Swedish Financial Management Authority, 2001). The agency head or Director-General plays
an important role in the development of a monitoring and control system. The Director-General’s
responsibilities are specified in the Agency Ordinance. Besides the reporting guidelines, there are also
specific rules for the collection of official statistics. These are specified in the Official Statistics Act, the
Official Statistics Regulations and the Instructions of Statistics Sweden.
5.5.
Most Swedish government documents are publicly accessible as Sweden has a very strong principle
of public access to government documents. Reporting performance information is ruled by the
principle of public access to government documents. Most official documents are accessible to the
press and to private citizens. All files of any administrative office are open to the public if not classed
as ‘secret’ under the Freedom of the Press Act and the Secrecy Act for reasons related to military
security, international relations or the privacy of the individuals concerned. Nobody is obliged to justify
his or her wish to see a public document or to reveal his or her identity in order to obtain access to the
document. Anyone denied access to an official document may lodge an appeal against the agency’s
decision (Swedish Institute, 2002).
In the original performance management system agencies were required to submit a three-year indepth budget request to explain their budget submission. The in-depth budget requests contained an
environmental scan, an analysis of the activities, outputs and outcomes in a 5-year perspective and a
a resource analysis. These in-depth budget request were however insufficiently used as a source of
information in the budget process as they were too extensive and unbalanced (Bouckaert, Hoet &
Ulens, 2000). Therefore a yearly planning and reporting cycle was introduced with annual Instruction
Letters or Regleringsbrev and annual reports. Agencies report also every six months in a simplified
way on the achievement of their objectives. They provide monthly a prognosis of the use of resources.
There is also a broad dissemination of the official statistics collected by Statistics Sweden and other
statistical authorities. These statistics are published on the internet and in Statistics Sweden’s
publications as for example the Statistical Yearbook of Sweden.
5.5.1. Instruction Letter (Regleringsbrev)
On the one hand, the instruction letter is an instrument for financial steering as it contains the lumpsum appropriation to the agency. On the other hand, it has become an instrument for results steering
as it contains the objectives the agency has to achieve with the appropriated resources. An instruction
letter commonly contains the following elements:
62
1. Activities
a. Activity steering
i. Policy area e.g. “Labour Activity Policy”, e.g. “Housing Policy”
1.
Goals and targets e.g. “An excellent labour life with well functioning labour
conditions”
2.
ii.
iii.
Reporting requirements and indicators
Programs e.g. “Work Environment Protection”, e.g. Houding Supply
1.
Goals and targets e.g. . “To develop an excellent work environnment”
2.
Reporting requirements and indicators
Sub-programs e.g. “Rules and Standards”, e.g. “Restructuring the Local Housing
Company”
1. Goals and targets e.g. “Rules and Standards which support developments
of sound, reliable and developed work environment. The rules will
become clear and more easily accessible”
2. Reporting requirements and indicators
b. Organisational steering
c.
Assignment
2. Finance
a. Agency Appropriation
b. Fees and subsidies
3. Rules for exceptions
The Swedish National Financial Management Authority (ESV) has developed a web-based system to
store the data on the operational objectives of agencies, allocations of funds, the authority to use
appropriations etc. Ministries and agencies directly insert the Regleringsbrev information in the system
and a web-based reporting system will be installed (Swedish National Financial Management
Authority, 2003b: 40).
5.5.2. Annual Report
Every Swedish agency has to report on is activities and results in an annual report. Each agency has
to submit its annual report to the Government by February 22. The agency also sends a copy of the
annual report to the Swedish National Audit Office and to the Swedish Financial Management
Authority. The annual report is audited by the Swedish National Audit Office, but it is not submitted to
Parliament. The Swedish Financial Management Authority collects the information for the consolidated
annual report for the central government that is submitted to Parliament.
The agency annual report contains on the one hand the financial statements and on the other hand
the performance report. The structure of the annual report is regulated by the Ordinance Concerning
the Annual Reports and Budget Documentation (SFS2000:605) (Swedish National Financial
Management Authority, 2001: 36). The instructions on the information contained in the performance
63
report are set in the annual Instruction Letter of the mother department. The annual report shall
consist of:
-
a performance report,
-
a statement of financial performance,
-
a statement of financial position,
-
an appropriation report,
-
a cash flow statement.
The constituent parts of the annual report shall be arranged as a composite whole and shall provide a
true and fair view of the results of operations and of expenses, revenues and the financial position of
the agency (SFS 2000:605).
There have been some questions raised about the quality of the annual reports. As the objectives in
the instruction letters are often not very specific, but rather vague it is difficult for the agencies to report
on the achievement against the objectives so that they slip back into summing up their activities and
operations. Another problem with the annual reports is that they are very narrative and often very
voluminous which makes it very difficult for users to identify the relevant and crucial information.
“Parliament has voiced concern about the quality of the performance information that is presented in
the budget documentation. It is considered too dispersed and overly focused on outputs rather than
policy relevant outcomes (Blöndal, 2001).” However, the quality of the annual reports seems to be
improving as agencies are becoming more experienced (Blöndal, 2001:54).
5.5.3. Performance dialogue
Besides the formal reporting on their results by means of an annual report, agencies also debate with
their mother department in an informal way by means of regular performance dialogues. The
performance dialogue is an informal dialogue between the agency head and the cabinet minister or
state secretary. It contains as well a discussion on the performance of the agency as a conversation
on the performance of the agency head. The agency performance is evaluated by considering the
achievement of the objectives, the effects of the activities and the costs. The dialogue on the agency
heads performance and his or her career planning is focused on the manager’s work situation and the
needs for development and change.
5.5.4. Financial benchmarking
The Swedish National Financial Management Authority reviews annually the financial management
and internal control system of the agencies by means of instructions of the Ministry of Finance. The
agencies are scored (A= fully satisfactory, B= satisfactory and C= not satisfactory ) against the
reliability of their accounts, the quality of their financial management and their internal control system.
The review is based on the following questions. Does the agency exceed its appropriations? Is there
an evaluation in place of the internal control system? There are no sanctions or advantages linked to
64
this review. The results are however publicly reported which forms an important incentive to score well
on this review7 (Blöndal, 2001: 50).
1994/95
A (fully satisfactory)
B (satisfactory)
C (not satisfactory)
Total
#
111
120
22
253
1995/96
%
44
47
9
#
162
60
19
241
1997
%
67
25
8
#
186
28
17
231
1998
%
81
12
7
#
166
45
21
232
%
72
19
9
Table 5-3: ESV assessment of the agencies financial management systems (Swedish National Financial Management
Authority, 1999: 37)
5.5.5. Official Statistics and the Statistical Yearbook of Sweden
All Official Statistics are publicly available free of charge on the internet. Statistics Sweden reports that
the number of retrievals has increased significantly since access became free of charge8. Official
statistics are presented to the public through newspapers, radio, TV, Statistics Sweden website and in
printed publications. The official statistics are mainly used by the central government authorities (62%
of the invoices in 2002 excluding publications). There is an online database of all official and other
statistics of Sweden, Swedish Statistics Net 9. This database is set up to help users locate statistics on
the internet. As both Statistics Sweden as the statistical authorities are responsible for collecting
statistics it is important for users to know where to find the statistics they need. The database is
divided into 22 subject areas which are further divided into subject fields. For each subject field the
database provides information on the responsible statistical authority.
The Statistical Yearbook of Sweden is a statistical abstract that provides summary statistics on a
broad range of conditions and activities in Sweden. On a limited scale, similar data from other
countries are included to facilitate international comparisons. The Statistical yearbook also gives
information about where more detailed sources and data can be found. All Microsoft Excel tables and
diagrams are provided on a CD-rom attached to the Yearbook as all official statistics are available
freely to the public.
5.6.
The information systems exists of an
organisational dimension on the one
hand and an activity dimension on the
Organizational Dimension
Activity Dimension
Expenditure Area
7
Policy
Area
Interview with Bengt Anderson, Director of the Department for Performance and Financial Management
of the
Swedish
th
National Financial Management Authority (ESV), Stockholm, 30 may 2003.
8
from 71000 in 1999 to 248000 in 2002 (Statistics Sweden, 2002)
9
http://www.svenskstatistik.net/eng/index.htm
Program
Agency Appropriation
Figure: Focus of performance information
Sub-program
65
other hand. The organisational or financial dimension exists of 27 expenditure areas for which
expenditure ceilings are defined. These expenditure areas are derived form the division in
parliamentary committees. Examples of expenditure areas are justice, education and university
research, energy and international development co-operation (for a comprehensive list see
Appendix1). Within this expenditure ceiling agencies receive lump-sum appropriations to finance their
operations. In the activity dimension, the 27 expenditure areas are divided into 47 policy areas. These
policy areas define the main themes in which the government is active. Examples of policy areas are
effective public administration, labour policy and media policy. Some expenditure areas are not further
split up into policy areas and then the expenditure area and the policy area are identical. Policy areas
are further split up into cross-agency programs. These programs are further divided into sub-programs
for which only one agency can be responsible. For each policy area, program and sub-program
performance goals and indicators are specified.
5.7.
Audit and quality control of performance information
When agencies submit their annual report to the government they are obliged to send a copy of the
report to the Swedish National Audit Office, which is responsible for auditing the quality of the financial
and non-financial information in the annual report. The Swedish National Audit Office is thus
systematically auditing the quality of the agency reports. The Swedish National Audit Office publishes
its most important observations about the agencies’ activities in its own annual report. The Swedish
National Audit Office concluded in 1999 that the agencies ‘ annual reports rather give a lengthy
overview of the activities and organisation of the agency than an explicit analysis of the achieved
results (Swedish National Audit Office, 1999). The Audit Office gives its opinion about the general
state of affairs of the central government administration. Negative comments on agencies ’ operations
are made in the government’s Spring Bill.
Besides the audit of annual reports, the Swedish National Audit Office also conducts about 20 selfinitiated performance audits each year. Some of these performance audits also have the purpose to
examine the quality of management information systems. They vary in research subject (one agency
or a complete policy area) and in focus (performance measurement versus performance
management).
Examples of these performance audits are (Swedish National Audit Office, 2000; Swedish National
Audit Office, 2001b; Swedish National Audit Office, 2002; Swedish National Audit Office, 2003):
-
Problems with statistics on criminal investigations (1999)
-
Management by results at the Swedish Meteorological and Hydrological Institute (1999)
-
Management control and performance reports at the Radiation Protection Institute (2000)
-
Reports on the fulfilment of the environmental objectives: the missing link in performance
management (2000)
-
Up to standards? The measurements made by the National Insurance Board and the Social
Insurance Offices of the quality of their administrative work (2001)
-
Management and reports on performance at the Swedish Nuclear Power Inspectorate (2001)
-
Risk management in Justice agencies (2002)
66
-
Government information programmes in the health and medical sector (2002)
The Swedish National Financial Management Authority (ESV) has developed a set of criteria for
performance reporting and has compiled as survey on how agencies have fulfilled these criteria. There
was also an attempt made to explain the differences in the quality of performance reporting between
agencies. ESV describes its work on the quality of performance reporting largely as pioneering work.
Performance reports need to give a true and fair picture of the activities and results of the agency.
This requirement is rather abstract and the first objective of ESV was thus to make this more
understandable. Secondly ESV also tried to find out why the quality of performance reports varies
between agencies. In the future ESV intends to establish general accepted performance reporting
standards and to continually follow-up the quality of the agencies’ performance reports.
Statistics Sweden is responsible for the quality control of
official statistics. Statistics Sweden is conducting a quality
control of the official statistics published by the Statistical
Authorities. This quality control is based on five criteria:
contents,
reliability,
timeliness,
comparability
and
compatibility and availability and accessibility (Statistics
Sweden, 2003: 5-6). A study of 2002 showed clearly that
there was a huge improvement in the contents, reliability,
timeliness and availability and accessibility. However, there
remained problems with compatibility and comparability.
These results are based on a survey of Statistics Sweden
program managers making an assessment of the users
reactions on quality development. Managers are asked to
scale the statistical products on a scale based on the five
criteria and 27 subcriteria. Remaining challenges are
delivering the statistical products in time and tackling the
problem of non-response in Statistics Sweden’s surveys.
5.8.
In 2003 the OECD and the World Bank conducted a joint country survey on budgeting practices. One
of the questions explored the use of performance information by several groups, in several decisionmaking processes. The following table summarizes the results.
programmes
programmes
Within
Ministry/
Agency
X
Parent
Ministry
Ministry of
Finance
Prime
Ministers
Office
X
X
X
X
X
X
Cabinet
Legislature
X
X
67
performance plans
approaches
No use
X
X
X
X
X
Table 5-4: Use of performance information in decision-making in Sweden (OECD & World Bank, 2003).
According to this survey, performance information is especially used in the relationship between
ministries and agencies to set programme priorities, to allocate resources between programmes and
to adopt new program approaches. The performance management seems to be used rather to
enhance administrative efficiency and effectiveness than to be accountable to parliament. In the
following paragraphs we will look closer at the use of performance information in the steering and
control of agencies, in the budget process and in the communication to citizens.
5.8.1. Steering and controlling agencies
Performance management is a very important tool in steering and controlling agencies besides other
instruments as for example the Agency Ordinance and the Agency Instruction, the appointment of
agency heads and the budget process. “The agency instruction is the basic formal instrument that the
government makes use of in order to steer its agencies. It regulates the overriding objectives of an
agency and provides the formal setting of agency activities. The instruction for each specific agency
fall back on the on a framework given by the Agency Ordinance. (…) It is obvious that the agency
instructions do not provide a basis for accountability enforcement. The sweeping formulations make it
difficult for any Director General to claim ignorance with respect to objectives. The formulations are on
the other hand, not drafted with the view to take a malfunctioning Director General to court (Molander,
Nilsson & Schick, 2002: 73-75)”. The Agency’s appropriation and the results to achieve are annually
defined in the Instruction Letter or Regleringsbrev and reported on in the annual report. Where the
Instruction Letter used to be mainly a financial instrument to define the appropriation of the agency, it
has been extended towards a performance management tool to steer and control the agencies’
results. “While annual reports were previously mainly seen as follow-up documents, their importance
has increased considerably in recent years and they have become almost the most important general
measure by which the government controls the agencies (Larsson, 2002).” Besides these formal
instruments, performance is also monitored and controlled by means of an informal dialogue between
the ministries and agencies.
Despite the well-balanced planning and control cycle, with both formal and informal tools for steering
and control, there seem to remain some challenges in the relationship between agencies and
ministries. Ministries seem to lack interest in the management of agencies (Blöndal, 2001). The
ministries’ staff responsible for agency contacts, the desk officers are often juniors lacking experience.
Often one desk officer is responsible for following-up several agencies. There is also a deliberate
rotation policy. A side effect is that few desk officers get the time necessary to develop a deeper
understanding of the specific policy field of the agency (Molander, Nilsson & Schick, 2002: 63).
Another challenge is the lack of political interest in the steering and control of agencies. Another
problem to cope with is are conflicting goals and multidimensional goals (Molander, Nilsson & Schick,
2002: 99).
68
Agencies, on their side, do not seem to encounter an equal partner in their exchange of information
with the ministries (ESN Survey 1999) (Molander, Nilsson & Schick, 2002: 9). Often they establish
their own policy units doing the work of the ministries. Agencies fear that the use of the instruction
letter as a performance management instrument might impose a more formal contractual approach
and might lead to an intrusion in the managerial freedom of agencies by imposing strict output controls
(Blöndal, 2001). Traditionally, the relationship between ministries and agencies is characterized by a
process of informal dialogue. This is seen as one of the major benefits of the Swedish system of
administrative organisation. However, as the dialogue is a closed instrument, it is difficult from an
accountability perspective, to get a clear view of the de facto relationship between ministries and
agencies. On the one hand it is not possible for parliament to find out to what extent there is ministerial
pressure and intervention in the agencies’ operations. On the other hand agencies may have a much
larger de facto influence on policy making than justified by their de jure position ((Molander, Nilsson &
Schick, 2002: 64).
5.8.2. Budget Process
Performance information is used in the second part of the budget process, where appropriations are
made to agencies within the expenditure limits decided on for each for each expenditure area.
However, according to a OECD – World Bank survey on budget practices there is in Sweden no
evidence available to decide that performance results are used in determining budget allocations.
“The Ministry of Finance views performance information as having an indirect influence on
appropriations in most cases. The incremental impact of performance information is of such a
magnitude that it can be accommodated for by reallocations within a given expenditure area. (…) This
may be explained by the limited capacity of spending ministries to apply performance information
during the budget process. (..) Top officials of the spending ministries responsible for the budget and
management functions, tend to focus more on political and legal matters rather than management
issues. As a result the use of performance information as an aid of allocating appropriations may
suffer (Blöndal, 2001).“
There are several possible explanations for the minimal use of performance information in the budget
process:
-
Lack of managerial capacity in spending ministries
-
Bad historical experiences (good news show, enormous volumes of information, no details about
agency’s operations)
with in-depth budget requests made ministries suspicious of using
performance information.
-
Top-down character and strict timing of the budget process “The political process may well result
in non-trivial changes of instructions and appropriations shortly before the new budget year starts.
The agencies ’ needs to plan their activities may therefore be jeopardised by the short time span
between the formal decisions in parliament and the start of the new budget year (Molander,
Nilsson & Schick, 2002: 77).”
69
5.8.3. Communication to citizens
Government performance information is also a very
important tool for communication to citizens. There seems
to be an increasing public demand for and interest in
official statistics.
“Four out of five people consider
statistics important or very important as a basis for
decision-making, research and public debate. In 2002 an
in-depth study was carried out of broad societal statistics.
This study revealed the need for more comprehensive and
improved statistics in various areas of society and that
there is a strong support in society for statistics. (Statistics
Sweden, 2003: 2 )” The following table gives an overview
of the number of retrievals from Sweden’s statistical
databases by subject area.
T
able 5-5: Number of retrievals from Sweden’s
statistical databases by subject area (Statistics
Sweden, 2003: 21).
70
Appendix 1: Expenditure Areas
1.
Swedish Political System
2.
Economy and Fiscal Administration
3.
Tax Administration and Collection
4.
Justice
5.
Foreign Policy Administration and International Co-operation
6.
Total Defence
7.
International Development Co-operation
8.
Immigrants and Refugees
9.
Health Care, Medical Care and Social Services
10. Financial Security in the event of illness and disability
11. Financial security in old age
12. Financial security for families and children
13. Financial security in the event of unemployment
14. The labour market and working life
15. Study support
16. Education and university research
17. Culture, media, religious organisations and leisure
18. Community planning, housing supply and construction
19. Regional balance and development
20. General environment and conservation
21. Energy
22. Communications
23. Agriculture, forestry, fisheries
24. Business sector
25. General grants to municipalities
26. Interest on central government debt
27. Contribution to the European Union
71
Prestatiemeting in het Verenigd Koninkrijk
6. Prestatiemeting in het Verenigd Koninkrijk
6.1.
Historisch overzicht van de hervormingen
Zowel in het systeem van Public Service Agreement als in de Modernising Government Agenda speelt
de ontwikkeling van prestatiemeetsystemen een centrale rol.
Het systeem van Public Service Agreements heeft de volgende doelstellingen:
-
bevorderen van de verantwoording van de departementen ten opzichte van de burger en ten
opzichte van het parlement,
-
verhoging van de efficiëntie en effectiviteit door meerjarig en resultaatgericht perspectief te
integreren in het begrotingsproces,
-
joined-up government, geïntegreerde en strategische beleidsontwikkeling voor cross-cutting
issues
-
intern management afstemmen op strategie,
-
Human Resources Management afstemmen op strategie,
-
verbeterde afstemming tussen centraal en lokaal beleid.
In Modernising Government werd het belang van het systeem van Public Service Agreements met
bijhorende prestatiemeetsystemen herbevestigd.
“Performance information is a cornerstone of our commitment to modernise government. It provides some of the
tools needed to bolster improvements in public sector performance including improving accountability,
performance management, risk management and business planning.”
De doelstellingen van de Modernising Government Agenda zijn:
-
Better Policymaking,
-
Responsive Public Services,
-
Quality Public Resources,
-
Information Age Government,
-
Public Services Innovation.
De volgende tabel geeft een historisch overzicht van de verschillende initiatieven die een impuls
betekenden voor de ontwikkeling van prestatiemeetsystemen.
73
Initiatief
Periode
Doelstellingen
Rayner Scrutinies
1979
Kostenbesparing en administratieve vereenvoudiging door middel van
efficiëntie-onderzoeken
Financial Management Initiative
1982
Next Steps Programme
1988
Citizen’s Charter Programme
(later Service First)
1991
White Paper Resource
Accounting and Budgeting in
Government
1995
Formulering van doelstellingen en outputmetingen voor alle
departementen
Delegatie van bevoegdheden inzake financiën en personeel naar het
lijnmanagement
Verbetering van de informatiestromen
Organisatorische opsplitsing van beleidsvoorbereiding en
beleidsuitvoering
Departementen verantwoordelijk voor beleidsadvies, begroting en
opvolging agentschappen, Executive Agencies verantwoordelijk voor
beleidsuitvoering onder leiding van een Chief Executive
Executive Agencie rapporteren aan de departementen over het bereiken
van de Ministerial targets
Entiteiten binnen de centrale overheid betrokken bij publieke
dienstverlening moeten indicatoren met betrekking tot hun dienstverleing
ontwikkelen, verzamelen en rapporteren
Voorstel tot invoering accrual accounting and budgeting (infra)
Public Sector Benchmarking
Project
1996
Comprehensive Spending
Review (CSR)
1998
Toepassing EFQM Excellence Model
Integraal beeld van de performantie van de organisatie
Identificatie van mogelijkheden tot verbetering
Leren van beste praktijken
Heroverweging departementale budgetten en doelstellingen
Driejarige begrotingen met mogelijkheid van budgetflexibiliteit op het
einde van het jaar
Middellange termijn planning
Public Expenditure Plans (19992002)
Public Service Agreements
(PSA)
Betere allocatie van middelen aan de hand van driejarige overeenkomst
tussen departementen en HM Treasury over de departementale
doelstellingen, en de prestatienormering
Publieke accountability
White Paper Modernising
Government
1999
Resource Accounting and
Budgeting (RAB)
2000
Service
2000 Spending Review
2000
2000
Better Policymaking
Responsive Public Services
Quality Public Resources
Information Age Government
Public Services Innovation
Geïntegreerde plannings- en rapporteringscyclus: vertaling van
regeringswijde prioriteiten in departementale budgetten en strategieën
en parlementaire rapportering over effectiviteit en efficiëntie
Begrotingsopmaak op basis van accrual accounting informatie
Opmaak van resource accounts aan de hand van accrual accounting
regels
Oprichting van een benchmarking organisatie ter promotie van
benchmarking en het delen van beste praktijken binnen de overheid
Introductie van Service Delivery Agreements waarin de Public Service
Agreements geoperationaliseerd worden
Meer aandacht voor outcome-indicatoren
Reductie van het aantal indicatoren
Introductie Resource Budgeting
Ontwikkeling en meting van targetindicatoren voor dienstverlening voor
alle centrale departementen: beantwoorden correspondentie, wachttijden
loket, wachttijden telefoon, verlening van contactinformatie,
klachtenprocedure en klantgerichtheid
Modernising Public Services: Six
Service Standards for the
Performance of Central
Government
2000
Handleiding ‘Choosing the right
FABRIC: a framework for
performance information’
Rapport ‘Wiring it up’
2001
Handleiding voor kerndepartementen met kernconcepten van
prestatiemeting
2000
Ontwikkeling van geïntegreerde prestatiemeetsystemen
Ontwikkeling van criteria voor goede prestatiemeetsystemen
Tabel 6-1: Overzicht van de initiatieven tot prestatiemeting in het Verenigd Koninkrijk.
74
De focus van dit hoofdstuk ligt op de recente moderniseringsinitiatieven die betrekking hebben op
prestatiemeting. Het gaat hier dan hoofdzakelijk over de prestatiemeting voor de opvolging van de
Public Service Agreements en de recente initiatieven in het kader van Modernising Government.
6.2.
Actoren betrokken bij de initiatieven tot prestatiemeting
Bij de initiatieven met betrekking tot prestatiemeting zijn verschillende actoren betrokken. De volgende
tabel geeft hiervan een overzicht.
Actor
HM Treasury
Cabinet Office
Strategy Unit
Service
Public Services Productivity
Panel
Office for National Statistics
National Audit Office
Directorate
Audit Commission
Rol
Ontwikkeling en implementatie Public Service Agreement Framework en Output and
Performance Analysis
Handleidingen prestatiemeting
Algemene verantwoordelijkheid in de ontwikkeling en opvolging van Modernising
Government
Risk: improving government’s capability to handle risk and uncertainty
Bevorderen van benchmarking en het delen van beste praktijken
Ondersteuning bieden bij benchmarking projecten
Aanmoedigen van kennisoverdracht
Onderzoek van mogelijke verbeteringen van de efficiëntie en productiviteit van de overheid
Productie van nationale statistieken
Kwaliteitstoets van statistieken geproduceerd door overheidsorganisaties
Begeleiding van de invoering van prestatiemeetsystemen aan de hand van
onderzoeksrapporten en handleidingen
Uitvoeren van performance audits of doelmatigheidsonderzoeken
Audit van lokale besturen en de National Health Service
Begeleiding van de invoering van prestatiemeetsystemen aan de hand van
onderzoeksrapporten en handleidingen
Tabel 6-2: Actoren betrokken bij de initiatieven tot prestatiemeting
De Treasury speelde een vooraanstaande rol bij de invoering van het Public Service Agreement
Framework. In de Public Service Agreements worden aan de doelstellingen van het departement
indicatoren en normen verbonden. Het Public Service Agreement Framework betekende een
belangrijke impuls voor de departementen om prestatiemeetsystemen te ontwikkelen. Om de
departementen te ondersteunen bij de uitbouw van prestatiemeetsystemen en de productie van
indicatoren, ontwikkelde de Treasury verschillende handleidingen en richtlijnen.
Sinds 1998 werkt een groep van deskundigen in het domein van prestatiemanagement samen in het
Public Services Productivity Panel. Dit panel gaat op zoek naar mogelijkheden om de efficiëntie en
productiviteit van de overheid te verbeteren. Het panel bestaat uit overheidsmanagers, managers uit
de prive-sector en experten inzake productiviteit en wordt voorgezeten door de Chief Secretary to the
Treasury. Het Public Services Productivity Panel legt verantwoording af aan het Cabinet Committee
on Public Services and Expenditure (zie verder).
Het Office for National Statistics is een onderdeel van de Treasury en is verantwoordelijk voor de
verzameling van nationale statistieken. Het Office for National Statistics voert ook een kwaliteitstoets
75
uit op statistieken die door andere overheidsinstanties verzameld worden. Statistieken die aan deze
kwaliteitseisen voldoen, krijgen het label van National Statistics.
Het Cabinet Office draagt de algemene verantwoordelijkheid voor Modernising Government. In deze
moderniseringsagenda staat de verder verfijning van de prestatiemeetsystemen centraal. Binnen het
Cabinet Office werden een aantal units opgericht die de Prime Minister ondersteunen in de planning
en opvolging van de strategische beleidsdomeinen onderwijs, transport, gezondheidszorg,
misdaadbestrijding en drugsbeleid. De Prime Minister’s Delivery Unit is samen met de Treasury
verantwoordelijk voor de opvolging van de resultaten in de strategische beleidsdomeinen. De Strategy
Unit
is
verantwoordelijk
Public Service Agreement Targets Cabinet Office 2003-2006
voor lange termijn,
strategische
beleidsstudies
om
de Eerste Minister
te ondersteunen in
de beleidsbepaling.
Het Cabinet Office
geeft ook advies op
Objective 1 Support the Prime Minister in leading the government
Objective 2 Support the Government in transacting its business
Objective 3 Help deliver key public service priorities
Target Improve public services by working with departments to help
them meet their Public Service Agreement Targets consistently with
the fiscal rules (this is a joint target with HM Treasury)
Target Ensure departments meet the Prime Minister’s targets for
electronic service delivery by government
Objective 4 Lead the reform programme for public services
Objective 5 Co-ordinate security, intelligence and civil contingencies matters
to protect the uK against disruptive challenges
Budget
02-03
(£ ‘000)
13 490
25 455
21 279
26 006
53 368
het vlak van management. Zo bracht de Strategy Unit van het Cabinet Office een rapport uit met
betrekking tot risicomanagement, Risk: improving government’s capability to handle risk and
uncertainty. In 2002 werd het Cabinet Office grondig geherstructureerd en uitgebreid om de
hervormingen beter te kunnen aanpakken. Er werden nieuwe ministers aangeduid alsook een nieuwe
Cabinet Secretary en Permanent Secretary.
In 2000 werd de Public Sector Benchmarking Service opgericht als onderdeel van het Cabinet Office.
De doelstelling van de Public Sector Benchmarking Service is om het gebruik van benchmarking te
bevorderen door ondersteuning te bieden bij benchmarkingprojecten en door de kennis omtrent
benhcmarking over te dragen naar departementen en agentschappen. Hiertoe heeft de Public Sector
Benchmarking Service een databank met beste praktijken ontwikkeld.10
Ook de Britse rekenkamer, het National Audit Office speelt een rol in de initiatieven tot
prestatiemeting. Met haar onderzoeksrapporten en handleidingen over prestatiemeting, biedt de
rekenkamer de departementen en agentschappen een leidraad bij het ontwikkelen en implementeren
van prestatiemeetsystemen. Sinds 2003 is het National Audit Office ook bevoegd voor de validering
van de prestatiemeetsystemen die de Public Service Agreements ondersteunen. De prestatiemeting
bij lokale besturen en bij de National Health Service wordt op gelijkaardige wijze begeleid door de
Audit Commission.
10
http://www.benchmarking.gov.uk
76
Er zijn dus zeer veel verschillende actoren betrokken bij de initiatieven tot prestatiemeting. Om de
coördinatie en afstemming te verbeteren heeft de Treasury een interdisciplinair team samengebracht,
het Performance Information Panel. Het is samengesteld uit deskundigen van het Cabinet Office, het
National Audit Office, het Office for National Statistics, de Audit Commission en de Treasury. Het
Performance Information Panel ontwikkelde onder andere een handleiding voor prestatiemeting,
Choosing the Right FABRIC.
6.3.
Figuur 6-1: Proces van performance management (National Audit Office (NAO), 2001 pp.14)
De cyclus van prestatiemeting vat aan met de strategiebepaling. De departementen onderhandelen
met de Treasury over de strategische doelstellingen (objectives) die het departement moet bereiken
met de toegewezen middelen. Het parlement wordt niet betrokken bij de onderhandeling van de Public
Service Agreements. Vervolgens plannen de departementen welke prestaties ze zullen leveren om
deze doelstellingen te bereiken en welke middelen ze hiervoor zullen gebruiken in de Service Delivery
Agreements. Op deze wijze wordt een verband gelegd tussen de effectgerichte Public Service
Agreements en de procesgerichte Departmental Business Plans. Vervolgens wordt er verder
afgedaald in de organisatie en worden de doelstellingen verder vertaald in Directorate/Divisional
Business Plans, Agency Business Plans en individuele doelstellingen. In de Technical Notes tenslotte
wordt er aandacht besteed aan de geplande strategie en methodologie van prestatiemeting.
Om de realisatie van deze plannen op te volgen, worden er op de verschillende planningniveaus ook
prestatiemeetsystemen ontwikkeld. Aan het ontwikkelen van indicatoren kunnen ook te behalen
normen worden verbonden.
Om de departementen bij te staan bij het ontwikkelen van
prestatiemeetsystemen heeft een interdisciplinaire werkgroep de handleiding Choosing the right
77
fabric: a framework for performance information opgemaakt waarin de centrale concepten van
prestatiemeting uiteengezet worden. De handleiding is gebaseerd op de deskundigheid en de ervaring
met betrekking tot prestatiemeting van de Treasury, het Cabinet Office, de Audit Commission, het
National Audit Office en het Office for National Statistics.
Actor
HM Treasury
Cabinet Office
Budget
Coordination
Prime Minister’s
Delivery Unit
Departementen
Accounting Officer
Departmental Statistical
Head of Profession
Internal Audit
Rol
Onderhandeling Public Service Agreements met departementen
Monitoring Public Service Agreements en kwartaalrapportering aan het Ministerial
Committee on Public Services and Public Expenditures
Begeleiding van de departementen bij de uitbouw van prestatiemeetsystemen aan de
hand van richtlijnen en handleidingen
De uitvoering van de Public Service Delivery Agreemnts opvolgen
Nagaan of de departementen over een robust plannings- en opvolgingssysteem
beschikken Adviesverlening en probleemoplossing bij de opvolging van Publicx Service
Agreements
Opmaak Public Service Agreements en Service Delivery Agreements
Rapportering van prestaties in Output and Performance Analysis en Departmental
Annual Report and Accounts
Operationeel management, boekhouding en financieel management
Rapportering in Statement on Internal Control en Statement on Internal Financial
Control
Vraaggerichte advisering van departementen met betrekking tot prestatiemeetsystemen
en indicatoren
Controle van de kwaliteit van prestatiemeetsystemen
Audit van prestatiemeetsystemen voor de opvolging van Public Service Agreements
Begeleiding van departementen bij de ontwikkeling van prestatiemeetsystemen
(handleidingen en onderzoeksrapporten)
Tabel 6-3: Actoren betrokken bij het proces van prestatiemeting
Bij de ontwikkeling van indicatoren is het belangrijk dat men een duidelijk beeld heeft van het verband
tussen de activiteiten van the departement en de beoogde beleidseffecten. Hierbij is het ook belangrijk
een duidelijk beeld te hebben van de externe factoren die de outcomes beïnvloeden. Drie vierde van
de departementen stelde dat ze het moeilijk tot zeer moeilijk hadden om overeenstemming te bereiken
over de selectie van effectindicatoren die beïnvloed worden door externe factoren (National Audit
Office (NAO), 2001).
Om het verband tussen de activiteiten en de beleidseffecten beter te kunnen
definiëren, tekenen verschillende departementen een beleidskaart of beleidsmodel uit. In bijlage 1
wordt een figuur opgenomen die een overzicht geeft van de uitdagingen die de departementen
ondervinden bij het operationaliseren van performance targets en indicatoren.
In de Public Service Agreements worden niet enkel strategische doelstellingen opgenomen, maar ook
meer operationele doelstellingen, de Public Service Agreement Targets. Over deze targets wordt
onderhandeld tussen het departement en de Treasury.
Om de kosten van de dataverzameling te minimaliseren stelt de handleiding Choosing the right
FABRIC voor om zoveel als mogelijk gebruik te maken van reeds bestaande gegevens. Een andere
mogelijkheid is om met verschillende departementen samen te werken om een databestand op te
stellen. Een voorbeeld van een regeringswijde databank met officiële statistieken is Statbase (zie
http://www.statistics.gov.uk/statbase/mainmenu).
Uit het onderzoek van het National Audit Office naar de indicatoren in de Public Service Agreements
2001-2004 bleek dat de meerderheid van de gebruikte indicatoren (43%) verzameld worden door de
departementen zelf. 19% van de indicatoren is afkomstig van uitvoerende agentschappen of van Non-
78
Departmental Public Bodies. 14% van de gebruikte indicatoren dragen het label van National
Statistics. National Statisitics zijn statistieken verzameld door departementen, agentschappen, nondepartmental public bodies of het Office for National Statistics waarvan de kwaliteit gewaarborgd is
door het Office for National Statistics. De overige indicatoren in de Public Service Agreements 20012004 zijn afkomstig van de lokale besturen de Health Service (12%) en van andere, hoofdzakelijk
internationale organisaties (13%).
Bij de interpretatie van de outcome-indicatoren is het belangrijk na te gaan welke invloed de externe
omgeving uitoefent op de prestaties. In welke mate is de organisatie verantwoordelijk voor de
effecten? In welke mate werd er externe invloeden uitgeoefend en werd daarop ingespeeld door de
organisatie?
6.4.
Richtlijnen voor prestatiemeting
De verschillende horizontale organisaties die betrokken zijn bij prestatiemeting, het Cabinet Office, de
Treasury, het National Audit Office, de Audit Commission en het Office for National Statistics, stelden
in 2001 een handleiding op met betrekking tot prestatiemeting. In deze handleiding, Choosing the right
FABRIC, wordt het onderscheid gemaakt tussen criteria voor goede prestatiemeetsystemen enerzijds
en criteria voor goede indicatoren anderzijds.
6.4.1. Criteria voor goede prestatiemeetsystemen
Volgens de handleiding Choosing the right FABRIC voldoet een goed prestatiemeetsysteem aan de
volgende criteria (HM Treasury, Cabinet Office, National Audit Office (NAO), Audit Commission, and
Office for National Statistics, 2001):
-
Focused: gericht op de doelstellingen van de organisatie
-
Appropriate: aangepast aan de noden van de verschillende interne en externe gebruikers
-
Balanced: representatief voor de activiteiten van de organisatie, zowel de meer meetbare als de
minder meetbare om perverse effecten te vermijden, zowel efficiëntiemeting, effectiviteitsmeting
als kwaliteitsmeting
-
Robust: ongevoelig voor organisatorische veranderingen of personeelswijzigingen
-
Integrated: geïntegreerd in de business planning en het management van de organisatie
-
Cost effective: de kosten van het systeem moeten opwegen tegen de baten ervan
Om aan deze criteria te voldoen beveelt Choosing the right FABRIC aan om de verschillende
gebruikers te betrekken bij de ontwikkeling van het prestatiemeetsysteem.
79
6.4.2. Criteria voor goede indicatoren
De handleiding Choosing the right FABRIC formuleerde naast criteria voor prestatiemeetsystemen
ook een aantal maatstaven waaraan goede indicatoren moeten voldoen (HM Treasury et al., 2001).
-
Relevant: relevant voor de doelstellingen van de organisatie
-
Avoiding perverse incentives
-
Attributable: toe te wijzen aan een activiteit en met een duidelijke afbakening van de
verantwoordelijkheid
-
Well-defined: ondubbelzinnig en gemakkelijk te begrijpen
-
Timely: voldoende regelmatig en voldoende snel
-
Reliable: ‘accurate enough for its intended purpose’ (zeer pragmatisch)
o
-
-
Gebruik zoveel mogelijk National Statistics
Comparable: vergelijkbaar in de tijd of met andere vergelijkbare programma’s
o
Minimaliseer veranderingen in definities
o
Gebruik zo veel mogelijk standaard definities
Verifiable: goed gedocumenteerd zodat de geldigheid van de totstandkoming van de indicator kan
nagegaan worden
Deze criteria voor indicatoren zijn gestoeld op een zeker pragmatisme. Men gaat ervan uit dat het
zeer moeilijk is om perfecte indicatoren te ontwikkelen, maar men zoekt naar de best mogelijke
oplossing.
“The ideal is to find measures that fully capture and represent the objective in question. It is often better to try
and measure important objectives imperfectly than to ignore them altogether. An imperfect measure can still help
in setting priorities and planning; helping to put out the resources an organisations uses into context and
providing at least a starting point in judging the organisation’s performance.” (HM Treasury et al., 2001 pp.18)
6.5.
Rapportering van de prestatiegegevens
De Britse overheid kent een ingewikkeld kluwen van verantwoordingsdocumenten. De volgende figuur
stelt de verschillende documenten voor die de departementen en agentschappen opmaken in de
plannings- en rapporteringscyclus en die ze indienen bij het Parlement, HM Treasury en het Cabinet
Office. Deze figuur actualiseert de inventarisatie van plannings- en rapporteringsdocumenten
opgemaakt door Talbot (Talbot, 1996: 10). In wat volgt wordt de inhoud en doelstelling van de
belangrijkste documenten toegelicht.
80
Parliament
Cabinet Office
HM T reasury
Annual Report
and Accounts
Delivery
Report
Public Service
Agreements
Delivery Plan
Ministers/ Departments
Framework
Documents
Annual Report and
Accounts
Key Ministerial
Targets
Business/
Corporate Plan
Executive Agencies
Figuur 6-2: Plannings- en rapporteringscyclus in het Verenigd Koninkrijk.
Public Service Agreement: Departementen sluiten om de twee jaar met HM Treasury een
overeenkomst over de prioritaire beleidsdoelstellingen en de targets die bereikt moeten worden in de
komende drie jaar. De
Public Service Agreement Targets worden vertaald in targets voor de
agentschappen.
Delivery Plan: Departementen plannen het implementatietraject om de Public Service Agreement
Targets te bereiken.
Delivery Report: Departementen rapporteren aan Cabinet Office en HM Treasury over de
implementatie van de Public Service Agreement Targets en het Delivery Plan
Annual Report and Accounts: Departementen en agentschappen dienen jaarlijks bij het Parlement
hun jaarverslag en rekeningen in.
Framework Document: De bevoegde Minister en het agentschappen leggen de basisdoelstellingen
en taken van het agentschap vast in een Framework Document.
Key Ministerial Targets: De bevoegde minister en het agentschappen bepalen jaarlijks de
belangrijkste doelstellingen en targets, de Key Ministerial Targets.
Corporate Plan: Agentschappen stellen jaarlijks een business plan op om de Key Ministerial Targets
te realiseren.
6.5.1. Public Service Agreements
De Public Service Agreement is een overeenkomst tussen de Treasury en de departementen over de
doelstellingen en de targets voor de komende drie jaar. De Public Service Agreements worden
tweejaarlijks, tijdens de Spending Review herzien. Dit betekent dat er telkens een overlappend jaar is.
Naast de departementale PSA’s zijn er ook drie cross-cutting Public Service Agreements: Sure Start,
The Criminal Justice System en Action Against Illegal Drugs.
De PSA’s bestaan uit de volgende elementen:
-
Aim
81
-
Objectives
-
Performance targets
-
Value-for-money targets
-
Responsibility Statement
Aan de Public Service Agreements wordt een Technical Note toegevoegd waarin uitgelegd wordt hoe
de targets gemeten zullen worden.
6.5.2. Service Delivery Agreements
De Service Delivery Agreements werden in 2000 ingevoerd als instrument om de strategische PSA
targets te vertalen naar concrete acties. In 2003 werd echter besliste de Treasury dat de
departementen niet langer verplicht zijn deze SDA’s op te maken om de planlast te reduceren. De
meer operationele vertaling van de PSA’s gebeurt verder aan de hand van Delivery Plans en Delivery
Reports.
6.5.3. Delivery Plans and Delivery Reports
Nadat de Public Service Agreements zijn afgesloten, dienen de departementen na te denken over de
wijze waarop ze de targets zulllen proberen te bereiken. Ze stellen een traject op om de target te
bereiken en bepalen tussentijdse mijlpalen. Deze trajecten en mijlpalen worden opgenomen in een
Delivery Plan. De Delivery Plans en Delivery Reports worden gerapporteerd aan de Cabinet
Committee on Public Services and Expenditure (PSX). Deze documenten worden niet gerapporteerd
aan het Parlement en zijn niet toegankelijk voor het publiek.
6.5.4. Spring Departmental Report
Kort na de indiening van de begroting bij het Parlement in de lente, leggen de departementen een
Spring Departmental Report neer bij het Parlement. Het Departmental Report bevat meer details over
de Main Estimates met de budgettaire plannen van het departement en de beleidsdoelstellingen en
indicatoren uit de Public Service Agreements en de Service Delivery Agreements. Het Departmental
Report geeft ook een beeld van de stand van zaken van de Public Service Agreement Targets.
6.5.5. Departmental Annual Report and Accounts
In de herfst rapporteren de departementen over de resultaten van het voorbijgaande jaar in het
Departmental Annual Report and Accounts. Hierin maken ze een analyse van de geleverde outputs
en prestaties en nemen ze de rekeningen van het voorbijgaande jaar op. Het Departmental Annual
Report and Accounts bevat de volgende elementen:
-
Annual Report
82
-
Statement of the Accounting Officer’s Responsibilities
-
Statement on Internal Control
-
Primary Statements and Notes to the Accounts
-
o
Schedule 1: Summary of Resource Outturn
o
Schedule 2: Operating Cost Statement
o
Schedule 3: Balance Sheet
o
Schedule 4: Cash Flow Statement
o
Schedule 5: Resources by Aims and Objectives
The Audit Opinions and Accounts
Voor de beleidsen beheersopvolging zijn vooral het eigenlijke jaarverslag (annual report), de
verklaring over de interne controle (statement on internal control) en het rekenschema waarin
middelen worden toegewezen aan doelstellingen (Statement on Resources by Aims and Objectives)
relevant. Op deze onderdelen van het Departmental Annual Report and Accounts wordt dan ook iets
dieper ingegaan.
ANNUAL REPORT
Het annual report waarin de departementen verantwoording afleggen over de resultaten bevat de
volgende elementen (HM Treasury, 2003):
-
Een beschrijving van de verschillende verzelfstandigde organisatorische entiteiten die binnen de
departementale boekhouding (departmental accounting boundary) vallen,
-
De missie en doelsetllingen van het departement en de verzelfstandigde entiteiten,
-
De belangrijkste activiteiten ondernomen om de missie en doelstellingen te realiseren,
-
Opsomming van de andere organisatiesdie buiten de departmentale boekhouding vallen, maar
waarvoor het departement wel beleidsverantwoordelijkheid draagt, bijvoorbeeld Trading Funds en
Statutory Corporations,
-
Een overzicht van de belangrijke gebeurtenissen die een invloed hadden op de verschillende
entiteiten binnen de departementale grens vallen,
-
Overzicht van de ministers die verantwoordelijk zijn voor het departement en hun titels,
-
Samenstelling van de Management Board,
-
Benoeming van de Permanent Head of Department (Wie? Termijn? Procedure?),
-
Verloningsbeleid en overzicht van de lonen (ministers en leden van de management board),
-
Een overzicht van het departmenetaal beleid voor de tewerkstelling van gehandicapten,
-
Een overzicht van het departmentaal gelijkekansenbeleid,
-
Een uiteenzetting van de code of het beleid met betrekking tot de betaling van extrene
leveranciers en de betaalde interesten onder de Late Payment of Commercial Debts (Interest) Act
1988,
-
De naam van de departementale auditeur,
-
Een overzicht van het communicatie- en consultatiebeleid ten opzichte van de de personeelsleden
(indien meer dan 250).
83
STATEMENT ON INTERNAL CONTROL
De departementale Accounting Officer is verantwoordelijk voor de ontwikkeling en de opvolging van
het managementsysteem en van het boekhoudsysteem. De sleutelprocessen van het intern
beheerssysteem worden dus per departement ontwikkeld binnen een algemeen kader ontwikkeld door
de Treasury. Sinds 2001 moet de Accounting Officer verantwoording afleggen aan het parlement over
het interne beheerssysteem in het Statement on Internal Control. Deze verklaring bevat de volgende
elementen:
-
een verklaring van de Accounting Officer dat hij verantwoordelijk is, eventueel aangevuld met een
uiteenzetting van de verantwoordingsstructuren rond de betrokken organisatie,
-
de constatering dat het systeem van interne beheersing bedoeld is om het risicomanagement te
ondersteunen en niet zozeer om risico’s uit te bannen,
-
de constatering dat de verklaring onderdeel is van een proces van risico-evaluatie en –
management en betrekking heeft op een genoemde looptijd en in overeenstemming is met de
aanwijzingen van de Treasury,
-
de constatering dat ook de effectiviteit van de interne beheersing onder de verantwoordelijkheid
van de Accounting Officer valt,
-
een samenvatting van het proces waarbinnen de effectiviteit van de interne beheersing
geëvalueerd wordt,
-
een constatering dat de review gebaseerd is op informatie van interne controleurs en managers
die verantwoordelijk zijn voor het interne beheersingssysteem en oordelen hierop van externe
controleurs (Algemene Rekenkamer, 2001 pp.23).
SCHEDULE 5: STATEMENT OF RESOURCES BY AIMS AND OBJECTIVES
In het Statement of Resources by Aims en Objectives worden de netto operationele kosten uit het
Operating Cost Statement (Schedule 2) verdeeld over de departementale doelstellingen. Het gaat hier
over de departementale strategische doelstellingen zoals geformuleerd in de Public Service
Agreements. In het rekenschema worden zowel de operationele kosten per doelstellingen voor het
huidige jaar als voor het vorige jaar weergegeven. Zo kan men een beeld krijgen van het relatieve
belang dat de regering schenkt aan de beleidsdoelstellingen zowel ten opzichte van andere
beleidsdoelstellingen als ten opzichte van het voorgaande jaar. In de praktijk blijken de doelstellingen
in Schedule 5 echter niet altijd overeen te komen met de doelstellingen van de PSA’s. Initieel was het
de bedoeling om in de rekeningen een Output and Performance Analysis op te nemen waarin de
realisatie van de PSA targets opgevolgd wordt. Tegen dit voorstel ontstond echter veel weerstand.
Daartoe werd beslist de verantwoording over de doelstellingen op te nemen in een Statement of
Resources by Aims and Objectives. Dit instrument lijkt echter nog niet te voldoen aan de
verwachtingen.
De toewijzing van net operating costs aan de strategische doelstellingen wordt geïllustreerd aan de
hand van het Statement of Resources by Aims and Objectives van het Department of Education and
Employment.
84
Objective 1 Ensuring that all young people reach 16 with the
skills, attitudes and personal qualities that will give them a
secure foundation fore lifelong learning, work and citizenship
in a rapidly changing world
Objective 2 Developing in everyone a commitment to lifelong
learning so as to enhance their lives, improve their
employability in a changing labour market and create the
skills that our economy and our employers need
Objective 3 To help people without a job into work
Gross
2,157,809
1999-2000
Income
Net
-5,997
2,151,812
11,200,417
-659,396
10,541,021
1,913439
-54,860
1,858,579
Tabel 6-4: Department of Education: Statement of Resources by Aims and Objectives
6.6.
Focus van de prestatiegegevens: wat wordt er gemeten?
Voor de opvolging van de Public Service Agreements worden hoofdzakelijk effectindicatoren gebruikt.
68% van de Public Service Agreement Targets voor de periode 2001-2004 waren gericht op effecten.
In de Public Service Agreements voor de periode 1999-2001 waren er slechts 15% effectindicatoren
(National Audit Office (NAO), 2001pp.21).
#
PSA 1999-2001
(bron: Colin Talbot)
PSA 2001-2004
(Bron: NAO)
387
Input
7%
Proces
51%
Output
27%
Outcome
15%
160
5%
14%
13%
68%
Tabel 6-5: Verdeling van indicatoren in de Public Service Agreements
Outcomes kunnen gerealiseerd worden door verschillende departementen. Van de 160 indicatoren uit
de Public Service Agreements van 2001-2004 waren er 30 departement-overschrijdende indicatoren.
De Public Service Agreement Targets focussen op de kernprioriteiten van het departement. De PSA
indicatoren dekken dus niet het volledige beleidsdomein van het departement, maar enkel de
kernprioriteiten.
Er zijn ook een aantal cross-cutting Public Service Agreements waarvoor verschillende
departementen verantwoordelijk zijn. Tijdens de Spending Review 2002 werden er drie cross-cutting
PSA’s afgesloten.
In de Service Delivery Agreements geven de departementen aan met welke activiteiten ze de
beleidsdoelstellingen van de Public Service Agreements zullen proberen te bereiken. De Service
Delivery Agreements zijn dus eerder gericht op processen en outputs. De eerste Service Delivery
Agreements werden opgemaakt in november 2000.
Er is ook aandacht voor efficiëntie. Het is de bedoeling dat de departementen in de Public Service
Agreements niet enkel aandacht besteden aan beleidsdoelstellingen maar ook aan de efficiënte
besteding van middelen. Daarom worden er naast de PSA Targets ook Value-for-money targets
opgenomen in de Public Service Agreements en/of in de Service Delivery Agreements.
85
6.7.
De nationale statistieken of National Statistics worden onderzocht op hun geldigheid door de National
Statistician en de Statistics Commission. De meerderheid van de PSA indicatoren worden echter
verzameld door de departementen en agentschappen en worden niet onderworpen aan de
geldigheidstoets van het Office for National Statistics.
Het National Audit Office vroeg aan de departementen in welke mate zij zicht kunnen hebben op de
geldigheid van de prestatiegegevens. Voor minder dan de helft van de departementen bleek het een
grote tot zeer grote uitdaging te zijn zekerheid te verkrijgen over de geldigheid van de gegevens. De
resultaten van dit onderzoek werden opgenomen in bijlage 2.
Bij de 2000 Spending Review besliste de Treasury dat de departementen het design en de
verzameling van de Public Service Agreement Targets moeten toelichten in een bijlage op het Public
Service Agreement, namelijk de Technical Notes. Uit onderzoek van het National Audit Office bleek
echter dat er in de Technical Notes slechts zelden wordt vermeld hoe het departement de geldigheid
van de prestatiegegevens waarborgt.
Het belang van de kwaliteit van de prestatiegegevens neemt echter toe. Sinds april 2003 voert het
National Audit Office immers een geldigheidstoets uit op de prestatiemeetsystemen die de Public
Service Agreements van gegevens voorzien.
In het rapport “Holding to account: the review of audit and accountability for central government” uit
2001 pleitte Lord Sharman voor een externe validering van de departementale informatiesystemen.
Als gevolg hiervan werd er in 2001 een werkgroep opgericht onder leiding van de Treasury om de
praktische implementeerbaarheid van dit voorstel te onderzoeken. Deze werkgroep concludeerde dat
het
National
Audit
Office
het
best
geplaatst
is
voor
de
externe
validering
van
de
prestatiemeetsystemen ontwikkeld voor de opvolging van Public Service Agreements.
De validering van deze prestatiemeetsystemen heeft betrekking op de volgende elementen:
-
de overeenkomst tussen de geselecteerde indicatoren enerzijds en de verzamelde gegevens
anderzijds,
-
het proces van prestatiemeting: dataverzameling, datavoorziening door externen, dataverwerking,
data-analyse en interpretatie,
De
de presentatie en rapportering van de prestatiegegevens.
audit
heeft
dus
zowel
betrekking
op
de
goede
werking
van
het
interne
managementinformatiesysteem van het departement als op kwaliteit van de verantwoording van het
departement aan het parlement. De audit heeft als doelstelling een inschatting te maken van het risico
op verminderde datakwaliteit. Het onderzoek richt zich dus niet op
gegevens, maar op de kwaliteit van de prestatiemeetsystemen.
86
de kwaliteit van individuele
Aangezien de Public Service Agreements om de drie jaar worden opgemaakt, wordt elk
departementaal prestatiemeetsysteem om de drie jaar onderzocht. De Public Service Agreements
2003-2006 worden dus onderworpen aan de geldigheidstoets van het National Audit Office.
6.8.
Gebruik van de prestatiegegevens
“Performance information is the key to effective management, including business planning, monitoring and
evaluation. Externally, performance information allows effective accountability. With appropriate information,
Parliament, members of the public and other stakeholders are able to exert pressure for improvements and can
better understand the issues involved.”
Er zijn verschillende redenen waarom departementen en agentschappen prestatiegegevens
verzamelen. Er kan zowel interne druk als externe druk zijn om prestatiegegevens te verzamelen.
Aangezien in dit beschrijvend onderzoek gefocust wordt op regeringswijde initiatieven, zullen we
vooral de externe vraag naar prestatiegegevens behandelen.
6.8.1. Gebruik in de financiële cyclus: Spending Review
Een eerste vraag naar prestatiegegevens situeert zich in het begrotingsproces. Sinds de
Comprehensive Spending Review van 1998 zijn de begrotingsprocedures namelijk grondig hervormd.
Per departement worden er prestatiegebonden uitgavenplafonds vastgelegd voor drie jaar,
Departmental Expenditure Limits (DEL’s). De uitgavenplafonds en de bijhorende Public Service
Agreement Targets worden tweejaarlijks herzien tijdens de Spending Review. Dit betekent dus dat er
steeds een overlappend jaar is. Zo werd tijdens de 2000 Spending Review onderhandeld over de
Departmental Expenditure Limits en Public Service Agreement Targets 2001-2004 en werden deze
aangepast tijdens de 2000 Spending Review tot Departmental Expenditure Limits en Public Service
Agreement Targets 2003-2006. De doelstelling van de Comprehensive Spending Review was om het
begrotingsproces meer resultaatgericht te maken door de koppeling van uitgaven en doelstellingen en
door een grotere responsabilisering van de departementen.
De machtigende begroting is gestructureerd volgens accrual-gebaseerde Request for Resources die
outcome-georiënteerd zijn. Deze begrotingsartikelen worden namelijhk geformuleerd als de
doelstellingen van de departementen. Er wordt ook een lijst met activiteiten (Ambit) gemachtigd
waaraan de departementen middelen mogen besteden. In de volgende tabel wordt de
begrotingsstructuur geïllustreerd met het voorbeeld van het Department for Education and Skills.
Appropriation Lines Department for Education and Skills
Request for Resources 1
To help build a cpompetitive economy and inclusine society by creating opportunities for
everyone to develop their learning; releaisng potential in people to make the most of
themselves; and achieving excellence in standrads of education and levels of skills
Promoting the physical, intellectual and social development of babies and young children
through Sure Start, Early Years Provision and Childcare
Tackling child poverty and social exclusion by helping vulknerable children and young
Appropriation
£22,675,653,000
£529,894,000
£ 200,000,000
87
people and their families, to break the cycle of deprivation and disadvantage trough the
Children’s Fund.
Ambit
Loans to voluntary aided schools; provision for former-granted school; payments related to
the Sector Skills Councils, modernising the teaching profession and ontehr educational
services and initiatives,…
Total net resource requirement
Net cash requirement
£23,405,547,000
£25,461,415,000
Tabel 6-6: Structuur van de begroting van het Department of Education and Skills 2003-2004 (HM Treasury, 2003b).
6.8.2. Gebruik in de beleidsen beheerscyclus: business planning
Een tweede gebruikswijze van prestatiegegevens situeert zich in de business planning van de
departementen. Verschillende departementen ontwikkelden diverse systemen om hun intern beheer te
plannen en op te volgen. Het Public Service Productivity Panel ontwikkelde een business planning
model dat aanvaard werd als algemeen kader voor de departementen bij de uitbouw van hun
performance management. In een goed systeem van performance management wordt ten eerste
duidelijk gemaakt wat de doelstellingen en de aspiraties van de organisatie zijn zodat de
personeelsleden zich kunnen situeren in het groter geheel en gemotiveerd worden om de
doelstellingen te bereiken. Vervolgens wordt er een coherente set van prestatie-indicatoren en
normen ontwikkeld om de realisatie van de doelstellingen te monitoren. Bij de uitvoering van de
doelstellingen is het belangrijk dat de uitvoerders eigenaarschap ontwikkelen en verantwoording
afleggen. Nadat de geplande activiteiten
uitgevoerd zijn, wordt geëvalueerd of de doelstellingen
bereikt zijn en worden de doelstellingen eventueel bijgestuurd.
ASPIRATIONS
To stretch and motivate the
organisation
A COHERENT SET OF PERFORMANCE
MEASURES & TARGETS
To translate the aspiration into a set of specific metrics against
which performance and progress can be measured
OWNERSHIP &
ACCOUNTABILITY
RIGOROUS PERFORMANCE
MANAGEMENT
To ensure that individuals who are best
placed to ensure delivery of targets
have real ownership for doing so
To ensure that continuously improving
performance is being delivered in line
with expectations
REINFORCEMENT
To motivate individuals to deliver the targeted performance
Figure 6-3: Business planning model (Public Services Productivity Panel, 2000pp.6).
88
Om de doelstellingen uit de Public Service Agreements te operationaliseren naar concrete activiteiten
maken de departementen sinds 2000 Service Delivery Agreements op waarin ze aantonen met welke
activiteiten zij de Public Service Agreement Targets zullen realiseren.
Vervolgens worden de Service Delivery Agreements vertaald in Departmental Business Plans,
Directorate Business Plans en Agency Business Plans. Om de individuele medewerkers aan te sturen
en op te volgen, worden er tenslotte individuele doelstellingen en targets afgesproken. Het proces van
business planning creëert een vraag naar prestatiegegevens, zowel op departementaal, directoraal en
individueel niveau.
6.8.3. Gebruik in sturing en verantwoording
Een derde belangrijke externe schok voor de ontwikkeling van prestatiemeetsystemen was de
invoering van het systeem van Public Service Agreements. Sinds 1998 sluit elk departement in het
kader van de tweejaarlijkse begrotingsonderhandelingen een Public Service Agreement met de
Treasury, een overeenkomst over de strategische en operationele doelstellingen die het departement
in de komende drie jaar moet realiseren met de toegewezen middelen. De departementen leggen
twee maal per jaar verantwoording af over de realisatie van de doelstellingen in het Spring
Departmental Report en het Autumn Performance Report.
De Public Service Agreements (PSA’s) worden dus vooral gebruikt als verantwoordingsinstrument
van de departementen ten opzichte van de Treasury en de Prime Minister. De PSA’s worden dan ook
gepercipieerd als een instrument om de rol van de centrale departementen (HM Treasury & Cabinet
Office) in het beleid te versterken. Dit is nog in meerdere mate het geval voor de beleidsdomeinen die
een
politieke prioriteit11 vormen en opgevolgd worden door een speciaal daarvoor opgerichtte
eenheid binnen het Cabinet Office, de Delivery Unit.
11
Health, Education, Transportation & Home Office
89
Bijlage 1 Uitdagingen in het operationaliseren van performance targtes en
indicatoren
(National Audit Office (NAO), 2001
pp.34)
90
Bijlage 2 Uitdagingen in het verzamelen van geldige en betrouwbare
prestatiegegevens
(National Audit Office (NAO), 2001 pp.48)
91
Performance management in the United States federal government
7. Performance management in the United States federal government
7.1.
History and objectives of performance management reform
Chief Financial Officers Act
1990
National Performance Review (NPR)
1993
Government Performance and Results
Act (GPRA)
1993
National Partnership for Reinventing
Government
President’s Management Agenda (PMA)
1998
2001
Getting to green Management
Scorecards
2001
Program Assessment Rating Tool
(PART)
2002
Common Performance Measures
2002
Human Capital Assessment and
Accountability Framework (HCAF)
Memorandum “Where we’d proud to be”
2002
Performance Reference Model
Key National Performance Indicators
Performance Budgeting
2003
2003
2003
April 2003
Function of Chief Financial Officer responsible for the development and
reporting of cost information and for systematic performance
measurement
Integrated financial management system
Systematic performance measurement
Creating a Government that works better and costs less: promoting
government performance, customer service and managerial flexibility
and results-oriented budgeting
Departments and agencies have to report to Congress in the budget
process on their strategic goals and results by means of strategic
plans, annual performance plans and performance reports.
The final objective of the GPRA is to introduce performance budgeting.
The National Performance Review is transformed into the National
Partnership for Reinventing Government
Integrated management agenda: better financial management, egovernment, human capital, competitive sourcing and budget and
performance integration
Management scorecards to follow-up progress in the main objectives of
the President’s Management Agenda financial management, human
capital, e-government, performance and budget integration.
Implementing the budget and performance integration initiative of the
President’s Management Agenda by developing a tool to rate federal
programs. The PART assesses the purpose and design of the
program, the use of strategic planning, the program management and
the program results.
Development of common measures and benchmarks in a few
government-wide and cross-cutting policy areas (housing, employment
and training, health,…)
Tool to assess the progress in the development of strategic human
capital management
Agencies and Members of the President’s Management Agenda are
asked to formulate where they would be proud to be in July 2004 in
achieving the goals of the President’s Management Agenda
Tool to measure the performance of IT programs
Developing key performance indicators for the US
Next step in the implementation of GPRA: for the FY2005 departments
and agencies have to submit a performance budget to OMB and
Congress instead of an annual performance plan
Table 7-1: History and objectives of performance management reform in the United States.
The United States has a long tradition of performance measurement and management with the
Hoover Commission and performance budgeting (1949), Planning Programming Budgeting System
(1965-69), Management by Objectives (1973-74) and Zero-based budgeting (1977).
During the early nineties the federal government enacted important performance-oriented initiatives as
the Chief Financial Officers Act 1990 and the Government Performance and Results Act 1993. At the
same time executive action was taken too with the National Performance Review. The Chief Financial
Officers Act obliges departments and agencies to appoint a Chief Financial Officer responsible for the
development and reporting of cost information and for systematic performance measurement.
In 1993 Vice-President Al Gore launched the National Performance Review with the purpose of
creating a government that works better and costs less. The objectives of the National Performance
Review were to increase managerial flexibility, to increase the focus on customer focus and to orient
93
the governments activities and budgets towards results. In the end the National Performance Review
ended however in a huge savings operation buy means of an enormous reduction in personnel. There
are several explanations for the failure of the National Performance Review. One of the explanations
was the lack of involvement of the administration, more particularly the Office of Management and
Budget (OMB) in the reform. Another reason for the failure of the NPR was the fact that it run parallel
with the legislative branch GPRA reform.
Management reform became also an important priority for the Bush administration. In 2001 the
president and OMB launched an overall agenda to improved federal government management, the
President’s Management Agenda. The program contains five management improvement initiatives:
human capital, competitive sourcing, better financial management, e-government and budget and
performance integration. To follow-up the implementation of the PMA and the progress made by
departments, OMB developed a traffic light management scorecard.
The Bush administration perceived that the existing performance measurement reforms as the GPRA
and the NPR focused too much on the supply–side of performance measurement. “Whereas the
Clinton reforms have focused mainly on the supply of information, the Bush administration desired to
take the next step, attempting to make judgments about performance and then attaching consequence
to these judgments (Joyce, 2003).” Performance information was collected and reported to Congress
in strategic plans and performance reports, but the information was insufficiently used for budgeting
and management purposes. The administration found that the time had come to take a next step and
to increase the use of performance information in particularly in the budget process.
Therefore OMB firstly developed the Program Assessment Rating Tool (PART), a quantitative
instrument to assess the design and purpose of programs, the use of strategic planning, the program
management, the results of the programs on their design and purpose. The development of the PART
could be seen as the first important step in the implementation of the performance and budget
integration initiative as announced in the President’s Management Agenda. For the other initiatives of
the President’s Management Agenda similar assessment tools were introduced as for example the
Human Capital Assessment and Accountability Framework.
The next step towards performance budgeting, was taken in 2003, when OMB decided that the
agencies have to submit a performance budget to OMB and to Congress for the FY2005. This
performance budget replaces the annual performance plan departments and agencies have to submit
according to the GPRA requirements. In September 2003 departments and agencies submitted for the
first time a performance budget to OMB and Congress.
With the end of the term of the Bush Administration in sight, OMB found it appropriate to define where
the administration wants to be in July 2004 in achieving the President’s Management Agenda. The
Proud to be Initiative asks agencies and the members of the President’s Management Council who
are perceived as the initiative owners to define to what extent they want to have reached the
Presidents Management Agenda in July 2004. The initiative owners make an assessment including
the percentage of agencies that they want to achieve the yellow and green status, the ultimate goals
94
for the key components of the initiative and the percentage of agencies the owner wants to achieve
this goals, stretch goals, key milestones and a more specific description of the requirements to
achieve the yellow and green status. In the area of performance and budget integration, officials
expect that only 5 percent of the agencies will fulfill all the criteria to receive a green rating. Therefore
an interim goal is defined: OMB wants 60% of all programs to be rated using its Program Assessment
Rating Tool (PART) by July 2004. The following table gives the results of the management scorecard,
at the beginning of the PMA project in 2001 and in September 2003.
Human Capital
Competitive sourcing
Financial management
e-Government
Budget and performance
integration
Red
N
%
23
88.5
26
100
21
80.8
17
65.4
23
88.5
2001 Baseline
Yellow
N
%
3
11.5
0
0
4
15.4
9
34.6
3
11.5
Green
N
%
0
0
0
0
1
3.8
0
0
0
0
30 September 2003
Yellow
%
N
%
53.8
12
46.2
57.7
11
42.3
73.1
4
15.4
57.7
10
38.5
57.7
11
42.3
Red
N
14
15
19
15
15
Green
N
%
0
0
0
0
3
11.5
1
3.8
0
0
Table 7-2: President’s Management Agenda Scorecards in July 2001 and September 2003
The proud to be initiative might be perceived as an attempt to relax the president’s management
agenda and as an attempt to disguise the true position of the agencies when going to elections. OMB
defends itself against this criticism, by clearly stating that the proud to be initiative aims only to make
the goals clearer and not to make them easier to achieve.
In 2003, the General Accounting Office and the National Academies formulated the need to develop a
set of key national indicators. “To have a democracy that is performance-oriented and accountable
key national indicators are needed to assess the overall position and progress of the United States
(GAO, 2003b).” Therefore the GAO organized in 2003 a Forum on Key National Performance
Indicators to discuss whether and how to implement this proposal.
7.2.
Actors involved in performance management
7.2.1. Office of Management and Budget (OMB)
The Office of Management and Budget (OMB) is an agency within the Executive Office of the
President. OMB assists the President in the preparation and implementation of the budget,
management policies and regulatory policies. OMB is first of all responsible for developing the
President’s annual budget submission to Congress and implementing it when it is enacted. Secondly,
OMB promotes good management practices and has a role to play in ensuring efficient and good
quality program performance. A third function of OMB exists of the in-depth regulatory review of
important rules proposed by federal agencies. Finally, OMB, as an office of the president, has to
watch over the agencies’ actions, policies and statements to ensure that they reflect the President’s
policy. “OMB stands at a critical point within the nerve center of the federal government and holds a
key position in the communications network that links the President, the rest of the Executive Branch,
95
and the Congress. So positioned, it can exert a significant impact on public policy outcomes through
its budgetary, legislative, managerial and regulation review mandates (Tomkin, 1998).”
OMB is lead by a Director. OMB is organizationally divided in functional Statutory Offices and agencyrelated Resource Management Offices. Statutory Offices are responsible for setting the policy
framework within which agencies have to operate. The Office of Federal Financial Management for
example develops and provides direction on the implementation of financial management policies and
systems. Another example is the Office of Information and Regulatory Affairs that is responsible for
policies to improve government statistics and information management. Resource Management
Offices are responsible for the analysis, evaluation, and implementation of policy options as well as
the implementation of government-wide management initiatives. They are organized by policy subject
coinciding with the agencies under their purview and are staffed with experts in the program and policy
areas concerned.
The Statistical Policy Office within OMB sets the standards for federal statistics to increase
comparability, for example the Standard Occupational Classification System or the North American
Industry Classification System.
7.2.2. Principal Statistical Agencies
Principal Statistical Agencies are organizations responsible for the collection, compilation and analysis
of information for statistical purposes. Examples of principal statistical agencies are the Bureau of
Labor Statistics, the Bureau of Transportation Statistics and the National Center for Education
Statistics. The following table gives an overview of the principal statistical agencies, their budget and
their personnel numbers.
Census Bureau
Bureau of Labor Statistics
National Agricultural Statistics Service
National Center for Health Statistics
Economic Research Service
Bureau of Economic Analysis
Energy Information Administration
Bureau of Transportation Statistics
National Center for Education Statistics
Bureau of Justice Statistics
Direct Funding (FY
2004 Estimate)
(millions of dollars)
682.2
512.0
136.2
124.6
76.7
78.3
80.1
35.5
185.8
41.1
# Staff FY 2004
12
9435
2792
1368
531
507
542
375
144
115
47
Table 7-3: Principle statistical agencies: budget and work force (OMB, 2003b).
Besides the principal statistical agencies, there are also other statistical agencies. These are statistical
units within departments or agencies, as for example the Statistical Unit of the Inland Revenue Service
or the Statistical Unit of the National Science Foundation. The heads of the principal statistical
12 Census bureau figures do not include decennial census staffing (4407)
96
agencies and the heads of the statistical units within agencies serve on the Interagency Council on
Statistical Policy (ICPS).
“The ICPS coordinates statistical work across organizations, enables the exchange of information
about organization programs and activities and provides advice and counsel to OMB on statistical
activities (FR67-107, 2002: 38467-38470). “
7.2.3. Federal Committee on Statistical Methodology
The Federal Committee on Statistical Methodology (FCSM) is an interagency committee that is
dedicated to improving the quality of federal statistics and the efficiency and effectiveness of statistical
practice among federal agencies. Members are selected by OMB and include executive branch
statisticians, economists, and managers. The mission of the FCSM is to:
• Inform and advise OMB and the Interagency Council on Statistical Policy on methodological and
statistical issues that affect the quality of federal data;
• Compile, assess, and disseminate information on statistical or survey methods and practices for
federal statistical agencies;
• Provide recommendations on issues of statistical methodology such as measurement, analysis,
survey methods, survey errors, data collection methods and technologies, record linkage, disclosure
limitation, and dissemination of information that affect federal statistical programs and improve data
quality, including timeliness, accuracy, relevance, utility, accessibility, and cost effectiveness;
effectiveness;
• Provide a forum for statisticians in different federal agencies to discuss issues affecting federal
statistical programs; and
• Promote and support cooperative research across agencies on issues relevant to federal statistics
(OMB, 2003b).
7.2.4. General Accounting Office (GAO)
The General Accounting Office is the US supreme audit institution supporting Congress in its
parliamentary control on the executive branch. GAO, commonly called the congressional watchdog is
independent and non-partisan. The GAO audit mandate contains both financial audits and
performance audits. Besides its audit function, GAO also obviously plays a management advisory role
by suggesting heads of executive agencies ways to make government more effective and responsive.
“GAO supports congressional oversight by evaluating how well government policies and programs are
working, auditing agency operations to determine whether federal funds are being spent efficiently,
effectively, and appropriately, investigating allegations of illegal and improper activities and issuing
legal decisions and opinions (GAO, 2003c).”
GAO has been involved in the GPRA reform since the beginning, but the role played by GAO has
become more important as time went on. By reporting to Congress about the GPRA pilot projects,
GAO took up the role of monitoring the implementation of the Government Performance and Results
Act (GPRA) that was later on extended to all departments and agencies.
97
GAO is lead by the Comptroller General who is appointed to a 15-year term and is organized along
program lines, in several audit teams as for example, the education, workforce and income security
team or the natural resources and environment team (organization chart see appendix 1). In FY 2002
GAO employed about 3200 people and had 432 million dollars budget. IT publishes more then 1000
reports and hundreds of congressional testimonies each year. GAO has developed a set of key
indicators to measure its performance as for example the return on investment and the number of
recommendations that were implemented. In 2002 GAO made 1950 recommendations. Four out of
five recommendations made during the past four years have been implemented. On every dollar
invested in GAO, 88 dollars were saved (GAO, 2003c).
7.3.
Process of performance management
The GPRA implemented a performance management process integrated in the budget process. The
performance planning process has been expanded by the Bush administration with new performance
management instruments. Three main actors are involved in the performance management process:
agencies, OMB and Congress. The US fiscal year runs from the 1st of November until the 31st of
October. The following figure illustrates the performance management process.
Update
Management
Scorecards
N
D
J
Update
Management
Scorecards
Annual
Report t-1
F
M
A
Update
Management
Scorecards
M
J
J
Update
Management
Scorecards
A
S
O
PART
Performance
assessment
Budget
t+2
Submission
t+2
Strategic Plan
t - t+3
Figure 7-1: The US federal government performance management process.
The budget preparation process by agencies starts two years before the beginning of the Fiscal Year.
Agencies have to submit their annual performance plan and their budget submission for the fiscal year
t+2 in September. Every three-year agencies also submit a strategic plan together with their budget
submission setting out the mission and long-term strategic goals of the agency.
A new instrument used by OMB in the budget preparation process is the Program Assessment Rating
Tool (PART). PART is a binary questionnaire measuring the following program features: purpose and
design, use of strategic planning, management, results. The agency responsible for the program
assessed fills in the questionnaire and sends it to the responsible OMB reviewer, round up with the
necessary evidence. The OMB reviewer then reviews the assessment and negotiates the final score
98
with the responsible agency. Agencies have to report the results of their assessment in the
performance plan that they submit to OMB in September.
OMB used the PART to assess 20% of
the programs in the FY 2004 Budget. For the FY 2005 budget, OMB will expand the assessments with
the PART to 40% of the programs. The objective is to increase the share of programs evaluated by
the PART every year with 20%, so that the PART eventually becomes the comprehensive vehicle to
assess program performance. Agencies can propose programs to be evaluated by the PART in the
coming years in their budget submission.
After the fiscal year has ended, agencies report to Congress about the achievement of their
performance goals. Agencies must submit their annual performance report to Congress 150 days after
the end of the fiscal year. This makes it possible for Congress to use the information of the
performance report in the assessment of the budget requests and the performance plan for the next
fiscal year.
OMB and Congress thus monitor and follow-up the plans and performance of agencies by means of
the GPRA performance management cycle. Besides the achievement of performance goals, OMB
also measures the progress in achieving the President’s Management Agenda Initiatives (human
capital, e-government, financial management, competitive sourcing and budget and performance
integration). Therefore OMB developed a traffic light scorecard that is updated every three months.
OMB assesses 26 departments and agencies achievement of the President’s Management Agenda
goals and the progress made compared to the last measurement. OMB publishes the management
scorecards on the Internet. The reasons why an agency makes a red, green or yellow score are
revealed to the agency, but are not publicly available.
7.4.
The general framework for performance planning and reporting is legally anchored in the Government
Performance and Results Act 1993. OMB has defined the more detailed guidelines and instruction on
planning and reporting in Circular A-11 “Preparation, submission and execution of the budget”. The
responsibilities of the Chief Financial Officers concerning performance measurement are enacted in
the Chief Financial Officers Act 1990. The policy on information management is set in the OMB
Circular A-130 “Management of Federal Information Resources”. The maintenance of records on
individuals are regulated by the Privacy Act. OMB sets the government-wide statistical guidelines, but
requires from the principal statistical guidelines to complement the government-wide guidelines with
policy area specific quality guidelines. Therefore the federal statistical agencies have developed
guidelines for ensuring and maximizing the quality, objectivity, utility and integrity of disseminated
data.
99
7.5.
Performance reporting
Agencies are required by the GPRA to submit a three-year strategic plan, an annual performance plan
and an annual performance report. Steps are taken now to transform the performance plan into a
performance budget.
AGENCY LEVEL
Strategic Plan
The GPRA requires from departments and agencies to make up a three-year strategic plan. The
strategic plan has to contain the following elements:
-
The agency mission statement;
-
One or more general goals (general goals are typically outcome goals, and are also called longterm performance measures);
-
A description of the means and strategies that will be used to achieve the goals;
-
A description of the relationship between annual performance goals in the performance budget
and the long-term (general) goals in the strategic plan;
-
Identification of key factors that could affect achievement of the long-term goals; and
-
A description of program evaluations used in preparing the strategic plan, and a schedule for
future evaluations.
From performance plan to performance budget
In 2001, three quarter of the agencies stated that they had linked performance information to budgets
in their performance plan, whereas in 1999 only 40% of the agencies were able to do this. Some
agencies linked strategic goals to their budget accounts. Other agencies connected performance
goals to program activities. Obviously, there seems progress made in integrating performance and
budget information. The Bush administration therefore estimated that the time had come to evolve
towards a performance budget. Beginning with the FY 2005 Budget, agencies will have to submit a
performance budget instead of an annual performance plan. The performance budget is organized as
a hierarchy of goals linked to performance and cost information (OMB, 2003a):
-
Strategic goals: aim and purpose of the agency, spanning several programs and several agency
organizational units
-
-
Long-term performance goals: outcome goals at program level
o
Outcome targets
o
Resources (full cost)
Annual performance goals: output goals at program level
o
Output targets
o
Resources (full cost)
Agencies also have to report the results of the PARTS assessment where available and all the
performance goals used in the assessment of program performance under the PART process in their
performance budget.
100
Performance report
The annual performance report provides information about departments and agencies performance
and progress in achieving the goals as set in the strategic plan and the performance budget. The
Cabinet Departments and nine independent agencies have to integrate the annual report required by
the GPRA with the accountability report. They have to submit this combined performance and
accountability report before the end of January. In the future they will have to submit their performance
and accountability report yet on the November 15. All other independent agencies prepare an annual
performance report that has to be transmitted to the President, Congress and OMB by March.
The annual report has to contain the following information:
-
A comparison of your actual performance with the projected (target) levels of performance as set
out in the performance goals in your annual performance budget;
-
An explanation, where a performance goal was not achieved, for why the goal was not met;
-
A description of the plans and schedules to meet an unmet goal in the future, or alternatively, your
recommended action regarding an unmet goal where you have concluded it is impractical or
infeasible to achieve that goal;
-
An evaluation of your performance budget for the current fiscal year, taking into account the actual
performance achieved in the fiscal year covered by your report;
-
Information on every PART program assessed as part of the budget formulation for the fiscal year
covered by the report
-
An assessment of the reliability and completeness of the performance data included in the report;
-
Actual performance information for at least four fiscal years.
It is possible that agency do not yet have collected all the performance data when they have to submit
the performance report. Agencies have to report the incomplete or missing program performance data,
as they are available, in a subsequent year’s annual report.
GOVERNMENT-WIDE LEVEL
The initial plan of the GPRA was that OMB would publish an annual government-wide performance
report as a separate volume to the budget. However, this government-wide performance plan has not
been published since FY 2001.
To disseminate federal statistics to the public, the Interagency Council on Statistical Policy has
developed a one-stop-shop Internet site for federal statistics, www.fedstats.gov. This website provides
easy access via an initial point of entry to a wide array of statistical information form more than 100
federal agencies. The site is both structured by policy topics as by agency.
101
7.6.
7.6.1. Outcome and output measures
The GAO surveyed a sample of senior- and middle managers in the 24 largest agencies on
performance measurement. Managers were asked whether they collect performance measures and
which kind of performance measures.
Type of performance measure
Performance measures in general
Outcome measures that would demonstrate to someone outside the agency whether or not
intended results are being achieved
Output measures that tell how many things are produced or services provided
Customer Service Measures that tell whether or not customers are being satisfied
Quality Measures that tell about the quality of products or services provided
Efficiency measures that tell if programs are operating efficiently
1997
2000
32%
44%
38%
32%
31%
26%
50%
38%
39%
35%
Table 7-4: Percentage of federal managers reporting having specific types of performance measures to a great or very great
extent (GAO, 2001, GAO, 2000)
There is a general positive evolution in the percentage of agencies measuring performance. This can
be explained by the fact that in 1997 the GPRA was only implemented in pilot projects whereas it was
implemented fully in 2000. In 2000, 50% of the federal managers reported to have output measures to
a great or very great extent. This was a significant increase in comparison with 1997 (38%). 44% of
the federal managers reported in 2000 to collect outcome measures to a great or very great in extent,
whereas only 32% in 1997. Other measures seem to be less common, as for example customer
service measures (38% in 2000) and quality measures (39% in 2000). Linking cost and output
information also seems to be not widespread yet: in 2000 only 35% of the federal managers reported
to have efficiency measures to a great or very great extent.
The existence of performance measurement systems also seem to differ between departments and
agencies (Appendix 2)
-
7.6.2. Human Capital Assessment
and
Accountability
Framework
The
Human
Capital
Accountability
-
-
Assessment
Framework
is
a
and
-
tool
developed by GAO, OMB and OPM to
assesst he progress made in implementing
the
Human
President’s
Capital
Initiative
Management
of
the
Agenda.
The
HCAF measures the extent to which
102
-
Standard on leadership and knowledge management:
Agency leaders and managers effectively manage people,
ensure continuity of leadership and sustain a learning
environment that drives continuous improvement in
performance.
Critical Success Factors: Leadership planning and
implementation: the organisation identifies leadership
competencies and establishes objectives and strategies to
address them
Assessment: Does the agency ensure continuity of
leadership through succession planning and executive
development?
Elements of a YES: the agnecy conducts workforce analysis
to identify its current and future leadership needs. This
analysis includes the size of the workforce, its deployment
across the organisation and the competencies fo r the
agency to succeed…
Suggested performance indicators:
o
Workforce analysis related to
supervision/leadership is conducted
o
Formal succession planning or talent
management program is in place and its
impact is measured
o
Written leadership development stratgey is
tied to workforce analysis and strategic plan
o
…
organisations have strategic human capital, an integrative organisation vision, continuous leadership,
diverse, result-oriented and competent personnel, closing skills gaps and a data-oriented
accountability system. For each of these criteria there are standards, key indicators and suggested
indicators. Thye HCAF contains 6 human capital standards, 16 critical success factors and more than
220 suggested performance indicators. The HCAF is not a strict
quantitative performance
measurement tool, but requires from the user a capacity to interpret and assess the situation. the
following example illustrates how the HCAF works.
7.6.3. Common Performance Measures
OMB decided in 2003 to develop a set of common performance measures in areas with multiple
programs with similar goals. These common performance measures are developed for the areas of
federal housing assistance, job training and employment, wild land fire management, flood mitigation,
participation in disaster insurance, health and environment. The following table gives a few examples
of common performance measures.
Policy Area
Federal Housing Assistance
Job Training and
Employment
Health
Common measure
Net Present Value of the subsidy costs required
to serve an eligible family of a particular income
level over an extended period of time
(adjustments for family size, household income
and timing of occupancy)
The number of households served with any
given level of budgetary resources
Attainment of a job
Attainment of a certificate or degree by program
participants
Earnings gains
Total program cost per placement in a job
Per capita expenditures on direct and federallyfunded health care services
Average number of patients seen per day per
physician/nurse practitioner/physician assistant
Agencies
Housing and Urban Development (housing
vouchers, Housing for the elderly, new
construction, public housing, HOPE VI)
Department of Defense (Military housing)
USDA (Rural rental housing program)
Department of Labor (Workforce investment
act programs)
Department of Education (
Department of the Interior (Indian affair
programs)
Housing and Urban Development
Veteran Affairs
Department of Defense
Veteran Affairs
HHS’ Indian Health Service and Community
Health Centers
Table 7-5: Examples of Common performance measures (OMB, 2003c).
7.7.
Audit and quality control of performance information
Within its performance auditing authority, the General Accounting Office can audit the validity and
reliability of performance measures concerning program effectiveness and results, or economy and
efficiency and the reliability, validity, or relevance of financial information related to the performance of
a program (GAO, 2003a: 22).
As part of the Congressional scrutiny process of the performance plans the General Accounting Office
examines the quality and validity of the plans. “This analysis focuses on whether or not the plans for
measuring performance successfully reflect the agencies strategic plans, whether they mark an
improvement over previous year’s plans and whether there can be confidence in the performance
103
information that will result (Talbot, Daunton & Morgan, 2001: 17).” The results of this examination are
consolidated in a report on the quality of performance plans.
The GAO is also examining the quality of the performance reports but does not publish a consolidated
report on this issue. The GAO examines the departments and agencies performance reports as well to
examine whether the department or agency has achieved its objectives, as to define high-risk
management challenges as to examine whether the GPRA reporting requirements are fulfilled. GAO
might also rely on the quality controls executed by the agencies Inspector General.
Since 2001, cabinet departments and nine independent agencies have to integrate their annual
performance report in their financial accountability report. This however did not mean that the program
performance information derived from the annual performance report became subject to new or
additional audit requirements (OMB, 2003: section 203.1).
The Reports Consolidation Act 2000 makes it mandatory for departments and agencies to include in
their annual reports an assessment of the reliability and validity of the reported performance
information. A GAO reported however that few agencies actually report on the completeness and
reliability of performance data (GAO, 2002).
7.8.
Performance information is used for several purposes: congressional oversight, internal management
and budgetary decision-making. The following table, based on an OECD – World Bank survey on
budget practices, summarizes the use of performance information n the US federal government.
programmes
programmes
performance plans
approaches
No use
Within
Ministry/
Agency
X
Parent
Ministry
Ministry of
Finance
President’s
Office
X
X
X
X
X
X
X
Cabinet
Legislature
X
X
X
X
X
X
Table 7-6: Use of performance information in decision-making in the United States (OECD & World Bank, 2003).
7.8.1. Budgetary decision making
Firstly performance information is used in the budget process. Performance information is not yet
integrated in the budget act as authorized by Congress, but is used in the Presidential Budget that is
submitted to Parliament. The final objective of the Government Performance and Results Act 1993
104
was to introduce a performance budget. The Bush administration clearly had the ambition to evolve to
an increased use of performance information in the budgetary allocations. The Office of Management
and Budget developed the Program Assessment Rating Tool to inform the allocation of resources to
programs. For the Fiscal Year 2005 budget, departments and agencies submitted a performance
budget instead of a performance plan. Several steps are thus taken to make the budgetary decision
making more results-oriented. The extent to which the performance information is really influencing
the budgetary outcomes and the extent to which performance information is used to cut the budget
needs to be further examined.
7.8.2. Internal management
A Congressional Budget Office report of 1993 stated yet that the largest potential for real payoffs of
using performance information may be in the area of agency management of resources once they
have been provided in the budget process. Even if the performance information hasn’t played a
significant role in the budgetary approval process, it can still influence the execution of the budget in
the agency. Agencies have a significant discretion in allocating resources between programs and
between regional units. The Veterans Health Administration for example uses performance
information on the numbers of veterans served in the allocation of resources to different hospitals,
clinics and offices within the health care networks. Health Care Network Directors are held
accountable for achieving outcomes and are given incentives by means of this allocation mechanism
based on results. The Internal Revenue Service for example allocated training resources between its
customer service centers based on information about the needs for extra training as indicated by the
error rates.
To a great or very
great extent
1997
Agency Climate
Agency’s top leadership demonstrates a strong commitment to achieving results
SES
Non-SES
Employees in agency receive positive recognition for helping the agency accomplish its
strategic goals
Agency managers at their level are held accountable for the results of the programs they are
responsible for
Agency managers at their level have decision-making authority they need to help agency
accomplish strategic goals.
Use of performance information in management activities
Allocating resources
Adopting new program approaches or changing work processes
Coordinating program efforts with other internal or external organisations
Setting individual job expectations
Refining program performance measures
Setting new or revising existing performance goals
Rewarding staff
Developing and managing contracts
13
2000
76
56
26%
72
52
31%
55%
63%
31%
36%
66%
62%
66%
57%
61%
52%
58%
53%
/
14
56%*
53%*
51%*
43%*
51%*
44%
51%
53%
38
Table 7-7: Evolution in the agency climate and the use of performance information in federal agencies (GAO, 2000). (legend: *
statistically significant difference)
13
Sample: 1300 middle- and senior managers in the 24 departments and agencies; 60% response rate
14
Sample of 3816mid and upper-level managers and supervisors in 28 departments and agencies; 70% response rate
105
Whereas the GAO surveys showed a significant positive evolution in the collection of output and
outcome measures, the use of performance information in management activities seems to have
decreased between 1997 and 2000. There is a significant decreasing trend in the use of performance
information in setting program priorities, in allocating resources, in adopting new program approaches
or changing work processes and in setting individual job expectations. This may be explained by the
fact that the collection of performance information has become mandatory with the implementation of
the GPRA. The GPRA requires form agencies to collect performance information and to report it to
Congress, but does not guarantee that the performance information is used in internal management
activities.
Cavaluzzo & Ittner analysed the data of the 1997 GAO survey on performance measurement. The
GAO sent a survey to 1300 middle- and senior managers working in the 24 largest executive branch
agencies. There were 797 managers who responded to the survey with a usable answer. These were
the most important conclusions of the survey (Cavaluzzo & Ittner, 2003):
-
GPRA pilot sites have developed performance measures to a greater extent to meet the GPRA
requirements, but do not make greater use of the information.
-
Internal performance measurement efforts and greater accountability for results can provide the
necessary information and incentives for performance-based management, even in the absence of
mandates
-
Top management commitment, decision-making authority and training are positively correlated
with greater high-level managerial use of performance information
7.8.3. Congressional oversight
The attention and interest of
congressional committees for performance information varies
substantially form committee to committee (Van Reeth, 2002; Joyce, 2003). “Some committees make
substantial use of hearings and GAO studies to evaluate the effectiveness of programs. Other
committees are less likely to focus on the performance of programs and move more likely to focus on
oversight episodically or in an effort to promote a political agenda (Joyce, 2003: 34)-.”
Joyce concludes that “Congress should focus on ways in which reforming the authorization process
could provide clear signals to agencies regarding congressional performance expectations and the
Congress should investigate the ways in which the constraints that it places on agencies impede the
performance of these agencies (Joyce, 2003).”
106
Appendix 1: Organization chart of the US General Accounting Office (GAO)
107
Appendix 2: Percentage of federal managers reporting in 2000 having outcome
and output measures to a great or very great extent by agency
Table 7-8: Percentage of Federal Managers who reported having outcome measures to a great or very great extent (GAO,
2002).
Table 7-9: Percentage of Federal Managers who reported having output measures to a great or very great extent (GAO, 2002).
AID U.S. Agency for International Development
DOD Department of Defense
DOT Department of Transportation
GSA General Services Administration
HCFA Health Care Financing Administration
HHS Department of Health and Human Services
HUD Department of Housing and Urban Development
IRS Internal Revenue Service
NASA National Aeronautics and Space Administration
NRC Nuclear Regulatory Commission
NSF National Science Foundation
OPM Office of Personnel Management
SBA Small Business Administration
SSA Social Security Administration
VA Department of Veteran Affairs
108
EPA Environmental Protection Agency
FAA Federal Aviation Administration
FEMA Federal Emergency Management Agency
Conclusies: Internationale trends in prestatiemeting
8. Conclusie: internationale trends in prestatiemeting
8.1.
Initiatieven tot prestatiemeting: vormen van verandering
Het internationaal vergelijkend onderzoek naar prestatiemeting vatte aan met een inventarisatie van
de initiatieven die betrekking hebben op beleidsen beheersopvolging. De volgende tabel geeft
hiervan een overzicht.
Australië
Canada
Nederland
Zweden
Public Service
Act (1999)
Outcomes &
Outputs
Budgeting and
Reporting
(1999-2000 )
Generalised
Performance
Management
Framework
(2002)
Performance
Management
Framework
(1999)
Policy on
Alternative
Service
Delivery (2002)
Service
Improvement
Initiative
(2002)
Review of nonstatutory
programs
(2002)
Outcome
budgeting and
reporting “From
Policy budget
To Policy
report” (1999)
Regulation on
Performance
measurement
and Policy
Evaluation
(2001)
Public Finance
Act (2002)
Performance
Management
(1988)
Accrual
Accounting
(1993)
VESTA (1997)
(2000)
Public
Administration
in the Citizen’s
Service (1998)
Verenigd
Koninkrijk
Public Service
Agreements
(1999)
Modernising
Government
(1999)
Public Sector
Benchmarking
service (2000)
Choosing the
right FABRIC
(2001)
Validation of
performance
measurement
systems (2003)
Verenigde
Staten
Government
Performance
and Results
Act 1993
President’s
Management
Agenda (2001)
Program
Assessment
Rating Tool
(2002)
Key National
Performance
Indicators
(2003)
Performance
Budgeting
(2003)
Vlaanderen
Strategische planning
(1999)
Handleiding Opvolgen
en Evalueren van
Beleid (2002)
Kaderdecreet
Bestuurlijk Beleid
(2003)
Voorontwerp
Comptabiliteitsdecreet
(principieel
goedgekeurd door de
regering)
Kwaliteitszorg
Statistisch
Productieproces.
Aanbevelingen(2003)
Tabel 1.1. Overzicht van hervormingen met betrekking tot prestatiemeting in Australië, Canada, Nederland, Zweden, het
Verenigd Koninkrijk en de Verenigde Staten.
De initiatieven rond prestatiemeting maken dikwijls deel uit van een breder hervormingsproject voor
de overheid zoals bijvoorbeeld Modernising Government (VK), Results for Canadians en de
President’s Management Agenda (VS). Ook in Vlaanderen betekent Beter Bestuurlijk Beleid een
belangrijke druk om het systeem van prestatiemeting verder uit te bouwen. Ook hervormingen van de
begroting of het boekhoudsysteem kunnen een belangrijke impuls vormen voor prestatiemeting,
aangezien ze een vraag naar prestatiegegevens voor toepassing in de financiële cyclus creëren.
Voorbeelden hiervan zijn de invoering van een accrual-gebaseerde prestatiebegroting in Australië
(Accrual Outputs and Outcomes Framework) en het Nederlandse VBTB-project (Van Beleidsbegroting
Tot Beleidsverantwoording). De Vlaamse overheid heeft ervoor gekozen om bij de ontwikkeling van
haar eigen comptabiliteit de resultaatgerichte filosofie van Beter Bestuurlijk Beleid als leidraad te
nemen. Prestatiegegevens en beleidsinformatie worden dan ook in toenemende mate erkend als een
instrument voor resultaatgericht financieel management, bijvoorbeeld door de toepassing van
prestatiemeting in de opmaak van het begrotingsdocumenten en in de evaluatie en bijsturing van de
meerjarenbegroting.
Het kan gaan om wetgevende initiatieven, zoals bijvoorbeeld de Government Performance and
Results Act
in de Verenigde Staten en de Nederlandse Comptabiliteitswet. Het Kaderdecreet
Bestuurlijk Beleid dat in 2003 werd
goedgekeurd door het Parlement, bepaalt de plannings- en
rapporteringscyclus en de vereiste van prestatiemeting in sturing en verantwoording in de nieuwe
109
organisatiestructuur. Het gebruik van prestatiegegevens in de financiële cyclus en de beleidsen
beheerscyclus is decretaal verankerd in het Ontwerp van Comptabiliteitsdecreet15.
Ook nieuwe regelgeving en belangrijke handleidingen worden opgenomen in de inventarisatie van
hervormingen. Voorbeelden hiervan zijn de Regeling Prestatiegegevens en Evaluatie Onderzoek in
Nederland en Choosing the Right FABRIC in het Verenigd Koninkrijk. Ook aanpassingen aan de weten regelgeving kunnen belangrijke impulsen vormen. Zo werden in de VS de instructies in Circular A11 zodanig aangepast dat departementen en agentschappen voor de begroting van het fiscale jaar
2005 een prestatiebegroting moeten indienen in plaats van een performance plan. In Vlaanderen
publiceerde de Administratie Planning en Statistiek recent twee nieuwe handleidingen, namelijk de
“Handleiding Opvolgen en Evalueren van Beleid” en
“Kwaliteitszorg Statistisch Productieproces:
Aanbevelingen”.
Er zijn ook veel hervormingen die niet verankerd zijn in weten regelgeving, maar ontwikkeld en
geïmplementeerd worden als project van de centrale dienst verantwoordelijk voor prestatiemeting. In
Vlaanderen ontstonden het merendeel van de regeringswijde initiatieven op deze wijze. Deze
projecten kunnen een systematische hervorming beogen of eerder een ad hoc bijsturing of aanvulling
op het bestaande systeem. Een voorbeeld van een systematisch hervormingsproject is het Public
Service Agreement Framework in het Verenigd Koninkrijk dat volledig ontwikkeld en geïmplementeerd
werd door de Treasury en het Cabinet Office. In Vlaanderen denken we dan aan de publicatie van de
Vlaamse Regionale Indicatoren (VRIND) en de methode van strategische planning. Voorbeelden van
ad hoc projecten zijn de invoering van de audit van prestatiemeetsystemen in het Verenigd Koninkrijk
en de ontwikkeling van Key National Performance Indicators in de Verenigde Staten.
Tenslotte kunnen er ook veranderingen plaats vinden in het veld van prestatiemeting door de
oprichting van een nieuwe organisatie of organisatie-eenheid. Voorbeelden hiervan zijn de fusie die
leidde tot het Australische Department of Finance and Administration en de oprichting van de Public
Sector Benchmarking Service en de Delivery Unit in het Verenigd Koninkrijk. In Vlaanderen zal de
Administratie Planning en Statistiek door de hervorming Beter Bestuurlijk Beleid omgevormd worden
tot de Studiedienst van de Vlaamse Regering.
8.2.
Actoren betrokken bij de hervormingen
Er zijn vier belangrijke categorieën van actoren betrokken bij initiatieven tot prestatiemeting. Ten
eerste zijn er de actoren verantwoordelijk voor het beleid rond prestatiemeting die het algemeen
kader scheppen waarbinnen initiatieven tot prestatiemeting ontwikkeld worden. Opvallend is, dat de
verantwoordelijkheid voor prestatiemeting meestal gesitueerd is binnen het Ministerie van Financiën,
in een speciale managementafdeling. Voorbeelden hiervan zijn de Financial Framework Division van
15
Het “Voorontwerp van Decreet houdende de regeling van de begrotingen, de boekhouding, de controle inzake subsidies en
de controle door het Rekenhof”of het Voorontwerp van Comptabiliteitsdecreet werd door de regering principieel goedgekeurd op
9 mei 2003. De Raad van State bracht advies uit op 18 september 2003. De inwerkingtreding was initieel voorzien voor 1
januari 2006, maar wordt mogelijks uitgesteld tot 1 januari 2007.
110
het Australische Department of Finance and Administration, de Comptrollership Branch van het
Canadese Treasury Board Secretariat, de Afdeling Beleidsevaluatie- en instrumentatie binnen het
Nederlandse Ministerie van Financiën, de Swedish National Financial Management Authority, een
agentschap van het Zweedse Ministerie van Financiën en het Office of Information and Regulatory
Affairs binnen het Amerikaanse Office of Management and Budget. In het Verenigd Koninkrijk wordt
het beleid rond prestatiemeting gezamenlijk uitgestippeld door het Ministerie van Financiën, Her
Majesty’s Treasury en het Cabinet Office. Binnen het Cabinet Office is er een speciale eenheid
opgericht voor de monitoring van de beleidsdoelstellingen en targets in een aantal prioritaire
beleidsdomeinen, namelijk de Delivery Unit.
In een aantal landen zijn deze centrale diensten ook verantwoordelijk voor het verzamelen en
rapporteren van regeringswijde prestatiegegevens. Het Treasury Board Secretariat bijvoorbeeld
publiceert jaarlijks een rapport over de prestaties van de Canadese overheid.
In een aantal landen zijn de rekenkamers ook actief betrokken bij de ontwikkeling en bijsturing van het
beleid rond prestatiemeting door de publicatie van handleidingen, doelmatigheidsonderzoeken en
adviezen. Het Britse National Audit Office bijvoorbeeld werkte mee aan de handleiding voor
prestatiemeting “Choosing the Right FABRIC” en publiceerde reeds verschillende rapporten en
doelmatigheidsonderzoeken over prestatiemeting (National Audit Office, 2000; National Audit Office,
2001; National Audit Office, 2003). Ook het Amerikaanse General Accounting Office speelt een
belangrijke rol in het beleid. Dit kan mede verklaard worden door het feit dat de plannings- en
rapporteringscyclus van de departementen en agentschappen wettelijk verankerd is in de Government
Performance and Results Act en het General Accounting Office in haar hoedanigheid van
parlementaire waakhond de implementatie van deze wet opvolgt. Het General Accounting Office heeft
ook een lange traditie in het evalueren en adviseren van managementhervormingen. De Nederlandse
Algemene Rekenkamer is eveneens zeer actief in het opvolgen en evalueren van initiatieven tot
prestatiemeting, met name de hervorming Van Beleidsbegroting Tot Beleidsverantwoording. De
Algemene Rekenkamer onderzocht bijvoorbeeld het gebruik van prestatiegegevens in de
begrotingsdocumenten en jaarverslagen en formuleerde aanbevelingen voor de verbetering hiervan
(Algemene Rekenkamer, 2002; Algemene Rekenkamer, 2003). Ook de Australische Rekenkamer
onderzocht het gebruik van prestatiegegevens in begrotingsdocumenten en formuleerde beste
praktijken inzake prestatiemeting (Australian National Audit Office, 1996; Australian National Audit
Office, 2001; Australian National Audit Office, 2002).
Ten tweede zijn er de actoren die de bevoegdheid hebben over het statistiekbeleid, de nationale
statistiek instellingen. Nationale statistiek instellingen zijn bevoegd voor het verzamelen van algemene
basisstatistieken met betrekking tot bevolking, economie, werkgelegenheid, milieu, onderwijs,
volksgezondheid,…. Voorbeelden hiervan zijn het Australian Bureau of Statistics, Statistics Canada,
het Centraal Bureau voor de Statistiek (Nederland), Statistics Sweden, het Office for National
Statistics (Verenigd Koninkrijk) en het United States Bureau of the Census. Federale statistiek
instellingen zoals Statistics Canada en het Australian Bureau of Statistics verzamelen ook statistieken
voor de deelgebieden. De nationale statistiekdiensten zijn meestal georganiseerd als een autonoom
111
agentschap. De volgende tabel geeft een overzicht van de nationale statistiek instellingen en hun
moederdepartementen in de onderzochte landen.
Australië
Canada
Nederland
Zweden
Verenigd
Koninkrijk
Verenigde Staten
Nationale instelling voor de statistiek
Australian Bureau of Statistics (ABS)∗
Statistics Canada∗
Centraal Bureau voor de Statistiek (CBS)
Statistics Sweden
Office for National Statistics (ONS)
Moederdepartement
Department of the Treasury
Department of Industry
Ministerie van Economische Zaken
Ministry of Justice
HM Treasury
Bureau of the Census
Department of Commerce
Tabel 8-1: Overzicht van nationale statistiekinstellingen.
Ten derde zijn er de beleidsspecifieke statistische agentschappen. In de Verenigde Staten
bijvoorbeeld zijn er een aantal Principal Statistical Agencies die elk bevoegd zijn voor de verzameling
van statistieken binnen hun beleidsdomein. Voorbeelden hiervan zijn het Bureau of Labor Statistics en
het National Center for Health Statistics.
Ten vierde zijn er de departementen en agentschappen die het beleid rond prestatiemeting
uitvoeren. Departementen en agentschappen spelen een cruciale rol in de initiatieven met betrekking
tot prestatiemeting. Ze ontwikkelen prestatiemeetsystemen binnen het beleidskader dat aangereikt
wordt door de centrale actoren die verantwoordelijk zijn voor het beleid rond prestatiemeting. Zij
beschikken meestal over redelijk veel vrijheidsgraden bij de implementatie van deze initiatieven.
Daarnaast groeien er ook veel initiatieven vanuit de departementen en agentschappen. Deze vallen
echter buiten de grenzen van dit onderzoek.
In Vlaanderen wordt het beleid rond prestatiemeting uitgestippeld door de Administratie Planning en
Statistiek van het Departement Algemene Zaken en Financiën. De algemene bevoegdheid voor het
statistiekbeleid bevindt zich op het federale niveau bij het Nationaal Instituut voor de Statistiek. De
Administratie Planning en Statistiek verzamelt echter ook een aantal Vlaamse statistieken. Het beleid
rond prestatiemeting wordt in toenemende mate gedecentraliseerd. Men wil evolueren van een
sturend beleid naar een beleid van tweedelijns adviesverlening. De bevoegdheden voor planning en
statistiek zullen na de bestuurlijke reorganisatie overgedragen worden naar de Studiedienst van de
Vlaamse Regering.
8.3.
Het proces van prestatiemeting bestaat uit verschillende fasen. In de meeste van de onderzochte
landen is dit proces van prestatiemeting ingebed in het begrotingsproces. Prestatiegegevens kunnen
gebruikt worden in de verschillende fasen van het begrotingsproces:
-
bij de voorbereiding van de begroting, in de begrotingsvoorstellen die de departementen indienen
bij de minister van financiën,
∗
Ook bevoegd voor de verzameling van regionale statistieken
112
-
tijdens de begrotingsonderhandelingen,
-
tijdens de toewijzing van de middelen aan departementen en agentschappen
-
en tenslotte in de opmaak van de begrotingsdocumenten.
In het Verenigd Koninkrijk worden de Public Service Agreement Targets onderhandeld tijdens de
tweejaarlijkse Spending Review. In het verleden was het echter zo dat deze onderhandelingen plaats
vonden op het einde van het Spending Review proces en dat er dus een onvoldoende duidelijk
verband was met de beslissingen over de uitgaven. In de Verenigde Staten neemt de rol van
prestatiegegevens in de voorbereiding van de begroting toe door de invoering van het Program
Assessment Rating Tool (PART) en de evolutie van Annual Performance Plans naar Performance
Budgets. In Zweden worden prestatiegegevens vooral gebruikt op het einde van het begrotingsproces,
namelijk bij de opmaak van de instructiebrieven (Regleringsbrev) die bepalen welke doelstellingen
agentschappen moeten bereiken met de toegewezen enveloppes. In Nederland worden
prestatiegegevens gebruikt in de voorbereiding van de begroting bij de indiening van de
departementale begrotingen en bij de opmaak van de finale begrotingsdocumenten. Het is vooralsnog
onduidelijk
in
welke
mate
de
prestatiegegevens
gebruikt
worden
tijdens
de
begrotingsonderhandelingen.
De Vlaamse hervormingen hebben als doelstelling om de prestatiegegevens te gebruiken als
verbinding tussen de financiële cyclus, de beleidsen beheerscyclus en de contractcyclus.
Prestatiegegevens worden nu reeds gebruikt bij de opmaak van de begrotingsdocumenten en meer
specifiek in de memorie van toelichting. Het is de ambitie om het gebruik van de informatie in het
begrotingsproces te vervroegen naar de begrotingsonderhandelingen. Prestatiemeting is ook ingebed
in het proces van strategische en operationele planning. Prestatiegegevens vormen tenslotte
eveneens de rode draad in de contractcyclus, bij de onderhandeling en opvolging van
beheersovereenkomsten.
8.4.
Wetgeving, regelgeving en richtlijnen
In een aantal landen is de vereiste van prestatiemeting wettelijk verankerd. Deze wetten bepalen de
verplichting om het beleid en de prestaties op te volgen en duiden aan wie de verantwoordelijkheid
draagt voor prestatiemeting. De Australische Financial Management and Accountability Act bepaalt
bijvoorbeeld dat de leidend ambtenaar van de organisatie verantwoordelijk is voor het efficiënt, ethisch
en effectief gebruik van de middelen en hierover rapporteert aan de bevoegde minister die de
eindverantwoordelijkheid draagt voor de effecten van het beleid. De meer specifieke regels over de
meting van prestaties worden dan bepaald in uitvoeringsbesluiten en richtlijnen zoals bijvoorbeeld de
Financial Management and Accountability Orders (Australië), de Regeling Prestatiegegevens en
Evaluatieonderzoek en de jaarlijkse begrotingsinstructies (Nederland) en Circular A-11 “Preparation ,
Submission and Execution of the Budget” (VS).
In een aantal anderen landen zijn de initiatieven tot prestatiemeting niet wettelijk verankerd. In
Canada, Zweden en het Verenigd Koninkrijk zijn de departementen en agentschappen niet wettelijk
113
verplicht het beleid en hun prestaties op te volgen aan de hand van prestatiemeetsystemen. De regels
en criteria voor prestatiemeting worden bepaald in verordeningen, zoals bijvoorbeeld de Ordinance on
Annual Reports and Budget Documentation in Zweden en in handleidingen zoals Choosing the Right
FABRIC in het Verenigd Koninkrijk en de Treasury Board Secretariat Reporting Principles in Canada.
Vooralsnog werden de initiatieven rond prestatiemeting in Vlaanderen niet decretaal verankerd. In de
resultaatgerichte filosofie van Beter Bestuurlijk Beleid en de ontwikkeling van een eigen Vlaamse
Comptabiliteit wordt prestatiemeting echter erkend als een belangrijk instrument. Het gebruik van
prestatiemeting bij de opvolging van beheersovereenkomsten wordt bepaald in het Kaderdecreet
Bestuurlijk Beleid. De meetbaarheid van de producten en diensten die een organisatie levert is een
van de criteria voor het al dan niet verzelfstandigen van de organisatie, naast de aanwezigheid van
een voldoende massa aan uitvoeringstaken, de reële mogelijkheid tot aansturing op grond van
doelmatigheid, prestaties en kwaliteit en de noodzaak van een reëel invulbare informatierelatie (art. 4).
Indien een organisatie verzelfstandigd wordt als IVA zonder rechtspersoonlijkheid, IVA of
publiekrechtelijk
vormgegeven
EVA
dan
wordt
er
met
de
Vlaamse
Regering
een
beheersovereenkomst afgesloten waarin de strategische en operationele doelstellingen en meetbare
criteria om deze op te volgen worden opgenomen alsook afspraken over de rapportering. Het
Kaderdecreet Bestuurlijk Beleid bepaalt dat de agentschappen minstens jaarlijks moeten rapporteren
aan de Vlaamse Regering over de uitvoering van de beheersovereenkomst aan de hand van beleidsen beheersrelevante indicatoren en kengetallen (art. 9§1 5de lid (a)). Op het einde van de
beheersovereenkomst dienen ze op gelijkaardige wijze een eindrapport in (art. 9§1 5° (b)).
Het gebruik van prestatiegegevens in de financiële cyclus wordt geregeld in het Ontwerp van decreet
houdende de regeling van de begrotingen, de boekhouding, de controle inzake de subsidies en de
controle door het Rekenhof of het Comptabiliteitsdecreet. Dit decreet bepaalt dat elke minister bij het
begin van de ambtstermijn een beleidsnota moet neerleggen bij het Parlement die de volgende
elementen bevat:
-
De strategische doelstellingen en de indicatoren aan de hand waarvan het bereiken van de
strategische doelstellingen zal worden gemeten;
-
de operationele doelstellingen en de outputindicatoren en -kengetallen aan de hand waarvan de
realisatie van de vooropgestelde prestaties zal worden gemeten (art. 5 §2).
De Vlaamse Regering dient jaarlijks de effectindicatoren en outputindicatoren uit de beleidsnota te
rapporteren aan het parlement aan de hand van een beleidseffectenrapport. Het Ontwerp van
Comptabiliteitsdecreet voorziet ook dat er prestatiegegevens worden opgenomen in de jaarlijkse
begrotingsdocumenten. “De memorie van toelichting bevat een verantwoording van de ontvangsten
en uitgaven aan de hand van outputindicatoren, kengetallen en andere niet-financiële informatie. Ze
plaatst de jaarlijkse begroting in een meerjarig perspectief door ze te situeren ten opzichte van de
meerjarenbegroting (art. 15).”
8.5.
114
Rapportering van prestatiegegevens
De rapportering van prestatiegegevens kan zich zowel bevinden op organisatieniveau (departementen
en agentschappen) als op regeringswijd niveau. In alle onderzochte landen publiceren departementen
en agentschappen hun prestatiegegevens in een jaarverslag of annual report. In het jaarverslag
worden ook financiële gegevens geïntegreerd. In Canada en Zweden wordt ook een regeringswijd
rapport over het beleid en de prestaties van de overheid gepubliceerd, respectievelijk het
Consolidated Annual Report of the Central Government en het Treasury Board Secretariat Annual
Report on Government Performance.
De jaarverslagen worden ingediend in het Parlement om verantwoording af te leggen over het
gevoerde beleid en de geleverde prestaties. In Canada en de Verenigde Staten moeten de
departementen en agentschappen hun jaarverslagen ook indienen bij de centrale begrotingsdienst
van de uitvoerende macht, het Treasury Board Secretariat en het Office of Management and Budget.
Deze tussenstap kan een bijkomende garantie van kwaliteit vormen en een extra incentive geven aan
de departementen en agentschappen voor een sluitende rapportage.
Naast de jaarlijkse rapportering in een annual report, worden de prestatiegegevens ook tussentijds
gerapporteerd. In het Verenigd Koninkrijk bijvoorbeeld dienen de departementen halfjaarlijks verslag
uit te brengen over de realisatie van de Public Service Agreements aan het Cabinet Committee on
Public Services and Expenditures aan de hand van een Delivery Report.
In Vlaanderen is er met de bestuurlijke reorganisatie van Beter Bestuurlijk beleid ook een nieuwe
cyclus
van
planning
en
rapportering
uitgetekend
waarbinnen
ook
de
rapportering
van
prestatiegegevens gesitueerd kan worden. De planning en rapportering bevindt zich enerzijds op het
niveau van het beleidsdomein en anderzijds op het niveau van de organisatie (departementen en
agentschappen). De volgende figuur geeft een overzicht van de verschillende documenten waarin
prestatiegegevens gerapporteerd zullen worden volgens het Kaderdecreet Bestuurlijk Beleid en het
Ontwerp van Comptabiliteitsdecreet.
115
Parlement
Beleidsnota
Beleidseffectenrapport
Beleidsbrief
Verslag uitvoering
beheersovereenkomst
Memorie van
Toelichting
Minister
Operationeel
Plan
Eindrapport uitvoering
beheersovereenkomst
Ondernemings
plan
Jaarrapport uitvoering
beheersovereenkomst
Beheers overeenkomst
Agentschappen
Figuur 8-1: Cyclus van planning en rapportering volgens het Kaderdecreet Bestuurlijk Beleid en het Ontwerp van
Comptabiliteitsdecreet.
Deze figuur geeft enkel de documenten weer die decretaal verankerd zijn in het Kaderdecreet
Bestuurlijk Beleid en het Ontwerp van Comptabiliteitsdecreet. Daarnaast worden prestatiegegevens
ook nog in andere documenten gerapporteerd zoals interne tussentijdse managementrapporten,
antwoorden op parlementaire vragen, statistische publicaties en departementale plannen en
rapporten.
Noch
in
het
Kaderdecreet
Bestuurlijk
Beleid,
noch
in
het
Ontwerp
van
Comptabiliteitsdecreet is een regeringswijde rapportering van de resultaten van het beleid
opgenomen. De Administratie Planning en Statistiek publiceert wel jaarlijks het VRIND-rapport met de
Vlaamse Regionale Indicatoren en publiceert ook statistische informatie op het internet. Er werd ook
een electronisch opvolgingssyteem voor beleidsindicatoren ontwikkeld, maar dit is niet breed
toegankelijk.
8.6.
Focus van prestatiemeting: wat wordt er gemeten?
Wat wordt er nu eigenlijk gemeten? Wat is de belangrijkste focus van prestatiemeting.
Wetgeving, richtlijnen en handleidingen over prestatiemeting koppelen indicatoren een hiërarchie van
doelstellingen. Indicatoren worden geënt op een hiërarchie van doelstellingen. Voor alle doelstellingen
in deze structuur moeten indicatoren worden ontwikkeld, verzameld en gerapporteerd:
-
Strategische doelstellingen
116
o
Effectindicatoren vb. Indicators of achievement of outcomes (Au), Strategic Outcome
Indicators (Ca), Indicators to measure policy area objectives (Zw), Public Service
Agreement Targets (VK),
o
-
Effectiviteit vb. Effectiviteit van strategische doelstellingen (Nl)
Operationele doelstellingen
o
Effectindicatoren vb. Indicators to measure program objectives (Zw), Short- to
Medium-term Objective Indicators (Ca), Outcome Targets (VS)
o
Effectiviteit vb. Indicators of contribution of outputs to outcomes (Au), Effectiviteit van
operationele doelstellingen (Nl)
-
Prestaties vb. Indicators to measure subprogram objectives (Zw), Output targets (VS)
o
Prijs (Au)
o
Kwantiteit (Au)
o
Kwaliteit (Au)
o
Efficiëntie vb. Efficiëntie van apparaatsuitgaven (Nl) vb. Value-for-Money Targets
(VK)
o
Prestaties van derden vb. Administered item indicators (Au)
In de praktijk blijkt de focus van de indicatoren in begrotingsdocumenten en jaarverslagen echter niet
altijd evenwichtig. Een aantal rekenkamers hebben onderzocht welke verschillende soorten
indicatoren gebruikt worden in begrotingsdocumenten en jaarverslag. Het National Audit Office
bijvoorbeeld analyseerde de indicatoren in de
concludeerde
dat
er
hoofdzakelijk
Public Service Agreements 2001-2004 en
outcome-indicatoren
(68%)
worden
gemeten
naast
outputindicatoren (13%), indicatoren die activiteiten meten (14%) en inputindicatoren (5%). De
Nederlandse Rekenkamer nam de begrotingsdocumenten en jaarrapporten onder de loep en
concludeerde dat de departementale begrotingen en jaarverslagen hoofdzakelijk focussen op outputs
en uitgaven en dat ze onvoldoende informatie bevatten over effecten (Algemene Rekenkamer, 2002;
Algemene Rekenkamer, 2003). Het General Accounting Office voerde in 2000 een survey uit bij het
top- en middenkader van de departementen en agentschappen naar de aanwezigheid en het gebruik
van indicatoren. 44% van de ondervraagde managers stelde in grote tot zeer grote mate te
beschikken over outcome indicatoren. 50% stelde een sterke tot zeer sterke aanwezigheid van
outputindicatoren te hebben.
In Vlaanderen worden de indicatoren ingebed in de hiërarchie van doelstellingen zoals ontwikkeld in
de methode van strategische planning. Zowel in het Kaderdecreet Bestuurlijk Beleid als in het
Ontwerp van Comptabiliteitsdecreet wordt het onderscheid gemaakt tussen indicatoren die
strategische doelstellingen meten enerzijds en indicatoren die operationele doelstellingen meten
anderzijds.
Strategische
doelstellingen
worden
gedefinieerd
als
de
uiteindelijk
beoogde
maatschappelijke effecten van het overheidsoptreden op het betrokken beleidsdomein. Operationele
doelstellingen zijn de instrumenten die door de overheid in het betrokken beleidsdomein zullen worden
ingezet en worden opgevolgd door outputindicatoren en -kengetallen.
117
8.7.
Zoals de financiële rekeningen van departementen en agentschappen geaudit worden, kunnen ook de
niet-financiële gegevens die gerapporteerd worden aan het parlement het onderwerp uitmaken van
een audit. In verschillende landen hebben rekenkamers de bevoegdheid om naast de financiële
informatie ook de prestatiegegevens te toetsen op hun kwaliteit. De Canadese Auditor-general en de
Nederlandse Algemene Rekenkamer hebben de expliciete statutaire bevoegdheid om de
prestatiegegevens te auditen. De Britse regering besliste in 2002 het National Audit Office de
expliciete bevoegdheid te geven om prestatiemeetsystemen te auditen. In een aantal andere landen
behoort de audit van prestatiegegevens tot de algemene bevoegdheid van de rekenkamer om
doelmatigheidsaudits uit te voeren (Australië, Zweden en de Verenigde Staten).
De audit en kwaliteitscontrole van prestatiegegevens kan verschillende vormen aannemen naargelang
het onderzoeksobject of de focus en de frequentie. De audit kan betrekking hebben op de kwaliteit
van
de
rapportering
in
de
jaarverslagen
(Zweden),
op
de
informatiesystemen
die
de
prestatierapportering voeden (Verenigd Koninkrijk) of op de geldigheid en de betrouwbaarheid van de
individuele indicatoren. De audit kan op een systematische wijze gebeuren, bijvoorbeeld jaarlijks
(Zweden en de Verenigde Staten) of driejaarlijks (Verenigd Koninkrijk) of eerder op een ad hoc basis
(Australië, Canada, Nederland).
De audit van prestatiegegevens kent echter nog vele uitdagingen en discussiepunten. Een eerste
belangrijk probleem is het gebrek aan algemeen aanvaarde standaarden voor prestatiemeting en
prestatierapportering. Een tweede vraag is in welke mate de methodologie van financiële audit
gebruikt kan worden voor de audit van prestatiegegevens en op welke punten deze methodologie
aangepast moet worden. Ten derde kan men zich afvragen hoe ver men kan en moet gaan met het
auditen van prestatiegegevens: welk niveau van zekerheid over de kwaliteit van prestatiegegevens is
nodig en redelijk haalbaar? Dit sluit aan bij de discussie over de kosteneffectiviteit en de impact van
de audit van prestatiegegevens.
Ook in Vlaanderen worden maatregel genomen om de kwaliteit van de niet-financiële gegevens te
garanderen. De interne controle diensten die opgericht worden binnen de departementen en
agentschappen zijn verantwoordelijk voor de controle van de betrouwbaarheid van de financiële en
beheersrapportering (Vlaamse Regering, 2003, art. 33, de lid). De entiteit Interne Audit van de
Vlaamse Gemeenschap evalueert de systemen van interne controle van de departementen, IVA’s en
publiekrechtelijk vormgegeven EVA’s. De externe auditeur, het Rekenhof heeft geen expliciete
statutaire bevoegdheid om prestatiegegevens te auditen. Het Rekenhof zou eventueel wel een rol
kunnen
spelen
in
de
audit
van
prestatie-informatie
binnen
de
bevoegdheid
om
doelmatigheidsonderzoeken uit te voeren. De Wet Duquesne stelt namelijk dat het Rekenhof a
posteriori de goede besteding van de van de rijksgelden kan controleren en zich ervan vergewissen
zich ervan dat de beginselen van zuinigheid, doeltreffendheid en doelmatigheid in acht worden
genomen (Kamer van Volksvertegenwoordigers, 1998). Het Rekenhof voerde bijvoorbeeld een
onderzoek naar de opmaak en uitvoering van het strategisch plan “preventieve kinderzorg” van Kind &
Gezin en naar de beheersovereenkomsten met de Vlaamse Openbare Instellingen. Een
118
doelmatigheidsonderzoek met de expliciete doelstellingen om de kwaliteit van prestatiegegevens,
prestatiemeetsystemen of prestatierapporteringen na te gaan, werd vooralsnog nog niet uitgevoerd.
De audit en kwaliteitscontrole van prestatiegegevens is gebaseerd op de standaarden met betrekking
tot goede prestatiemeting. In de meeste landen stelt de organisatie bevoegd voor prestatiemeting
criteria op voor prestatiemeting. In deze handleidingen onderscheidt men criteria voor indicatoren
enerzijds en voor prestatiemeetsystemen anderzijds (HM Treasury et.al., 2001; Treasury Board
Secretariat; Ministerie van Financiën, 2002a).
Criteria voor goede indicatoren
Geldig en accuraat
Betrouwbaar
Transparant, ondubbelzinnig en toegankelijk
Nuttig
Relevant
Tijdsspecifiek
Tijdig en regelmatig
Vergelijkbaar en compatibel
Robuust
Perverse effecten vermijden
Toewijsbaar aan activiteiten
Controleerbaar en gedocumenteerd
Criteria voor goede prestatiemeetsystemen en
rapportering
Afstemming op de vraag naar prestatiegegevens van interne
en externe gebruikers
Continuïteit en vergelijkbaarheid over de tijd
Coherentie
Geldige technieken van analyse en interpretatie van gegevens
Adequate selectie van meeteenheden
Causaal verband tussen outputs en outcomes
Kosteneffectief (baten > kosten)
Geïntegreerd in het management van de organisatie
Gefocust op de doelstellingen van de organisatie
Gefocust op maatschappelijke effecten
Evenwichtig en representatief voor de activiteiten van de
organisatie
Duidelijke afbakening van gebruikte concepten
Verband tussen effecten, prestaties en uitgaven
Tabel 8-2: Criteria voor goede indicatoren, prestatiemeetsystemen en rapportering.
Deze criteria zijn voldoende ruim om op een pragmatische wijze gehanteerd te worden. Zo stelt de
handleiding Choosing the Right FABRIC dat indicatoren slechts zo accuraat moeten zijn als vereist
voor de beoogde doelstelling. “The ideal is to find measures that fully capture and represent the
objective in question. It is often better to try and measure important objectives imperfectly than to
ignore them altogether. An imperfect measure can still help in setting priorities and planning; helping
to put out the resources an organisations uses into context and providing at least a starting point in
judging the organisation’s performance.” (HM Treasury et al., 2001 pp.18)
In Vlaanderen heeft de Administratie Planning en Statistiek recent twee handleidingen ontwikkeld met
betrekking tot prestatiemeting. Ten eerste is er de Handleiding Opvolgen en Evalueren van Beleid
waarin aandachtspunten worden geformuleerd voor elke fase van het proces van prestatiemeting
(Administratie Planning en Statistiek, 2002). Ten tweede stelde de Administratie Planning en Statistiek
ook een handleiding op met aanbevelingen voor de kwaliteitszorg van het statistisch productieproces
(Administratie Planning en Statistiek, 2003).
8.8.
Prestatiegegevens kunnen gebruikt worden in de financiële cyclus, in de beleidsen beheerscyclus
en in sturings- en verantwoordingsrelaties. We lichten hier de meest voorkomende toepassingen van
prestatiemeting uit die we observeerden in de 6 OESO-landen: prestatiebegroten, resultaatgericht
119
management, verantwoording aan het parlement en de burgers en aansturing en opvolging van
verzelfstandigde organisaties.
Verschillende overheden hebben initiatieven genomen om de begroting meer resultaatgericht te
maken. De meeste van deze initiatieven beogen een aanpassing van de begrotingsdocumenten: de
begrotingsstructuur wordt gewijzigd en er wordt niet-financiële informatie toegevoegd aan de
traditionele inputgegevens. De wijze waarop en de mate waarin begrotingsdocumenten meer
resultaatgericht worden, verschilt echter sterk tussen landen. Zo zijn er overheden die hun
begrotingsstructuur dusdanig aangepast hebben dat de parlementaire autorisatie verschoven wordt
van het niveau van line-items en programma’s naar het niveau van prestaties en effecten (Australië,
Nederland, Zweden en het Verenigd Koninkrijk). Andere overheden gaan iets minder ver. De
begrotingsstructuur en de parlementaire autorisatie blijven onveranderd, maar er wordt informatie
gegeven over prestaties en effecten in toelichtingen op de begroting. Voorbeelden hiervan zijn de
Reports on Plans and Priorities in Canada en de Performance Plans in de Verenigde Staten.
Prestatiegegevens kunnen ten tweede een rol spelen in het intern management van departement en
agentschappen. Het General Accounting Office ondervroeg in 2000 het top- en middenkader van de
24 grootste federale departementen en agentschappen over het gebruik van prestatiegegevens in het
management van hun organisatie. Ongeveer de helft van de managers stelde deze informatie in grote
tot zeer grote mate te gebruiken in het intern management van de organisatie, namelijk voor het
bepalen van de prioriteiten (56%), voor het toewijzen van middelen (53%), voor het aanpassen van
processen (51%), voor het bepalen van de doelstellingen van individuele werknemers (51%), en voor
het belonen van werknemers (53%).
Prestatiegegevens zijn ten derde ook een belangrijk instrument voor de uitvoerende macht om
verantwoording af te leggen aan het parlement en aan de burgers. De nood om het parlement en de
burgers meer informatie te geven over de het beleid en de werking van de overheid, is een belangrijke
drijfveer voor de uitbouw van prestatiemeetsystemen. Alle overheden erkennen het belang van
prestatiegegevens voor accountability, maar vooral in Canada, de Verenigde Staten en Nederland
werden de initiatieven expliciet gedreven door een nood aan meer externe verantwoording. De mate
waarin de prestatiegegevens ook daadwerkelijk gebruikt worden in de parlementaire controle en de
mate waarin de accountability werkelijk is toegenomen, is echter niet even duidelijk. Ook de mate
waarin burgers, al dan niet georganiseerd, prestatiegegevens gebruiken voor politieke participatie,
dient verder onderzocht te worden.
Tenslotte kunnen prestatiegegevens ook gebruikt worden voor de aansturing en opvolging van
verzelfstandigde organisaties. In Zweden, bijvoorbeeld, dat reeds een lange traditie heeft van
verzelfstandiging werden de initiatieven tot prestatiemeting vooral gedreven door de nood aan een
meer resultaatgerichte aansturing van agentschappen. In het Verenigd Koninkrijk worden de Public
Service Agreement Targets van de departementen verder vertaald in indicatoren en targets voor de
intern verzelfstandigde executive agencies en de extern verzelfstandigde Non-Departmental Public
Bodies.
120
Ook in Vlaanderen blijken deze vier toepassingen van prestatiemeting aanwezig. Ten eerste zet men
ook de stap naar een meer resultaatgerichte begroting. Hiertoe wordt de begrotingsstructuur
aangepast. Naast de organisatorische indeling, wordt er namelijk ook een functionele indeling
ingevoerd. De begroting van de IVA’s met rechtspersoonlijkheid, van de EVA’s en de structurele
afdelingen van de begroting van het ministerie zullen bestaan uit een aantal functionele afdelingen,
namelijk personeel, eigen werking en beleidsvelden. Een beleidsveld wordt beschouwd als een geheel
van beleidsobjectieven en is vergelijkbaar met het concept programma in de huidige begroting.
Verschillende
organisatorische
eenheden
binnen
het
homogeen
beleidsdomein
kunnen
verantwoordelijk zijn voor hetzelfde beleidsveld. De mate waarin de gemachtigde begroting meer
resultaatgericht zal worden, hangt sterk af van de wijze waarop het concept beleidsveld zal ingevuld
worden.
Ten tweede wordt er ook resultaatgerichte informatie opgenomen in de memorie van
toelichting op de begroting. Om ook de uitvoering van de begroting op een meer resultaatgerichte
wijze op te volgen, zal er een kostenanalytische boekhouding worden ontwikkeld. Ten tweede spelen
de prestatiegegevens ook een rol in het intern management. Deze initiatieven ontstaan op het
organisatieniveau. Verschillende departementen en VOI’s hebben informatiesystemen ontwikkeld om
hun eigen beheer op te volgen. Voorbeelden hiervan zijn de managementinformatiesystemen van het
departement WVC en van de VDAB. Ten derde worden prestatiegegevens ook gebruikt als instrument
om verantwoording af te leggen aan het Parlement en aan de burger. De vraag rijst echter in welke
mate de beleidsbrieven en beleidsnota’s daadwerkelijk gebruikt worden door het Vlaams Parlement in
de uitoefening van de
controlefunctie. De parlementaire vragen lijken als instrument
van
parlementaire controle meer ingeburgerd te zijn. Hoewel de beleidsbrieven en beleidsnota’s
toegankelijk zijn voor het publiek, zijn er nog vele andere bronnen van informatie, zoals de
beleidsindicatoren die nog niet openbaar gemaakt worden. In de toekomst kan de verantwoording ten
opzichte van de burger versterkt worden door de publicatie van inzichtelijke beleidseffectenrapporten.
Tenslotte vormen prestatiegegevens ook de ruggengraat van de aansturing en opvolging van
verzelfstandigde
organisaties.
Momenteel
heeft
de
Vlaamse
Regering
reeds
een
aantal
beheersovereenkomsten afgesloten met een aantal VOI’s waarbij zeer sterk gebruik werd gemaakt
van prestatiegegevens. Het meest bekende voorbeeld is dat van de Vlaamse Radio en Televisie. Met
de implementatie van Beter Bestuurlijk beleid en de verdere verzelfstandiging, zal het belang van
deze toepassing van prestatiemeting nog toenemen. Hierbij is het van groot belang dat er voldoende
capaciteit en expertise ontwikkeld wordt zowel binnen departementen als verzelfstandigde
agentschappen. De vraag naar prestatiegegevens zal in de overgangsfase wellicht het aanbod ervan
overtreffen en er moet dan ook gezocht worden naar alternatieven om deze fase te overbruggen.
8.9.
Verband tussen prestatiemeting en boekhoudsystemen
Naast het internationaal vergelijkend onderzoek naar prestatiemeting, werd er ook inventarisatie
gemaakt van de boekhoudinitiatieven in de selectie van OESO-landen (Scheers & Bouckaert, 2003).
De opsplitsing in twee rapporten heeft als voordeel dat beide systemen gedetailleerder kunnen
worden behandeld en de vergelijkbaarheid per systeem over de onderzochte landen toeneemt. Het
nadeel van de opsplitsing is wel dat het zicht op de samenhang tussen boekhouding en monitoring
(nummer III in figuur 1.1) voor een groot deel verloren gaat. Om dit op te vangen worden, ter afsluiting
121
van het rapport, het verband, de gelijkenissen en de verschillen die we uit de twee rapporten kunnen
opmaken hier kort besproken. Dit gebeurt aan de hand van de parameters functies, procedures en
formattering. Eerst worden de gemeenschappelijke punten en de verschilpunten weergegeven in een
tabel. Daarna worden die verder toegelicht.
Gemeenschappelijke punten
Een lange hervormingstraditie
Beide systemen kennen meerdere gebruikswijzen en vervullen
dus meerdere functies
Centrale aansturing van de hervormingen
Periodieke en jaarlijkse rapportering van de data
De rapportering van de financiële en niet-financiële gegevens
in gezamenlijke jaarlijkse rapporten
Verschilpunten
De interne productie van boekhoudgegevens versus de soms
externe dataverzameling bij prestatiemeting
De focus en de graad van ontwikkeling en standaardisering
van de wetgeving en normering
De gestandaardiseerde boekhoudstandaarden versus de nog
niet gestandaardiseerde standaarden voor prestatiemeting
De prestatiegegevens worden niet geconsolideerd
Verschillende filosofie en woordenschat van de
kwaliteitscontrole
De niet-financiële informatie wordt meestal niet ge-audit
De focus van de systemen
Tabel 8-3: Vergelijking boekhoudsystemen met prestatiemeetsystemen.
8.9.1. Functies van boekhouding en prestatiemeting
INITIATIEVEN
De door ons onderzochte landen kennen duidelijk een lange traditie in zowel boekhoudhervormingen
als prestatiemeting. De initiatieven rond prestatiemeting en de boekhoudinitiatieven worden meestal
apart ontwikkeld in specifieke hervormingen, maar in sommige gevallen is de link tussen beide
systemen heel duidelijk. Zo wordt een accrual boekhouding vaak als noodzakelijk gezien ter
ondersteuning van het resultaatgericht financieel management. Voor de uitbouw van een degelijk
prestatiemeetsysteem is het belangrijk dat er een zicht is op de kosten en opbrengsten. De invoering
van een bedrijfseconomische boekhouding is dus vereist. Gezien de nauwe link tussen de twee
systemen is het niet verwonderlijk dat hervormingen met betrekking tot de boekhouding en monitoring
binnen éénzelfde initiatief worden opgenomen.
GEBRUIK VAN FINANCIËLE EN NIET-FINANCIËLE GEGEVENS
Zowel het boekhoudsysteem als de prestatiegegevens worden gebruikt voor verschillende doeleinden
en vervullen dus meerdere functies. Ten eerste kunnen financiële en niet-financiële gegevens een
bron van informatie vormen in de ontwikkeling van beleid en de politieke besluitvorming. Beide zijn ten
tweede een belangrijk instrument voor de uitvoerende macht om verantwoording af te leggen aan het
parlement en de burgers. De boekhouding richt zich op de financiële verantwoording terwijl monitoring
zich toelegt op de verantwoording over outputs en outcomes. Beide systemen ondersteunen tevens
het intern management van de departementen en agentschappen. Zo is het belangrijk voor de
beheersfunctie dat er kostengegevens aan outputs en activiteiten kunnen worden gelinkt. Financiële
122
en niet-financiële rapportering is tenslotte ook een belangrijk instrument in de aansturing en opvolging
van verzelfstandigde organisaties.
De vraag stelt zich hier wel in welke mate de geproduceerde prestatiegegevens daadwerkelijk worden
gebruikt door de betrokken actoren. Wordt er met andere woorden voldaan aan de verschillende
functies? Een goed prestatiemeetsysteem kenmerkt zich door functionaliteit, legitimiteit en validiteit.
De mate waarin prestatiegegevens daadwerkelijk gebruikt worden, hangt af van een aantal factoren:
de afstemming van de vraag en het aanbod naar prestatiegegevens, de nodige expertise en knowhow bij de gebruikers om de gegevens te begrijpen en te kunnen interpreteren, incentives om de
prestatiegegevens te gebruiken, waarheidsgetrouwe rapportering en doorstroming van informatie,
betrouwbaarheid en geldigheid van de informatie en de tijdigheid van de rapportering. Er wordt steeds
meer belang gehecht aan de kwaliteit van prestatiegegevens.
Ook met betrekking tot de boekhoudgegevens kan men zich de vraag stellen in welke mate deze een
impact hebben op de parlementaire controle, het intern management, de besluitvorming en de
aansturing van verzelfstandigde organisaties. Parlementsleden beschikken niet altijd over voldoende
expertise en know-how om de bedrijfseconomische rekeningen te gebruiken in de parlementaire
controle en grijpen daarom vaak terug naar de uitvoeringsrekeningen van de begroting. Om de
financiële gegevens te kunnen gebruiken voor het intern management is een goed uitgebouwd
financieel informatiesysteem en de aanwezigheid van financiële expertise bij het management
noodzakelijk.
8.9.2. Procedures van boekhouding en prestatiemeting
ACTOREN
Zowel voor het uitstippelen van de boekhoudhervormingen als voor het beleid rond prestatiemeting is
er een centrale aansturing. Zo speelt het Ministerie van Financiën een belangrijke rol voor beide
systemen. De centrale aansturing van het beleid rond prestatiemeting lijkt minder sterk en meer
versnipperd te zijn dan de coördinatie van het beleid rond boekhouding. Er lijken ook meer bottom-up
initiatieven te ontstaan vanuit de departementen en agentschappen. De verantwoordelijkheid voor
beide hervormingen is wel gesitueerd in een speciale afdeling binnen het Ministerie van Financiën. Zo
is
de
verantwoordelijkheid
voor
prestatiemeting
meestal
gesitueerd
in
een
speciale
managementafdeling. Daarnaast zijn er nog andere actoren betrokken bij het beleid rond
prestatiemeting zoals de “cabinet offices” en de nationale statistiekinstellingen. Het Ministerie van
Financiën is in een aantal landen zowel verantwoordelijk voor het periodiek verzamelen en
rapporteren van regeringswijde financiële gegevens als voor het verzamelen en rapporteren van
regeringswijde prestatiegegevens.
123
Naast het Ministerie van Financiën spelen ook de rekenkamers een actieve rol bij de
boekhoudhervormingen en de prestatiemeting. Dit gebeurt onder andere aan de hand van publicaties
van handleidingen, beste praktijken en adviezen. Ook de beroepsgroepen zijn actief betrokken bij de
hervormingen in de boekhoud- en prestatiemeetsystemen. Met betrekking tot het boekhoudsysteem
zijn het uiteraard de accountants die een leidende rol spelen. Bij prestatiemeetsystemen is de
leidende beroepsgroep nog niet helemaal duidelijk en wordt er hieromtrent nog volop gestreden. De
accountants willen deze markt inpalmen, maar ook sociale wetenschappers en beleidsexperten bezig
zijn eisen hun rol op. De organisatiegraad van deze beroepsgroepen verschilt nogal sterk en zal
misschien bepalend zijn voor de uitkomst.
Wat betreft de uitvoering van de hervormingen spelen in beide gevallen de departementen en
agentschappen een cruciale rol. Wel is het zo dat de organisaties met betrekking tot
monitoringinitiatieven meer vrijheidsgraden hebben in vergelijking met de boekhoudhervormingen. De
wetgeving, regelgeving en richtlijnen in verband met prestatiemeting zijn immers nog niet zo
ontwikkeld en gestandaardiseerd zoals dit bij de boekhouding het geval is. Dit komt uitgebreider aan
bod in de volgende sectie. Een ander verschilpunt is dat de boekhoudgegevens steeds intern door de
departementen en agentschappen worden gegenereerd, terwijl er voor de prestatiemeting ook een
beroep wordt gedaan op externe bronnen zoals nationale statistiekinstellingen.
WETGEVING EN NORMEN
Wat de wetgeving betreft, kan er gesteld worden dat er voor de boekhouding altijd een wettelijk kader
bestaat, terwijl dat voor prestatiemeting niet altijd het geval is. Indien het principe van prestatiemeting
wettelijk verankerd is, dan gaat het meestal slechts over de algemene vereisten van prestatiemeting.
De meer specifieke richtlijnen worden opgenomen in regelgeving en handleidingen. Naast de
wetgeving zijn er zowel voor de boekhouding als voor de prestatiemeting meer specifieke regels en
normen voorzien. De focus van de wetgeving en normering is verschillend voor de boekhoudsystemen
en de prestatiemeetsystemen. De wetgeving en normering van financiële informatie heeft vooral
betrekking op het boekhoudsysteem (rekeningstelsel, waarderingsregels, aanrekeningsregels, …) en
niet zozeer op de financiële indicatoren die berekend worden op basis van dit boekhoudsysteem. De
normering bij prestatiemeetsystemen daarentegen, heeft vooral betrekking op de indicatoren en niet
zozeer op de prestatieboekhouding.
Een belangrijk verschil tussen de boekhouding en de prestatiemeting is dat er bij de boekhouding
redelijk gestandaardiseerde normen zijn die algemeen worden aanvaard en erkend (Generally
Accepted Accounting Principles), terwijl dit bij prestatiemeting nog niet het geval is. De GAAP zijn over
de jaren heen ontwikkeld om de financiële rekeningen van de organisaties te standaardiseren. Het
volstaat om zich aan deze standaarden te houden opdat de financiële rekeningen van verschillende
organisaties kunnen worden vergeleken. Op basis van de financiële rekeningen worden immers de
financiële analyses of “ratio-analyses” (het berekenen van indicatoren zoals rendabiliteit, solvabiliteit,
liquiditeit, voorraadrotatie, …) uitgevoerd. Er bestaat wel variatie tussen boekhoudstandaarden van
verschillende landen, maar de inhoud is dezelfde en er is bovendien een trend naar steeds grotere
124
internationale harmonisatie aan de hand van International Accounting Standards. Zo een proces heeft
nog niet plaats gevonden met betrekking tot de rapportering van prestatiegegevens. Er wordt echter
wel gewerkt aan principes en standaarden voor prestatiemeting door een verscheidenheid aan
professionele en gerelateerde organisaties. Zo wordt er in Canada hard gewerkt aan de ontwikkeling
van een algemeen aanvaarde set voor de rapportering van prestaties.
CONSOLIDATIE
Het belangrijke verschilpunt tussen de boekhouding en de prestatiemeting is het feit dat
prestatiegegevens niet op een kwantitatieve manier kunnen worden geconsolideerd zoals dit bij
financiële gegevens het geval is. De rapportering van prestatiegegevens bevindt zich dan ook meestal
op organisatieniveau. Indien er een regeringswijde rapportering is van prestatiegegevens, dan gaat
het over gegevens die op regeringswijd niveau verzameld zijn en dus niet om een consolidatie van
prestatiegegevens op consolidatieniveau. De consolidatieproblematiek is een belangrijke uitdaging
voor
organisaties
met
zeer
veel
uitvoeringsorganisaties
zoals
bijvoorbeeld
werkgelegenheidsagentschappen.
AUDIT EN KWALITEITSCONTROLE
Bij boekhoudsystemen is het de interne controle die moet waarborgen dat de financiële rapportering
betrouwbaar is. Een van de meest gekende modellen voor interne controle is het COSO model. De
filosofie en de woordenschat die in dergelijke modellen wordt gehanteerd is dikwijls zeer verschillend
van de kwaliteitscontrole bij prestatiemeetsystemen. Zo sluit de terminologie van de kwaliteitscontrole
bij prestatiemeetsystemen veel sterker aan bij een sociaal-wetenschappelijk referentiekader.
Op de financiële data wordt er ook een audit uitgevoerd die de betrouwbaarheid van de gegevens
garandeert. Een audit van de prestatiegegevens gebeurt echter slechts in een beperkt aantal landen
(bvb Zweden en Canada) en meestal voor specifieke gevallen en op ad hoc basis. Er dient echter
verzekerd te worden dat de gegevens, of het nu financiële of niet-financiële zijn, kunnen worden
vertrouwd en vergeleken. De audit van prestatiegegevens kent nog heel wat uitdagingen en
discussiepunten. Zo wordt er gediscussieerd over de toepasbaarheid van de methodologie van de
financiële audit. Eveneens stelt zich de vraag hoe ver men kan en moet gaan met het auditen van
prestatiegegevens opdat het nog haalbaar blijft?
8.9.3. Formattering van boekhouding en prestatiemeting
RAPPORTERING
De boekhoudsystemen van de departementen en agentschappen produceren periodiek en jaarlijks
financiële gegevens. Daarnaast worden er ook jaarlijks regeringswijde financiële rekeningen
125
opgemaakt. De rapportering van prestatiegegevens situeert zich eveneens op organisatieniveau en in
bepaalde gevallen (Zweden en Canada16) op regeringswijd niveau.
De boekhoudformatteringen zijn meer gestandaardiseerd en minder afhankelijk van de strategie van
een organisatie in vergelijking met prestatiemeetsystemen waarbij de formattering sterker is
afgestemd op het proces van strategische planning binnen een organisatie. In het proces van
strategische planning worden de normen geformuleerd waarmee de prestatie-informatie wordt
vergeleken om te komen tot een beeld van de implementatie en de resultaten van de strategie en om
indien nodig bij te sturen. Wel is het zo dat het analytisch luik van de boekhouding of de
kostprijsboekhouding eveneens minder gestandaardiseerd is en meer afhankelijk is van de strategie
van de organisatie.
De departementen en agentschappen publiceren hun prestatiegegevens in jaarlijkse rapporten of
annual reports. Deze rapporten bevatten tevens financiële informatie. De financiële en niet-financiële
informatie worden dus samen opgenomen in één rapport. Er wordt steeds meer getracht de informatie
te integreren en te consolideren.
FOCUS
De boekhouding is in alle landen, op uitzondering van Nederland, een accrual boekhouding geworden
en focust zich nu dus op de kosten en opbrengsten en niet langer enkel en alleen op de kasstromen.
De focus van de prestatiemeting (effecten, prestaties, activiteiten) is minder duidelijk en niet altijd
evenwichtig. Het blijkt makkelijker te zijn prestatiegegevens te verzamelen over activiteiten en outputs
dan over outcomes. Met betrekking tot de samenhang kan de vraag gesteld worden op welk niveau de
link tussen de meetsystemen en de boekhoudsystemen dient plaats te vinden? Is het wenselijk en
haalbaar effecten en kosten te verbinden of moet men eerder kiezen voor een pragmatisch scenario
waarbij outputs en activiteiten gelinkt worden aan kosten? Het feit dat niet alle prestaties en effecten
van de overheid meetbaar zijn en dat er niet altijd een causaal verband is tussen activiteiten,
prestaties
16
en
effecten
vormt
hierbij
een
grote
Annual Consolidated Report for the Central Government en TBS Annual Report on Government’s Performance
126
uitdaging.
8.10. Overzichtstabellen van het internationaal vergelijkend onderzoek naar prestatiemeting
Australia
Canada
The Netherlands
Initiatives
Public Service Act (1999)
Outcomes & Outputs Budgeting and
Reporting (1999-2000 )
Generalised Performance
Management Framework (2002)
Framework (1999)
Policy on Alternative Service
Delivery (2002)
Service Improvement Initiative
(2002)
Review of non-statutory programs
(2002)
Outcome budgeting and reporting
“From Policy budget To Policy report”
(1999)
measurement and Policy Evaluation
(2001)
Public Finance Act (2002)
Department of Finance and
Administration (DOFA)
Treasury Board Secretariat,
Comptrollership Branch
Australian Bureau of Statistics
Statistics Canada
Ministry of Finance
Division for Policy Evaluation and
Instrumentation
Central Bureau of Statistics
Financial Management and
Accountability Act
Financial Management and
Accountability Orders
Manual Specifying Outcomes and
Outputs
Not legally enacted
Public Finance Act 2001
TBS Six Reporting Principles
Measurement and Policy Evaluation
Annual Budget Instructions
Departmental reporting
Who?
To whom?
Annual Report
Departments and agencies
Parliament
Annual report and accounts
Departments
Parliament
How often?
Financial information?
Government-wide reporting?
Annually
Included
No government-wide reporting
Departmental Performance Report
Departments and agencies
Parliament
Treasury Board Secretariat
Annually
Included
Treasury Board Secretariat Annual
Report on Government’s
Performance
Canada at a Glance
Actors
Performance management Framework
Official Statistics
Regulations or guidelines
Legislation
Regulation and guidelines
Focus: what is measured?
Requirements in legislation, regulation
and guidelines
128
Outcome indicators
Indicators of achievement of
outcomes
Indicators of contribution of
outputs to outcomes
/
Annually
Included
Input indicators (t-2 until t+4)
Effectiveness measures for strategic
objectives
Effectiveness measures for operational
objectives
Dominant focus of performance
measurement as assessed by
Supreme Audit Institutions
Audit and Quality Control
Who is auditing?
Output indicators
Price
Quantity
Quality
Administered Item indicators
Administered Items
/
Australian National Audit Office
Statutory authority?
Audit of performance information
within performance audits
Systematically or ad hoc?
Role for internal audit?
Ad hoc
Audit Committee
Outcome budgeting
Internal Management
Accountability to Parliament
Efficiency measures of administration
expenditures
/
Office of the Auditor-General of
Canada
Explicit authority to audit
performance measurement systems
in Auditor General Act
Ad hoc
Internal audit and evaluations (Ma
Internal Management
Inputs (expenditures)
Outputs
Audit Court
Explicit authority to audit performance
information in Public Finance Act
Ad hoc
Departmental Audit Division
Outcome Budgeting
Planning & Control Cycle
129
Sweden
United States
United Kingdom
Initiatives
Performance Management (1988)
Accrual Accounting (1993)
VESTA (1997) (2000)
Public Administration in the Citizen’s Service
(1998)
Government Performance and Results Act
1993
President’s Management Agenda (2001)
Program Assessment Rating Tool (2002)
Key National Performance Indicators (2003)
Performance Budgeting (2003)
Public Service Agreements (1999)
Modernising Government (1999)
Public Sector Benchmarking service (2000)
Choosing the right FABRIC (2001)
Validation of performance measurement
systems (2003)
Swedish National Financial Management
Authority
Office of Management and Budget
Official Statistics
Statistics Sweden
Federal Committee on Statistical Methodology
Principal Statistical Agencies
HM Treasury
Prime Minister’s Delivery Unit
Cabinet Office
Office for National Statistics
Regulations or guidelines
Legislation
Not legally enacted
Government Performance and Results Act
1993
Chief Financial Officers Act 1990
Not legally enacted
Ordinance on Annual Reports and Budget
Documentation
Agency Ordinance
Circular A-11
Choosing the right FABRIC
Annual Report
Semi-annual report
Performance Report
Departmental Annual Report and Accounts
Delivery Reports
Who?
To whom?
Agencies and ministries
Ministers
How often?
Annual and Semi-annual
Departments and Agencies
Congressional Appropriation Committees
Congressional Authorization Committees
Office of Management and Budget
Annual
Financial information?
Integrated in annual report
Departments
Parliament
Cabinet Committee on Public Services and
Expenditure
Annual
Semi-annual
Included in annual report and accounts
Government-wide reporting
Consolidated Annual Report of the Central
Government
Actors
Performance management Framework
Regulation and guidelines
Departmental reporting
Focus: what is measured?
Requirements in legislation, regulation and
guidelines
Dominant focus of performance measurement
as assessed by Supreme Audit Institutions
Audit and Quality Control
Who is auditing?
130
Included (for the cabinet departments and 9
agencies)
Policy areas
Programs
Subprograms
/
Outputs
Outcomes
Performance targets
Value- for–money targets
Outcomes
Outputs
Outcomes (68%) outputs (13%) activities (14%)
inputs (5%)
Swedish National Audit Office
General Accounting Office
Statutory authority?
Systematically or ad hoc?
Research subject
Frequency
Systematic audit of annual reports
Part of performance auditing authority
Systematically
Annual reports
Part of the performance auditing authority
Government decision
Systematically
Performance reports
Annual
Annual
Systematically
Performance measurement systems of Public
Service Agreements
Every three year
Steering and controlling agencies
Internal management
Performance budgeting
Internal Management
Performance budgeting
Accountability to HM Treasury and the Cabinet
Office
Better Policy making
Business Planning
Budget process
131
Bibliografie
Bibliografie
Algemene Rekenkamer (2001).
Achtergrondstudie bedrijfsvoering.
Een Perspectief Op
Bedrijfsvoering Bij De Overheid in Nederland en Daarbuiten.
Algemene Rekenkamer (2002). VBTB in begrotingen 2002. Deel A: samenvattend rijksbreed beeld.
Den Haag: Sdu Uitgevers. pp. 47.
Algemene Rekenkamer (2003). Doelmatigheidsinformatie in begroting en jaarverslag. Den Haag: Sdu
Uitgevers. pp. 37.
Australian Bureau of Statistics (2003). Australian Bureau of Statistics Annual Report 02-03. Canberra:
Australian Bureau of Statistics. pp. 242.
Australian National Audit Office (2001). Performance information in portfolio budget statements. pp.
99.
Australian National Audit Office (ANAO) (1996).
Better practice principles for performance
information. Canberra: Australian National Audit Office (ANAO), pp. 42.
Performance information in portfolio budget
statements. pp. 99.
Performance information in Portfolio Budget
Statements: a better practice guide. Canberra: Australian National Audit Office, pp. 42.
Australian Public Service Commission (2002). Performance management. pp. 15.
Barzelay, M. (1997). Central audit institutions and performance auditing: a comparative analysis of
organizational strategies in the OECD. In: Governance. International Journal of Policy and
Administration. 10(3): 235-260.
Blöndal, J. (2001). Budgeting in Sweden. OECD Journal on Budgeting. 1(1): 27-57.
Bouckaert, G. & Auwers, T. (1999). Prestaties meten in de overheid. Brugge: Die Keure. pp. 205.
Bouckaert, G., Van Reeth, W., Auwers, T. & Verhoest, K. (1997). Handboek Doelmatigheidsanalyse
Prestaties Begroten. Brussel: Ministerie van de Vlaamse Gemeenschap. pp. 271.
Cavaluzzo, K.S & Ittner, C.D. (2003). Implementing performance measurement innovations: evidence
from government. In: Accounting, Organizations and Society.
Centraal Bureau voor de Statistiek (2003a). De organisatie van het CBS. Voorburg/Heerlen: Centraal
Bureau voor de Statistiek. http://www.cbs.nl.
133
Centraal Bureau voor de Statistiek (2003b). Jaarverslag 2002. Voorburg/Heerlen: Centraal Bureau
voor de Statistiek. pp. 61.
Chan, M., Nizette, M., La Rance, L., Broughton, C. & Russell, D. (2002). Australia. OECD Journal on
Budgeting, 2(4): 35-69.
Commonwealth of Australia Parliament (1997). Financial Management and Accountability Act 1997.
Canberra: Attorney General Department Office of Legislative Drafting. pp. 48.
Department of Finance and Administration. Australia Accrual Budgeting Project (ABP) (1998).
Specifying Outcomes and Outputs: Implementing the Commonwealth's Accrual-Based
Outcomes and Outputs Framework. Canberra: Department of Finance and Administration
Australia.
Department of Finance and Administration (2000a). The outcomes and outputs framework: guidance
document. Canberra: Department of Finance and Administration Australia. pp. 52.
Department of Finance and Administration (2000b). The outcomes and outputs framework: guidance
document. Canberra: Department of Finance and Administration Australia.pp. 52.
Department of the Parliamentary Library (2002).
The Commonwealth budget: process and
presentation. Canberra: Department of Finance and Administration Australia. pp. 40.
Department of the Prime Minister and Cabinet (2002).
departments, executive agencies and FMA bodies.
Requirements for annual reports for
Canberra: Department of the Prime
Minister and Cabinet
Fufy, T. & Fitzpatrick, T. (2002). Canada. In: OECD. Distributed Public Governance: Agencies,
Authoritities and Other Public Bodies. OECD. Paris.
General Accounting Office (GAO) (2000). Managing for results: federal managers' views shows need
for ensuring top leadership skills. Washington D.C.: General Accounting Office. pp. 27.
General Accounting Office (GAO) (2001). Managing for results: federal managers' views on key
management issues vary widely across agencies.
Washington D.C.: General Accounting
Office. pp. 39.
General Accounting Office (2002). Performance reporting. Few agencies reported on the
completeness and reliability of performance data. Washington D.C.: General Accounting Office.
pp. 17
General Accounting Office (GAO) (2003a). Government auditing standards. Revision for 2003.
Washington D.C.: General Accounting Office. pp. 195.
134
Bibliografie
General Accounting Office (GAO) (2003b). United States Key National Indicators Forum.
http://www.gao.gov/npi/.
General Accounting Office (GAO) (2003c). GAO at a glance. http://www.gao.gov.
Gustafsson, L. & Svensson, A. (1999). Public sector reform in Sweden. Malmö: Liber Ekonomi. pp.
215.
Hatry, H. (1999). Performance measurement. Getting results. Washington D.C.: The Urban Institute
Press. pp. 286.
House of Commons of Canada (2003). Bill C-25. An Act to modernize employment and labour
relations in the public service and to amend the Financial Administration Act and the Canadian
Centre for Management Development Act and to make consequential amendments to other
Acts. Ottawa. House of Commons of Canada.
HM Treasury (2003). Resource accounting manual. London: HM Treasury.
HM Treasury (2003b). Central Government Main Supply Estimates 2003-2004. Lonon: HM Stationary
Office.
HM Treasury, Cabinet Office, National Audit Office (NAO), Audit Commission & Office for National
Statistics (2001). Choosing the right FABRIC. A Framework for Performance Information.
London: HM Stationary Office. pp. 35.
Joyce, P. (2003). Linking performance and budgeting: opportunities in the federal budget process.
Managing performance and results series. Washington D.C.: IBM Center for the Business of
Government. pp. 51.
Kamer van Volksvertegenwoordigers (1998). Wet van 10 maart 1998 tot wijziging van de organieke
wet van 29 oktober 1846 op de inrichting van het Rekenhof. Brussel: Kamer van
Volksvertegenwoordigers.
Ministerie van Financiën (2002a). Regeling Prestatiegegevens en Evaluatieonderzoek Rijksoverheid.
Den Haag: Sdu Uitgevers. pp. 56.
Ministerie van Financiën (2002b). Handreiking doelformuleringen en prestatiegegevens. Den Haag:
Ministerie van Financiën. pp. 21.
Minister for Family and Community Services & Minister for Children & Youth Affairs (2002). Portfolio
Budget Statements 2002-2003 Family and Community Services Portfolio. Canberra: National
Capital Printing. pp. 310.
National Audit Office (2000). Good practice in performance reporting in executive agencies. London:
National Audit Office. pp. 61.
National Audit Office (2001). Measuring the performance of government departments. London:
National Audit Office. pp. 68.
135
National Audit Office (2002). Department for International Development Performance management.
Helping to reduce world poverty. London: National Audit Office. pp. 72.
OECD (2000). Examples of recent public management initiatives in Canada. Paris. OECD. pp. 17.
OECD & World Bank (2003). Survey on Budget Practices. http://www.oecd.org
Office of Management and Budget (OMB) (2003a). Circular A-11: preparation, submission and
execution of the budget. Washington D.C.: Office of Management and Budget. pp. 738.
Office of Management and Budget (OMB) (2003b). Statistical Programs of the United States
Government Fiscal Year 2004. Washington D.C.: Office of Management and Budget. pp. 88.
Office
of
Management
and
Budget
(OMB)
(2003c).
Common
performance
measures.
http://www.whitehouse.gov/omb/memoranda
Office of the Auditor General of Canada (2003). Audit criteria for the 2003 assessment of the fairness
and reliability of performance information. http://www.oag-bvg.gc.ca/.
Office of the Auditor General of Canada (2003). Report of the Auditor General of Canada. Chapter 1:
Rating Departmental Performance Reports.
Parliament of the Commonwealth of Australia. (1997). Financial Management and Accountability Act
1997. Canberra: Attorney-General Department. pp. 48.
Parliament of the Commonwealth of Australia House of Representatives (2002). Appropriation Bill (No.
1) 2002-2003. Canberra: Parliament of the Commonwealth of Australia. pp. 143.
Persson, G. & Lejon, B. (2000). Public Administration in the Service of Democracy: an Action
Programme. Stockholm: Government Offices. pp. 32.
Public Services Productivity Panel (2000).
Public services productivity: meeting the challenge.
Londen: HM Treasury, pp. 25.
Scheers, B. & Bouckaert, G. (2003). Internationale trends in de modernisering van de
overheidsboekhouding. Leuven: Steunpunt Bestuurlijke Organisatie Vlaanderen. pp. 116.
Standing Committee on Public Accounts (2001). Eight Report of the Standing Committee on Public
Accounts
136
Bibliografie
Statistics Sweden (2003). Annual Report 2002. Stockholm: Statistics Sweden. pp. 46
Swedish National Audit Office (Riksrevisionsverket) (2000). Performance audit reports 1999.
Stockholm: Swedish National Audit Office (Riksrevisionsverket). pp. 184.
Swedish National Audit Office (Riksrevisionsverket) (2001a). Annual report and accounts 2000.
Swedish National Audit Office (Riksrevisionsverket) (2001b). Performance audit reports 2000.
Swedish Institute (2002). Fact Sheets on Sweden. Stockholm: Swedish Institute. pp. 4.
Swedish National Financial Management Authority (1999). EA-värdering avseende 1998 av
myndigheter under regeringen (Rating of the economic management of agencies in 1998).
Stockholm: Swedish National Financial Management Authority.
Swedish National Financial Management Authority (2001). Accrual accounting in Swedish central
government. Stockholm: Swedish National Financial Management Authority. pp. 46.
Swedish National Financial Management Authority (2003a). Performance management in Swedish
central government. Stockholm: Swedish National Financial Management Authority. pp. 22.
Swedish National Financial Management Authority (2003b). Annual Report 2002. Stockholm: Swedish
National Financial Management Authority. pp. 52.
Talbot, C. (1996). Ministers and Agencies. Control, Performance and Accountability. London:
Chartered Institute of Public Finance and Accountancy (CIPFA). pp.37.
Tomkin, S.L. (1998). Inside OMB : politics and process in the President's budget office. New York:
Sharpe Armonk. pp. 365.
Treasury Board Secretariat (TBS) (2003). About the Treasury Board of Canada Secretariat.
http://www.tbs-sct.gc.ca
Treasury Board Secretariat (2002). Employment Statistics for the Federal Public Service (April 2000March 2001). Treasury Board Secretariat. Ottawa.
137
Treasury Board Secretariat (2003a). Main Estimates 2003-2004. Part I and Part II. Treasury Board
Secretariat. Ottawa.
Treasury Board Secretariat (2003b). Assessment of 2002 Departmental Performance Reports.
Ottawa: Treasury Board Secretariat. pp. 19.
Tweede Kamer der Staten-Generaal (2002). Comptabiliteitswet 2001. Den Haag: Sdu Uitgevers.
Tweede Kamer der Staten-Generaal (2003). Vaststelling van de begrotingsstaten van het Ministerie
van Sociale zaken en Werkgelegenheid voor het jaar 2004: Voorstel van Wet. Den Haag: Sdu
Uitgevers.
Tweede Kamer der Staten-Generaal (2003). Vaststelling van de begrotingsstaten van het Ministerie
van Sociale zaken en Werkgelegenheid voor het jaar 2004: Memorie van Toelichting. Den Haag: Sdu
Uitgevers.
van Dijken, K. & van Schoten, E. (2003). Zijn overheidsdoelstellingen SMART? In: Tijdschrift voor
organisaties in control. 7 (2): 17-21.
138

Monitoring and control in US federal government

Transcription

Similar documents

misleading small groups: misinformation, source credibility and the

gebruikte definities - Toerisme Vlaanderen

+5999 461 9081 Datum E-mail 2

a record deal

Op de Bok - Maart 2010 - Vereniging Nederlandse Verkeersvliegers

Zuidas office monitor

Antwerp - Ondernemen in Antwerpen

IDENTIFICATION SINT VINCENTIUS vzw KORTRIJK

StOCKHOLmRESIDENCY SuBCASE 13–16FEBRuARY2013