Gemeinsame Wirkungsevaluation des deutschen Beitrags

Gemeinsame Wirkungsevaluation des
deutschen Beitrags im philippinischen
Berufsbildungssystem
Zentrale Ergebnisse
Referent:
Stefan Silvestrini
Bereichskoordinator Entwicklungszusammenarbeit
Centrum für Evaluation
Postfach:
15 11 50
66041
Saarbrücken
E-Mail:
s.silvestrini@ceval.de
Tel.:
06 81 – 3 02 – 36 79
Evaluationsgegenstand
 Deutscher Beitrag zur Verbesserung des philippinischen
Berufsbildungssystems, durch die Einführung dualer/dualisierter
Ausbildungsgänge
•
•
•
•
•
Weiterbildung von Leitern und Verwaltungsmitarbeitern aus
Berufsschulen
‚Training of Trainers‘ (ToT)
Bereitstellung von technischer Ausrüstung und
Unterrichtsmaterialien
Beratung der Ausbildungseinrichtungen
Beratung von TESDA
 Zielsetzung
•
•
•
Verbesserung der Beschäftigungsfähigkeit von
Berufsschulabgängern
Steigerung der Produktivität des industriellen Sektors
Landesweite Einführung dualer/dualisierter Berufsbildungsgänge
 Umsetzungszeitraum: 1996 bis 2007
17.06.2013
Stefan Silvestrini @ Lernveranstaltung „Evaluierung Berufsbildung Philippinen“ InWEnt, Bonn
2
Capacity Development
Auf Mittlerebene (Berufsschulen)
 Verbesserung der fachlichen und didaktischen
Kenntnisse des Lehrpersonals
 Steigerung der Effizienz der Organisation und
Verwaltung der Berufsschulen
 Intensivierung der Zusammenarbeit der Schulen mit
ihren Partnerunternehmen
Auf der Systemebene (TESDA)
 + Ausweitung der rechtlichen Grundlagen
 – Keine nachhaltigen Veränderungen erkennbar
(Organisationsstruktur, Monitoring etc.)
17.06.2013
Stefan Silvestrini @ Lernveranstaltung „Evaluierung Berufsbildung Philippinen“ InWEnt, Bonn
3
Relevanz
Zielgruppenebene
 Die Auszubildenden benötigten eine verbesserte Berufsausbildung
 Die Unternehmen hatten (und haben immer noch) einen Bedarf an
besser qualifizierten Arbeitskräften
Mittlerebene
 Die Berufsschulen mussten ihre Leistungsfähigkeit steigern, um
ihren Zielgruppen eine angemessene Ausbildung zu ermöglichen
Systemebene
 Die Auswahl der Ausbildungsgänge war zum Zeitpunkt der
Maßnahmenkonzeption angemessen, ihre Relevanz verringerte
sich jedoch im Umsetzungszeitraum
Geberperspektive
 Die Zielsetzung der Beiträge stand in Einklang mit der strategischen
Ausrichtung der deutschen EZ im Berufsbildungs- und Arbeitsmarktsektor
 Die Relevanz wird mit ‚gut‘ bewertet
17.06.2013
Stefan Silvestrini @ Lernveranstaltung „Evaluierung Berufsbildung Philippinen“ InWEnt, Bonn
4
Effektivität
Zielgruppenebene
 Die Beschäftigungsfähigkeit der Absolventen der unterstützten
Berufsschulen wurde deutlich gesteigert
 Partnerunternehmen beschäftigen bevorzugt Absolventen der
unterstützten Berufsschulen
 Die Bereitschaft der Partnerunternehmen mit den Berufsschulen
zusammenzuarbeiten wurde z.T. gesteigert
Mittlerebene
 Die organisatorische und fachlich-didaktische Leistungsfähigkeit
der Berufsschulen wurde erheblich verbessert
Systemebene
 TESDA hat nicht in erwarteter Weise die Einführung eines
dualen/dualisierten Ausbildungssystems vorangetrieben
 Die Effektivität wird mit ‚gut‘ bewertet
17.06.2013
Stefan Silvestrini @ Lernveranstaltung „Evaluierung Berufsbildung Philippinen“ InWEnt, Bonn
5
Impact
 Ein Beitrag zur Reduktion der Arbeitslosigkeit der TVETAbsolventen konnte nicht nachgewiesen werden
 Das durchschnittliche Einkommen der Zielgruppen hat sich
weder im Umsetzungszeitraum noch danach signifikant
erhöht
 Die landesweite Einführung dualer/dualisierter
Ausbildungsgänge wurde nicht erreicht
 (Die Produktivität des industriellen Sektors hat sich nicht
verändert, Wirkungszusammenhang mit Programmmaßnahmen nicht ersichtlich)
 Keine der übergeordneten Zielsetzungen wurde erreicht!
 Der Impact wird mit ‚nicht zufriedenstellend‘ bewertet
17.06.2013
Stefan Silvestrini @ Lernveranstaltung „Evaluierung Berufsbildung Philippinen“ InWEnt, Bonn
6
Effizienz
Zielgruppenebene
 Hohe Kosteneffizienz im Vergleich zu ähnlichen Programmen
anderer Geber
Mittlerebene
 Effizienz der Maßnahmenumsetzung wurde durch
Verzögerungen und Probleme mit der technischen Ausrüstung
z.T. beeinträchtigt
 Geringe Effizienz der Maßnahmen, die sich auf TESDA bezogen
Geberperspektive
 Sehr effiziente Zusammenarbeit der DO
 Hohe Komplementarität der Beiträge der verschiedenen DO
 Die Effizienz wird mit ‚zufriedenstellend‘ bewertet
17.06.2013
Stefan Silvestrini @ Lernveranstaltung „Evaluierung Berufsbildung Philippinen“ InWEnt, Bonn
7
Nachhaltigkeit
Zielgruppenebene
 Beschäftigungsfähigkeit und Anpassungsvermögen der
Absolventen wurde gesteigert
Mittlerebene
 Inwieweit die unterstützten Berufsschulen ihr duales/dualisiertes
Ausbildungsangebot beibehalten, hängt von zwei Faktoren ab:
• Ob seitens der Unternehmen Bedarf signalisiert wird und
• ob die Schulen ihre Ausrüstung instand halten und ihre Curricula an sich verändernde Anforderungen anpassen können
Systemebene
 Drei Faktoren, die eine nachhaltige Wirksamkeit beeinträchtigen
• Unzureichende Diffusionseffekte auf der Mittlerebene
• Mangelnde Unterstützung durch TESDA
• Abnehmende Relevanz der unterstützten Ausbildungsgänge
 Die Nachhaltigkeit wird mit ‚nicht zufriedenstellend‘ bewertet
17.06.2013
Stefan Silvestrini @ Lernveranstaltung „Evaluierung Berufsbildung Philippinen“ InWEnt, Bonn
8
Empfehlungen I
Für die Durchführungsorganisationen
 Systematische Analyse und Dokumentation der gewonnenen
Erkenntnisse für zukünftige Programme, wesentliche Aspekte:
• Vergleich der unterschiedlichen Ansätze (bottom-up vs.
top-down)
• Identifikation von ‚Good Practices‘ der Zusammenarbeit
• Beobachtung des Einflusses anderer Geberaktivitäten
 Realistischere Zielformulierung auf der Impactebene
(Komplexität der Wirkungszusammenhänge erfassen!)
 Abschätzung der erforderlichen Größenordnung der direkten
Wirkungen und Diffusionseffekte zur Erzeugung
systemverändernder Wirkungen
 Stärkerer Einbezug der Unternehmen in die
Maßnahmenkonzeption, da sie ein starkes Interesse an einer
Verbesserung der Qualifikation ihrer Arbeitskräfte haben
17.06.2013
Stefan Silvestrini @ Lernveranstaltung „Evaluierung Berufsbildung Philippinen“ InWEnt, Bonn
9
Empfehlungen II
Für die Durchführungsorganisationen
 Vernünftige Exit-Strategie (geeignete Follow-Up Maßnahmen)
 In Bezug auf die Bereitstellung technischer Ausrüstung
• Bedarfsanalyse und der Überprüfung der Auslieferung
• Auswahl der Ausrüstung auf Grundlage der Kompetenzen
ihrer Nutzer
• Monitoring der Instandhaltung der Ausrüstung in den
Berufsschulen
 Entwicklung und Umsetzung eines gemeinsamen systematischen
Wirkungsmonitorings
Für TESDA
 Weg von der Geberorientierung, hin zur Entwicklung und
Propagierung einer eigenen, bedarfsorientierten Strategie
17.06.2013
Stefan Silvestrini @ Lernveranstaltung „Evaluierung Berufsbildung Philippinen“ InWEnt, Bonn
10
Vielen Dank für Ihre Aufmerksamkeit!
Kontakt:
17.06.2013
Stefan Silvestrini
Centrum für Evaluation
Postfach:
15 11 50
66041
Saarbrücken
E-Mail:
s.silvestrini@ceval.de
Tel.:
06 81 – 3 02 – 36 79
11
Wirkungskette
Highly
aggregated
Impact
Impact
Outcome
Use of
Output
Poverty reduction
Economic development
Increased employment
Improvement of the TVET-system
Improved employment situation
of TVET graduates (indicators:
unemployment rate, wage, job
satisfaction, position within the
enterprise)
Increased productivity of enterprises that
employ TVET graduates (indicators:
productivity, contribution to GDP)
Nationwide introduction and establishment of dual and dualized training
programs (indicator: number/share of training institutions that offer dual or
dualized trainings)
Enterprises have a better-qualified workforce
at their disposal
Supported training institutions forward their
knowledge to other institutions
Improved qualification/
employability of graduates from
supported training institutions
Enterprises increasingly participate
and/or employ graduates from
dual/dualized trainings
Development and application
of improved curricula by the
training institutions
Activities
and
Output
Training of
trainers
(application of
DT, teaching
methods etc.)
Problem
Analysis
Beneficiary level:
• Lack of adequate qualification
opportunities
• Lacking or insufficient
qualification
• Unemployment/
underemployment
• Precarious economic situation
17.06.2013
Utilisation and maintenance of
provided technical equipment and
teaching material
Provision of technical
equipment and
teaching material and
maintenance support
Improved management and
training capacities of
vocational training institutions
Dissemination of the adopted competences within the
training institutions
Consulting of training institutions
(efficient school management,
curriculum development, application
of DTS, gender related issues etc.)
Institutional level:
• Inefficient management and
administrative capacities
• Lack of systematic demand oriented
curricula and training concepts
• Inability to offer adequate
qualification opportunities
Steering capacities of TESDA have been
improved and it advocates the introduction and
establishment of dual/dualized trainings
Dissemination of the
acquired competences
within TESDA
Consulting of TESDA
HQ regarding
efficient
management
structures
Reorganisation of the TVETsystem (towards the
introduction of DTS)
Support of TESDA HQ and RCs in developing
a supportive framework for DTS
(accreditation, curriculum development,
legislative framework etc.)
Systemic level:
• Hindered access of deprived social strata to the education and labour
market
• Inferior access of girls to TVET
• Insufficient steering capacity of the coordinating authority (TESDA)
• Low reputation of vocational training within industry and society
• Mismatch between qualifications provided by the TVET-system and the
demands of the industry
Stefan Silvestrini @ Lernveranstaltung „Evaluierung Berufsbildung Philippinen“ InWEnt, Bonn
12
Besuchte Berufsschulen
Institution
Received support
Characteristics
ToT
Equipment
No. of
partner
enterprises
Name
Type of
institution
Training
approach
Subject
area
Graduate
absorption*
Internal
dissemination
External
dissemination
Tarlac Training Center
Private
DTP
ME, El



++
25%
70%


Angeles City National
Trade School
Public
OJT
El



+/-
n.a.
n.a.

-
Systems Plus Computer
Foundation
Private
DTS, DTP
CT, El



+/-
n.a.
90%

-
TESDA RTC III Mariveles
RTC
DTP
ME



+/-
n.a.
100%
-
-
Mary Help Christians
School
Churchly
DTS, DTP
EI


**
+
20%
70%


Batangas State University
Public
DTS
ME


-
~
n.a.
100%

-
Monarc Foundation
Technical Institute
Private
DTS
AM

-

+
n.a.
90%


Punlaan School
Churchly
DTS
TF



++
15%
100%

-
TESDA RTC Taguig
RTC
OJT
ME


-
~
n.a.
>50%
-
-
TESDA RTC VI Talisay
RTC
DTP, OJT
AM

-

+/-
n.a.
50%

-
TESDA RTC VII Cebu
RTC
OJT
AM



+/-
n.a.
n.a.

-
Center for Industrial
Technology and Enterprise
Churchly
DTP
El
-


~
n.a.
100%


RTC X Tagaloan
RTC
DTP
ME

-

+
<5%
90%

-
Lupon School of Fisheries
Private
DTP
TF



~
55%
n.a.
n.a.
n.a.
17.06.2013
C/IE
Dropout
rate
Stefan Silvestrini @ Lernveranstaltung „Evaluierung Berufsbildung Philippinen“ InWEnt, Bonn
13
Arbeitsmarktentwicklung
Sector/ Subject area
Development of employees*
Development contribution to GDP*
0,55
-0,25
Fishing
-0,04
-0,04
Mining and quarrying
-0,12
0,53
Manufacturing
-1,21
-4,91
0,23
2,67
Construction
-0,82
-0,57
Wholesale and retail trade
-5,69
-7,36
0,46
-0,59
-1,47
4,55
Financial intermediation
1,02
5,14
Real estate and other business activities
4,71
0,27
Private education
1,41
0,45
Health and social works
0,98
0,37
-0,02
-0,26
Agriculture, hunting and forestry
Electricity, gas and water
Hotels and restaurants
Transport, storage and communication
Other community and personal services
17.06.2013
Stefan Silvestrini @ Lernveranstaltung „Evaluierung Berufsbildung Philippinen“ InWEnt, Bonn
14
Arbeitsmarktstatistiken
Entwicklung der Jugendarbeitslosigkeit
25%
20%
15%
21,68%
21,29%
20,04%
19,41%
16,87%
21,19%
19,47%
18,96%
16,43%
15,72%
10%
5%
0%
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
Einkommensanteile nach Einkommensdezilen
40%
35%
30%
25%
1997
20%
2006
15%
10%
5%
0%
1.
decile
17.06.2013
2.
decile
3.
decile
4.
decile
5.
decile
6.
decile
7.
decile
8.
decile
9.
decile
10.
decile
Stefan Silvestrini @ Lernveranstaltung „Evaluierung Berufsbildung Philippinen“ InWEnt, Bonn
15