Evaluationspraxis

Professionalisierung - Ansätze - Methoden

Verlag	Waxmann Lehrbuch
Erscheinungsjahr	2016
Seitenanzahl	305 Seiten
ISBN	9783830985280
Format	PDF
Kopierschutz	Wasserzeichen/DRM
Geräte	PC/MAC/eReader/Tablet
Preis	30,99 EUR

In der Evaluationspraxis stellen sich vielfach Herausforderungen, zu denen situativ passende und kreative Lösungen gefunden werden müssen. Die Autorinnen und Autoren dieses Bandes - erfahrene Evaluatorinnen und Evaluatoren - zeichnen in ihren Beiträgen diese professionelle Praxis nach und legen die dahinterliegenden Begründungen offen.
Dieser Band präsentiert Aufsätze aus drei inhaltlichen Bereichen: Professionalisierungsinstrumente, Evaluationsansätze und Evaluationsmethoden. Im ersten Teil werden Quellen für eine Verbesserung der Evaluationssteuerung vorgestellt, wie Checklisten, Strategien zur Förderung des Datenschutzes oder der Einsatz interkulturell sensibler Teams. Der Schwerpunkt im zweiten Teil liegt auf nutzungsorientierten Evaluationsansätzen, insbesondere für experimentierende und unausgereifte Programme. Neben Datenerhebungsmethoden werden im dritten Teil auch Methoden für die Gegenstandsklärung sowie die Ergebnisvermittlung inklusive des Bewertungsvorgangs präsentiert.
Das Buch bietet Erfahrenen, Novizinnen und Novizen, Praktikerinnen und Praktikern sowie Studierenden einen anregenden und anschaulichen Einblick in die Evaluationspraxis.

Kaufen Sie hier:

Horizontale Tabs

Kapitelübersicht

Buchtitel
Vorwort zur 2. Auflage
Inhalt
Evaluationspraxis reflektieren – Einleitung und Überblick (Susanne Giel/Katharina Klockgether/Susanne Mäder)
Beitrag zu einer konsistenten Evaluationsterminologie –das Glossar von Univation (Melanie Niestroj/Wolfgang Beywl/Berthold Schobert)
Checklisten zur Planung und Steuerung von Evaluationen (Katharina Klockgether)
Informationssicherheit in der Evaluation (Marc Jelitto)
Interkulturelle Kompetenz – ein weiterer Bausteinfür das professionelle Handeln in Evaluationen (Schahrzad Farrokhzad)
Schwarm-Evaluation als Steuerungsansatz (Dörte Schott und Wolfgang Beywl)
Der Programmbaum als Evaluationsinstrument (Samera Bartsch/Wolfgang Beywl/Melanie Niestroj)
Wirkungen auf der Spur mit Programmtheorien (Susanne Giel)
Developmental Evaluation nach Michael Patton. Begriffsbestimmung und Reflexion der praktischen Anwendung (Maria Gutknecht-Gmeiner)
Nutzen einer wirkungsorientierten Zielsystematik. Bindeglied zwischen Evaluation und Programmsteuerung (Stefan Schmidt)
Der Umgang mit Monitoring in der Evaluation (Katharina Klockgether)
Interviews mit Jugendlichen. Herausforderungen in der Planung und Umsetzung (Matthias Sperling)
Mit Gruppendiskussionen kollektive Orientierungen rekonstruieren (Ute B. Schröder )
Die Anwendung der Grounded Theory in Evaluationen (Marianne Lück-Filsinger)
Evaluation und das Web (Elitsa Uzunova)
Bewertungsverfahren in der Evaluation. Vorgehensweisen und Praxisbeispiele (Susanne Mäder)
Autorinnen und Autoren
Index

Blick ins Buch

Inhaltsverzeichnis

Buchtitel	1
Vorwort zur 2. Auflage	5
Inhalt	7
Evaluationspraxis reflektieren – Einleitung und Überblick (Susanne Giel/Katharina Klockgether/Susanne Mäder)	9
Die Rolle von Univation als fachlicher Bezugspunkt	11
Zum Aufbau des Buches	12
Hinweis für Leserinnen und Leser	16
Literatur	17
Beitrag zu einer konsistenten Evaluationsterminologie –das Glossar von Univation (Melanie Niestroj/Wolfgang Beywl/Berthold Schobert)	21
1. Babylon ist überall	21
2. Zielsetzung des Beitrags	22
3. Entstehung des Eval-Wiki: Glossar der Evaluation	22
4. Nutzung des Glossars	26
5. Ausblick und Einladung zur Mitarbeit	29
Literatur	30
Checklisten zur Planung und Steuerung von Evaluationen (Katharina Klockgether)	31
1. Welche Arten von Checklisten gibt es?	31
2. Beispiele von Checklisten	32
3. Wie verbreitet sind Checklisten?	35
4. Was sind die Vorteile und Tücken von Checklisten?	37
5. Welche Eigenschaften hat eine gute Checkliste?	39
6. Fazit und Ausblick	40
Literatur	41
Informationssicherheit in der Evaluation (Marc Jelitto)	43
1. Welche Gefahren Expertenteams sehen:	44
2. Welche Informationen bei Evaluationen in Gefahr sind:	45
3. Welche Ziele beim Informationsschutz verfolgt werden:	46
4. In welchen Bereichen ein Schutz besonders wichtig ist:	46
5. Welche Faktoren eine wichtige Rolle spielen:	47
6. Grundlegende Praxisvorschläge für den Evaluationsalltag	47
7. Grundlegender Schutz der Computer	51
8. Vertiefte strategische Sicherheit	52
Literatur	53
Interkulturelle Kompetenz – ein weiterer Bausteinfür das professionelle Handeln in Evaluationen (Schahrzad Farrokhzad)	55
Kompetenzanforderungen an Evaluatorinnen und Evaluatoren – Vorbemerkungen	55
1. Interkulturelle Kompetenzen – hilfreich in der Evaluation?	57
1.1 Anforderungen interkultureller Kompetenzentwicklung – Mikroebene	61
1.2 Anforderungen interkultureller Kompetenzentwicklung – Mesoebene	64
1.3 Anforderungen interkultureller Kompetenzentwicklung – Makroebene und globale Ebene	66
2. Fazit	68
Literatur	70
Schwarm-Evaluation als Steuerungsansatz (Dörte Schott und Wolfgang Beywl)	73
1. Intelligenz und Kreativität von Schwärmen	74
2. Fallbeispiel: Herausforderungen, Antwort und gewonnene Erkenntnisse	77
2.1 Kontext	77
2.2 Durchgeführte Evaluationen	78
2.3 Kollaboration als Antwort auf die Herausforderungen	79
2.4 Gewonnene Erkenntnisse	80
3. Analyse: Der Schwarm-Evaluations-Ansatz (SEA)	80
4. Diskussion: Möglichkeiten und Grenzen des SEA	82
5. Fazit und Ausblick	85
Literatur	86
Der Programmbaum als Evaluationsinstrument (Samera Bartsch/Wolfgang Beywl/Melanie Niestroj)	89
1. Zielsetzung des Beitrags	89
2. Entstehungshintergrund des Programmbaums	91
3. Die Elemente des Programmbaums	93
4. Nutzen des Programmbaums	98
4.1 Nutzen für Programmverantwortliche (bzw. die Programm- und Maßnahmenplanung)	99
4.2 Nutzen für Evaluierende	103
4.3 Nutzen für die Meta-Evaluation	107
5. Diskussion des Modells ‚Programmbaum‘ in Theorie und Praxis	108
6. Schlussbemerkung	110
Literatur	110
Wirkungen auf der Spur mit Programmtheorien (Susanne Giel)	113
1. Die Herausforderung der Wirkungsfeststellung	113
2. Programmtheorie und theoriebasierte Evaluation	115
3. Theoriebasierte Evaluation von Modellprojekten zur Prävention von Rechtsextremismus, Antisemitismus und Rassismus	118
3.1 Phase 1: Sampling	119
3.2 Phase 2: Wirkannahmen aus Sicht der Projektdurchführenden rekonstruieren	121
3.3 Phase 3: Wirkungen aus Sicht der Zielgruppen überprüfen	122
3.4 Phase 4: Wirkannahmen kommunikativ validieren	123
3.5 Phase 5: Vergleichende Analyse	126
4. Reflexion des theoriebasierten Evaluationsansatzes vor dem Hintergrund der praktischen Erfahrungen	128
Literatur	130
Developmental Evaluation nach Michael Patton. Begriffsbestimmung und Reflexion der praktischen Anwendung (Maria Gutknecht-Gmeiner)	133
1. Developmental Evaluation	134
1.1 Entstehung (‚Wie kam es zu DE?‘)	134
1.2 Definition von Developmental Evaluation (‚Was ist DE?‘)	134
1.2.1 Evaluationszweck: ? Entwicklung	135
1.2.2 Komplexität des Evaluationsgegenstands	136
1.3 Umsetzung von Developmental Evaluation (‚Wie geht DE?‘)	139
2. Developmental Evaluation von ‚Computer-Science-Management‘	140
2.1 Computer-Science-Management – ein innovatives Ausbildungsprogramm	140
2.2 Grundlegende Parameter der Evaluation	141
2.3 Eignung für Developmental Evaluation	142
2.4 Koevolutionäre Umsetzung	144
2.5 Design und Methoden	146
2.6 Nutzung und Nutzen	148
3. Reflexion und Ausblick	149
3.1 Beitrag von Developmental Evaluation	149
3.2 Voraussetzungen	150
3.3 Herausforderungen	151
3.4 Offene Fragen und Ausblick	153
Literatur	154
Nutzen einer wirkungsorientierten Zielsystematik. Bindeglied zwischen Evaluation und Programmsteuerung (Stefan Schmidt)	159
1. Die wirkungsorientierte Zielsystematik	160
1.1 Hierarchische Ordnung von Zielen	161
1.2 Entwicklung von Outcome-Zielen	164
1.3 Differenzierung von Zielgruppen	171
2. Wirkungsorientierung in der Evaluation und in der Programmsteuerung	174
Literatur	175
Der Umgang mit Monitoring in der Evaluation (Katharina Klockgether)	177
1. Monitoring und Evaluation: Was ist das?	177
2. Verhältnis der Evaluation zu Monitoring	179
3. Outputmonitoring und Bedingungsmonitoring im Rahmen der Evaluation von EQUAL-Entwicklungspartnerschaften	180
4. Output-, Outcome- und Impact-Monitoring im Förderprogramm IQ	182
4.1 Der Weg zum Monitoring-Instrument	183
4.2 Der Einsatz des Monitoring-Instruments im Förderprogramm IQ	186
5. Herausforderungen bei der Entwicklung von Monitoring-Instrumenten in einer Programmevaluation	188
6. Was Evaluierende im Zusammenhang mit Monitoring beachten sollten	191
7. Vorhandene Monitoringdaten nutzen	192
8. Übergreifendes Fazit	196
Literatur	196
Interviews mit Jugendlichen. Herausforderungen in der Planung und Umsetzung (Matthias Sperling)	199
1. Allgemeine Herausforderungen qualitativer Interviews	199
2. Die Zielgruppe ‚Jugendliche‘ als Herausforderung	200
3. Zugang und Erreichbarkeit der Jugendlichen	201
4. Die Sprache in Interviews mit Jugendlichen	204
5. Das Verhalten von Jugendlichen in Interviews	205
6. Die Wahl einer passenden Interviewform	206
7. Der Ablauf des Interviews	207
8. Leitfäden zur Interviewgestaltung	207
9. Die Dokumentation von Interviews	210
10. Datenschutz und Einverständnis	212
11. Die Interviewatmosphäre/-situation	213
12. Die Reflexion der Interviewsituation	215
13. Die Kommunikation mit den Jugendlichen im Anschluss an die Interviews	216
Literatur	216
Mit Gruppendiskussionen kollektive Orientierungen rekonstruieren (Ute B. Schröder )	219
1. Die Gruppendiskussion – eine Methode der Datengewinnung aus der Sozialforschung	219
2. Historischer Kontext und methodologischer Hintergrund zum Verständnis des Kollektiven	221
3. Die Aktualisierung kollektiver Orientierungen in Gruppendiskussionen	222
4. Zwei Arten des Verstehens: konjunktiv und kommunikativ	225
5. Die Analyse von Gruppendiskussionen – Rekonstruktion von implizitem und explizitem Wissen und kollektiven Orientierungen	227
6. Bewertung und Werthaltung	231
7. Schlussbemerkungen	232
Literatur	233
Die Anwendung der Grounded Theory in Evaluationen (Marianne Lück-Filsinger)	237
1. Grundlagen der Grounded Theory	238
2. Die Grounded Theory in Anwendung: eine Evaluationsstudie	240
2.1 Evaluation der Übergangsgestaltung vom Kindergarten in die Grundschule: Kontext und Gegenstand des Auftrags	240
2.2 Theoretical Sampling	242
3 Kodieren in der Praxis einer Evaluation	243
3.1 Das Offene Kodieren: Finden von Konzepten und erste Ideen für Kategorien	243
3.2 Das Axiale Kodieren zur Herstellung von Verbindungen zwischen den Kategorien	246
3.3 Selektives Kodieren: die Generierung einer gegenstandsbezogenen Theorie	248
4. Fazit	250
Literatur	252
Evaluation und das Web (Elitsa Uzunova)	255
1. Wie das Web die (Evaluations-)Welt verändert	256
2. Neue Optionen für Evaluationen	259
2.1 Bei der Datenerhebung	261
2.1.1 Neue Chancen zur Datengenerierung	261
2.1.2 Neue Herausforderungen in der Datengenerierung	264
2.2 Bei der Datenauswertung	266
2.2.1 Neue Möglichkeiten der Datenauswertung	266
2.2.2 Neue Herausforderungen in der Auswertung	267
2.3 Bei der Präsentation von Ergebnissen	268
2.3.1 Neue Möglichkeiten bei der Präsentation von Evaluationsergebnissen	269
2.3.2 Neue Herausforderungen bei der Präsentation von Evaluationsergebnissen	271
3. Konsequenzen der Web-Technologien für die Professionalisierung von Evaluierenden	272
3.1 Neue Vernetzungs-/Wissenstransferoptionen für die Evaluationscommunity	272
3.2 Neue Herausforderungen für die Evaluationscommunity	275
4. Fazit – Ausblick	276
Literatur	277
Bewertungsverfahren in der Evaluation. Vorgehensweisen und Praxisbeispiele (Susanne Mäder)	279
1. Bewerten, aber wie?	279
2. Umgang mit Bewertung in Theorie und Praxis	280
3. Zentrale Schritte und Begriffe von Bewertung	282
4. Wirkmodelle als Ausgangspunkt für Bewertungskriterien	284
5. Ermittlung von Erfolgspunkten zur Resultatsbewertung	289
6. Schlussfolgerungen	295
Literatur	296
Autorinnen und Autoren	299
Index	303