2 Evaluation – Erfolgsmessung im Nonprofit-Sektor
Was für Unternehmen schon seit langer Zeit selbstverständlich ist – den Unternehmenserfolg messen –, gestaltet sich für NPO bis heute als grosse Herausforderung. Der Grundsatz «Gutes besser tun» stellt für NPO eine zentrale Management-Aufgabe dar.43 Insbesondere ist es nicht einfach, den entsprechenden Nachweis zu erbringen. Seit Jahren ist allerdings ein Trend spürbar, dass NPO ihre Wirkung darlegen möchten und sollen, was auf verschiedene Treiber zurückgeführt werden kann.44 Erstens hat die Einführung privatwirtschaftlicher Management-Methoden in die Verwaltung, u. a. bekannt unter dem Namen Wirkungsorientierte Verwaltungsführung (WOV) oder New Public Management (NPM), dazu geführt, dass die vom Staat mit Leistungs- und Subventionsverträgen unterstützte NPO ebenfalls Leistungsnachweise zu erbringen haben.45 Zweitens geniessen viele NPO aufgrund ihrer gemeinnützigen Tätigkeit eine steuerliche Befreiung. Obwohl die Eigentümerschaft einer NPO mitunter schwierig auszumachen ist, kann argumentiert werden, dass die NPO gegenüber der Öffentlichkeit wegen der Steuerausfälle rechenschaftspflichtig wird.46 Drittens, aber nicht abschliessend, ist eine generelle Entwicklung hin zur sogenannten «Audit Society» beobachtbar.47 In der Konsequenz werden finanzielle Mittel immer seltener an Personen oder Organisationen übertragen, ohne sie mit entsprechenden Bedingungen der Rechenschaftspflicht zu versehen.48 Um die genannte Wirkung darzulegen, muss eine NPO den evidenzbasierten Nachweis erbringen, dass sie mit den eigenen Aktivitäten die von ihr definierten Ziele erreicht. Ein dafür wesentlicher Bestandteil der Evaluation ist die Informationsbeschaffung für relevante Stakeholder49.50
Die Evaluation der eigenen Tätigkeit entspringt der gängigen Management-Literatur, wie dem Projektmanagement, und ist kein NPO-spezifisches Instrument, wenn es auch in angepasster Form zur Umsetzung kommt.51 Während sich in der Privatwirtschaft bereits seit Jahren bestimmte Rechnungslegungsstandards durchgesetzt haben, um den Unternehmenserfolg darzulegen, gibt es im Nonprofit-Sektor noch keine entsprechenden Regelwerke, die sich über die finanzielle Berichterstattung hinaus – gemeint ist der Wert und Nutzen für die Gesellschaft – als Standards durchgesetzt haben.52
2.1 Definition des Evaluationsbegriffs
Um beim weiteren Vorgehen begriffliche Unschärfen zu minimieren, wird der Evaluationsbegriff zu Beginn definiert und erläutert. Danach führt dieses Kapitel den Lesenden schrittweise in die Eigenheiten der generellen NPO-Evaluation und deren der Förderprojekte ein. Ein Abgleich mit dem aktuellen State of the Art der Forschungsliteratur identifiziert die Forschungslücke, zu deren Schliessung die Ergebnisse dieser Forschungsarbeit beitragen werden.
Zur Annäherung an eine einheitliche Begriffsdefinition für die vorliegende Arbeit sollen zunächst die unterschiedlichen Definitionen aus der Literatur erfasst und diskutiert werden. Daraus lässt sich für die weiteren Erläuterungen eine einheitliche Definition ableiten, die durch diese Arbeit führt und eine Basis für die Inhalte bildet. Grundsätzlich können in zwei verschiedenen Arten von Quellen Definitionen des Evaluationsbegriffs gefunden werden. Es handelt sich um jene aus der wissenschaftlichen Literatur und jenen aus den Reglementen und Standards der nationalen Berufsverbände für Evaluatoren. Beide Bereiche haben sich gegenseitig immer wieder befruchtet. Das ist nicht zuletzt darauf zurückzuführen, dass viele Evaluatoren selbst einen starken Bezug zur Universität haben oder Angestellte von solchen Bildungsinstitutionen sind.53
Der Begriff Evaluation lässt auf den ersten Blick eine lateinische Herkunft vermuten. Die Etymologie dieses Wortes präsentiert sich allerdings komplizierter. Es handelt sich bei diesem Wort um eine romanische Neuentwicklung, die vom lateinischen Verb valere stammt, was stark, wert sein54 bedeutet.55 Die Entstehung des Wortes Evaluation, wie es heute verwendet wird, stammt vom Französischen évaluation, was übersetzt «Schätzung», «Ermittlung» oder «Wertbestimmung» heisst. In den 1980er-Jahren taucht der Begriff Evaluation in der deutschen Lautgestalt mit einer zusätzlichen Bedeutung auf: Evaluation als «Beurteilung von Lehrplänen und Unterrichtsprogrammen».56 Diese Neuübernahme hat allerdings den Ursprung im Englischen, nachdem es dort von der französischen Sprache übernommen wurde.57 Auf den ersten Blick bringt die etymologische Deutung des Evaluationsbegriffs Klarheit, welche sich im Anwendungsfeld des NPO-Managements bereits wieder entzieht.
Eine systematische Analyse der Evaluationsliteratur führt zur Erkenntnis, dass für ähnliche Vorgänge teils unterschiedliche Begriffsdefinitionen verwendet werden, wobei sowohl Überschneidungen als auch Unterschiede auszumachen sind.58 Neben der Evaluation ist auch von Wirkungsmessung, Performance Measurement, Performance Management, Monitoring, Controlling u. Ä. die Rede, die im Zusammenhang mit der Messung der Effizienz und der Effektivität von NPO-Projekten stehen. Diese Begriffsvielfalt macht deutlich, dass keine einheitliche Definition des Evaluationsbegriffs existiert. Der Grund dafür kennt vier verschiedene Ursachen: Erstens ist das Themenfeld der Nonprofit-Evaluation noch relativ jung.59 Zweitens lehnt sich der Gedanke, die Performanz einer Organisation zu messen, stark an Konzepte aus der Betriebswirtschaftslehre, mit dem Unterschied, dass sich die Evaluationsobjekte in den meisten Fällen von denen der Privatwirtschaft unterscheiden (s. Kapitel 2.3). Drittens hat sich die Disziplin der Nonprofit-Evaluation sowohl geografisch in unterschiedlichen Regionen entwickelt als auch ebenso in den unterschiedlichen Tätigkeitsfeldern. Während die USA auf dem Gebiet der Evaluation eine Pionierfunktion innehatte, hat sich die Evaluationsbewegung inzwischen auch in Europa sowohl in der Wissenschaft als auch in der Praxis etabliert.60 Während in den USA die Messung von Bildungsprogrammen in der zweiten Hälfte des 20. Jahrhunderts eine Vorreiterrolle einnimmt, haben sich z. B. die Organisationen der Entwicklungszusammenarbeit seit den 90er-Jahren vermehrt der Bewertung ihrer Programme und Projekte verschrieben.61 Viertens hat die Evaluation selbst in einzelnen Disziplinen immer wieder veränderte Ansätze erfahren.62 Alle diese Gründe haben dazu geführt, dass der Evaluationsbegriff in der NPO-Literatur sehr heterogen anzutreffen ist.
Die Definition des Evaluationsbegriffs wird durch die unterschiedliche Terminologie erschwert. Die etymologische Ableitung unabhängig vom Kontext liesse eine sehr heterogene Interpretation des Evaluationsbegriffs und dessen Evaluationsobjekten zu. So könnten z. B. sämtliche Aspekte einer NPO Gegenstand einer Evaluation sein. Die Literatur konzentriert sich mehrheitlich implizit oder explizit auf die Programm-Evaluation. Diese Tatsache muss im historischen Kontext betrachtet werden. In den 1960er-Jahren erlebte die USA einen starken Aufschwung der Evaluationsbewegung, angetrieben durch den Wunsch, mehr Klarheit über die Zielerreichung politischer (Bildungs-)Programme zu erhalten. Unter Programmen wird ein «standing arrangement that provides for a [...] service»63 verstanden. Während im Privatsektor bereits eine lange Tradition der Unternehmensbewertung existierte, fehlte es im NPO-Sektor an Personal und Kenntnissen, wie politische Programme über nicht finanzielle Zielgrössen resp. Sachziele zu beurteilen seien.64 Die Entwicklung des Evaluationsbegriffs stammt demnach aus einem Kontext, bei welchem es darum ging, Programme oder Policies nach ihren Sachzielen zu bewerten. In Analogie zur finanziellen Bewertung der Unternehmensaktivitäten werden mit Evaluationen die Aktivitäten von staatlichen Institutionen als auch NPO bewertet. Zusammenfassend definiert das Joint Committee on Standards for Educational Evaluation (Joint Committee) ein Programm folgendermassen:
- «A set of planned systematic activities
- Using managed resources
- To achieve specified goals
- Related to specific needs
- Of specific, identified, participating human individuals or groups
- In specific contexts
- Resulting in documentable outputs, outcomes and impacts
- Following assumed (explicit or implicit) systems of beliefs (diagnostic, causal, intervention, and implementation theories about how the program works)
- With specific investigable costs and benefits.»65
Entsprechend konzentrieren sich die Evaluationsdefinitionen aus der Literatur auf die Evaluation von Programmaktivitäten und weniger auf die Evaluation von bspw. NPO-Strategien oder -Finanzen, auch wenn diese beiden Elemente eng miteinander verknüpft sind.66
Da in der Schweizer Förderstiftungslandschaft vermehrt von Förderprojekten und nicht von...