Sie sind hier
E-Book

Fallstricke der Lehrevaluation

Möglichkeiten und Grenzen der Messbarkeit von Lehrqualität

AutorTobias Wolbring
VerlagCampus Verlag
Erscheinungsjahr2013
Seitenanzahl365 Seiten
ISBN9783593421124
FormatPDF
KopierschutzWasserzeichen/DRM
GerätePC/MAC/eReader/Tablet
Preis41,99 EUR
In jüngster Zeit wird diskutiert, monetäre Anreize an studentische Lehrveranstaltungsevaluationen zu knüpfen. Anhand empirischer Untersuchungen zeigt Tobias Wolbring Einflüsse der Notengebung und Dozierendenattraktivität, individuelle Unterschiede in der studentischen Urteilsstrenge sowie Selektionseffekte auf. Neben den sozialtheoretischen und methodischen Einsichten aus diesen Befunden arbeitet er die hochschulpolitischen Implikationen dieser Fallstricke bei der Lehrevaluation heraus.

Tobias Wolbring, Dr. rer. pol., ist Postdoctoral Fellow am Departement Geistes-, Sozial- und Staatswissenschaften der ETH Zürich.

Kaufen Sie hier:

Horizontale Tabs

Leseprobe
1 Einleitung

In den vergangenen Jahren ist eine vermehrte Beschäftigung sozialwissenschaftlicher Forschungsarbeiten mit dem Thema Kausalität zu verzeichnen. Dies lässt sich etwa an einer Reihe neuerer Beiträge ablesen, die sich aus methodologischer, methodischer und statistischer Sicht mit Möglichkeiten und Grenzen des empirischen Nachweises von Ursache-Wirkungszusammenhängen (zum Beispiel Blossfeld 2009; Engelhardt 2005; Gangl 2010; Goldthorpe 2001; Heckman 2005; Imai et al. 2011; Morgan/Winship 2007; Sobel 2005; Winship/Sobel 2004), insbesondere mit Bezug zu evaluativen Fragestellungen (zum Beispiel Angrist/Pischke 2009; Blundell/Costa Dias 2009; Freedman 2006; Imbens/Wooldridge 2008; Schlotter et al. 2009; Schneider et al. 2007; Shadish/Cook 2009) befassen. Parallel dazu kann eine erneut aufwallende wissenschaftstheoretische Diskussionswelle zum Begriff der Kausalität und daran anknüpfende Anforderungen an die Gestaltung theoretischer Erklärungen beobachtet werden (zum Beispiel Bunge 2004; Hedstrom 2005; Mayntz 2004; Pearl 2000; Rubin 2005; Schmid 2006; Woodward 2003).

In der vorliegenden Arbeit werden diese Entwicklungen aufgegriffen und für die Messung der Qualität von Lehre nutzbar gemacht. Genauer sollen studentische Lehrveranstaltungsevaluationen (im Folgenden LVE), also die Bewertungen universitärer Lehre durch Studierende anhand weitgehend standardisierter Fragebogen, behandelt und Determinanten studentischen Urteilens herausgearbeitet werden. Es sollen dabei einerseits die Schwächen gängiger Evaluationsverfahren an Hochschulen, generelle Fallstricke bei der Qualitätsmessung mittels studentischer Bewertungen und Ansatzpunkte zu deren Behebung aufgezeigt werden. Andererseits sollen die Vorzüge sowohl experimenteller Forschungsdesigns und Vorher-Nachher-Messungen als auch fortgeschrittener statistischer Analyse- und Korrekturverfahren wie etwa Mehrebenenanalyse, Panelanalyse, Imputation und Gewichtung illustriert werden. Studentische LVE eignen sich dabei aus verschiedenen Gründen in besonderer Weise für eine solche Illustration.

Erstens ist man bei evaluativen Fragestellungen bekanntlich vorwiegend an dem Nachweis der Wirkung eines Programms, einer Intervention oder einer Maßnahme interessiert (Wirkungsevaluation). Damit ist (meist implizit) die kausale Wirkung eines Eingriffs gemeint. Es soll also Wissen darüber gewonnen werden, ob durch die Implementierung einer Maßnahme intendierte Effekte und unintendierte Nebenwirkungen eingetreten sind. Bei studentischen LVE ist man dabei einerseits an dem Lernerfolg und Kompetenzerwerb durch das Treatment ».Lehre« interessiert. Andererseits wird nicht nur die Wirkung der Maßnahme, sondern auch deren Implementierung anhand von Prozess- (zum Beispiel Erklärungen der Dozierenden, Veranstaltungstempo, Störungen) und Strukturindikatoren (Raumgröße, Textsammlung) evaluiert, wobei die Wahl des Bewertungsmaßstabs ohne weitere Vorgaben den Studierenden überlassen wird. Da an Hochschulen stets zahlreiche ähnliche und verschiedene Veranstaltungen evaluiert werden, bietet sich hier eine besonders günstige Gelegenheit, konfundierende Einflüsse auswendig zu machen und naheliegende Alternativerklärungen für empirische Befunde durch die Bildung geeigneter Versuchs- und Kontrollgruppen auszuschließen.

Kausalanalysen können zweitens im Bereich der LVE eine direkte Praxisrelevanz entfalten, wenn sich mit ihrer Hilfe etwa zeigen lässt, dass schlichte statistische Zusammenhänge (zum Beispiel zwischen studentischer Bewertung und Lernerfolg) einer strengeren Prüfung nicht standhalten, externe Faktoren (wie Notengebung oder Attraktivität des Lehrpersonals) auf LVE-Bewertungen einwirken oder Kausalrichtungen anders gelagert sind als vermutet. Denn bei Evaluation steht in der Regel eine Erkenntnisfunktion (Stockmann/Meyer 2010) im Vordergrund. Ziel ist es also Programmwirkungen zu identifizieren. Gestützt auf die Resultate dieser wissenschaftlich fundierten Interventionsbewertung soll sodann entschieden werden, ob eine Maßnahme beibehalten, intensiviert, adjustiert oder unterlassen wird.

Dies hängt mit dem Wunsch nach gezielten planerischen Eingriffen in die Welt zusammen, die in modernen Gesellschaften zentrale Bedeutung erlangt haben (Beck 1986; Weber 1922). Evaluationen sind dabei Produkt dieses modernen Rationalisierungs- und Fortschrittsmythos, fordern diesen aber zugleich. Auch Schwarzs (2006) Charakterisierung von Evaluation als ein modernes Ritual weist in diese Richtung. Im Sinne Durkheims (1912) Ritualbegriff erfüllen Evaluationen aufgrund ihrer Verstetigung elementare gesellschaftliche Funktionen und tragen zu aktuellen Okonomisierungstendenzen bei (Braun und Wolbring 2012). So wird mittels Evaluationen Exzellenz konstruiert (Munch 2007) und sozialer Status zugewiesen (Podolny 2005). Evaluationen stabilisieren damit moderne Gesellschaften an sich, da sie staatliches Handeln legitimieren sowie Zweifel an dessen Legitimität verarbeiten und zerstreuen (Meyer und Rowan 1977). Anregungen zur Verbesserungen bestehender Evaluationsverfahren wirken sich daher direkt auf die Erfüllung derartiger Funktionen aus und sind wichtig, um einer unhinterfragten Anwendung derartiger Methoden und damit der Publikation möglicherweise irreführender Lehrveranstaltungsrankings entgegenzuwirken. Dieser Sachverhalt praktischer Bedeutsamkeit gilt drittens fur LVE in verstärktem Maße, da an Hochschulen durch die Kopplung von Mittelzuweisungen an Evaluationsergebnisse individuelle und kollektive Leistungsanreize (für Dozierende, Fachbereiche, Fakultäten, Hochschulen) bestehen und noch verstärkt gesetzt werden sollen (vgl. zum Beispiel Anderson et al. 2011; Wissenschaftsrat 2008). Wenn finanzielle Entlohnungen und weitere Handlungsanreize von derartigen Messungen abhängen, sollte Klarheit darüber bestehen, welche Aussagen studentische Qualitätseinschätzungen erlauben und welche nicht. Schließlich sollten Einzelpersonen anhand meritokratischer Prinzipien entlohnt werden und nicht anhand von Kriterien, welche von zufälligen Schwankungen und systematischen Verzerrungen dominiert werden oder leicht manipulierbar sind. Die Frage nach der Datenqualität ist somit mit Pohlenz (2009) als Schlüsselfrage der Qualitätssicherung von Lehre und Studium. zu betrachten. Neben der Validität der Messungen werden hierbei auch Aspekte der Fairness derartiger Bewertungsverfahren berührt. Würde sich etwa herausstellen, dass LVE von lehrunabhängigen Faktoren beeinflusst werden, die von den Dozierenden nur schwer zu beeinflussen sind, so wäre das ein Fairness-Problem (siehe auch Rindermann 2001). In solchen Fällen wäre an entsprechende Korrekturmaßnahmen der Qualitätsmessungen zu denken, um ex post facto diese Defizite der LVE zu beheben oder zumindest zu weitreichende Schlüsse aus LVE-Resultaten zu vermeiden.

Aspekte der Validität und Fairness hängen dabei viertens auch mit dem im Bereich studentischer Lehrevaluationen zu konstatierenden Mangel an ausgearbeiteten theoretischen Ansätzen und dem eklatanten Defizit in der Anwendung angemessener statistischer Verfahren zum Nachweis von Ursache-Wirkungszusammenhängen zusammen. So verwundert es nicht, dass die empirische Evidenz - trotz ausgesprochen umfangreicher und bis in die zwanziger Jahre des vergangenen Jahrhunderts zurückreichender Forschungsarbeiten zur methodischen Qualität studentischer Lehrveranstaltungsbewertungen (siehe zum Beispiel Remmers/Brandenburg 1927) - ein ausgesprochen uneinheitliches Bild ergibt. Die kritischen Stimmen bezüglich der Validität der Messungen sind daher keineswegs verstummt (Burzan/Jahnke 2010; Hinz 2012; Kulik 2001; Merritt 2008; Metje 2009; Onwuegbuzie et al. 2009; Pounder 2007). Auch wurde bisher keineswegs Einigkeit darüber erzielt, was überhaupt unter dem Konstrukt »gute Lehre« zu verstehen ist. Obwohl die vorliegende Arbeit diese lange zurückreichenden Debatten sicherlich nicht klären kann, trägt sie hoffentlich zumindest dazu bei, statistische Artefakte in bisherigen Studien zu identifizieren, methodische Fallstricke bei studentischen LVE aufzuzeigen und Alternativen zur bisherigen Praxis - etwa in Form moglicher Korrekturverfahren - anzubieten.

Schließlich erscheint das hier behandelte Thema auch aus einem fünften Grund fruchtbar: Anhand des eng begrenzten Themas studentischer LVE können auch allgemeine Einsichten darüber gewonnen werden, wie Menschen Entscheidungen treffen und wie sie sich bei Befragungen verhalten. In der Arbeit wird daher ganz im Sinne von Karl Poppers (1934) Kritischem Rationalismus der Anspruch vertreten, theoretische Erklarungsansätze harten empirischen Überprufungen zu unterziehen. Die im folgenden präsentierten Analysen sind damit nicht nur fur die Hochschulforschung von Interesse, sondern auch von sozialtheoretischer und methodischer Relevanz.

Die Arbeit gliedert sich im Weiteren in vier Teile. Zunächst werden in vier Kapiteln theoretische und methodologische Vorüberlegungen angestellt, sodann folgen drei Teile mit empirischen Anwendungen zu lehrunabhängigen Einflüssen, Urteilerstandards und Selektionseffekten.

In einem ersten Kapitel werden zwei gegenwärtig dominierende wissenschaftstheoretische Positionen zum Begriff der Kausalität kontrastierend gegenübergestellt. Wählt man eine radikal-konstruktivistische Perspektive, so werden kausale Ursache-Wirkungsbeziehungen als soziale Konstruktionen begriffen und es wird aus dieser Ausgangsprämisse gefolgert, die Vorstellung der Existenz von beobachterunabhängigen Gesetzmäßigkeiten sei überholt. Diese Position wird aus einer im Realismus und Kritischen Rationalismus verwurzelten Sichtweise kritisiert und es wird die gegenläufige Grundannahme formuliert, dass es kausale Regularitäten und damit auch kausale Mechanismen gibt, denen sich Forscher mittels systematischer Methoden des sequenziellen Versuchs und Irrtums annähern können. Theoretische Vorüberlegungen sind dabei neben geeigneten Forschungsdesigns und Analysemethoden zentral, da ein rein statistischer Nachweis kausaler Zusammenhänge nicht möglich ist.

Es wird daher im Anschluss im zweiten Kapitel ein mit dem Realismus konsistentes Menschenbild, das bereits Popper (1967) unter der Bezeichnung »situationsgerechtes Handeln« und »Rationalitatsprinzip« ausführlich beschrieben hat und das auch mit Max Webers (1922) Überlegungen zur Situationslogik große Ähnlichkeiten aufweist, eingehender erläutert und für die Erklärung studentischen Urteilsverhaltens näher spezifiziert. Nachdem herausgearbeitet wurde, weshalb die Annahme rationaler Optimierung für das studentische Urteilsverhalten möglicherweise unangemessen ist, werden Theorien zum Satisficing, zur Informationsverarbeitung und Urteilsheuristiken sowie zur Wirkung sozialer Normen eingehender behandelt. Da das sich daraus ergebende Menschenbild den theoretischen Rahmen für die weiteren Kapitel liefert, werden nachfolgend einige allgemeine forschungsleitende Hypothesen im Hinblick auf studentische LVE formuliert, die in späteren Teilen der Arbeit dann genauer spezifiziert und überprüft werden.

Blick ins Buch
Inhaltsverzeichnis
Inhalt6
Danksagung8
1 Einleitung10
Teil I Theoretische und methodologische Rahmung18
2 Kausalität: Subjektive oder objektive Wirklichkeit?20
3 Menschenbild: Das Rationalitätsprinzip und seine Spezifizierungen30
4 Methodologie: Experimente als ideale Evaluationsdesigns76
Teil II – Lehrunabhängige Einflüsse100
5 Attraktivität und Notengebung: Theoretische Überlegungen102
6 Attraktivität, Testzeitpunkt und LVE: Empirische Befunde132
Teil III – Personenspezifische Beurteilungsstandards164
7 Beurteilerstandards bei LVE: Problematik und Nachweis166
8 Standards bei der Gesamtbeurteilung: Erklärungen und Evidenz190
9 Standards bei der Urteilsdifferenzierung: Erklärungen und Evidenz216
Teil IV – Selbstselektion und studentischer Dropout234
10 Kurswahl, Besuch und Dropout: Theoretische Überlegungen236
11 Determinanten des Absentismus: Empirische Befunde258
12 Verzerrungen von Ratings und Rankings: Nachweis und Korrektur280
13 Zusammenfassung und Fazit298
Literatur308
Anhang348

Weitere E-Books zum Thema: Soziologie - Sozialwissenschaften

E-Learning

E-Book E-Learning
Einsatzkonzepte und Geschäftsmodelle Format: PDF

Der vorliegende Band ist dem Lernen und Lehren auf der Basis moderner Informations- und Kommunikationstechnologien gewidmet. Das Buch fasst die wichtigsten Ansätze zur Einführung, Umsetzung und…

E-Learning

E-Book E-Learning
Einsatzkonzepte und Geschäftsmodelle Format: PDF

Der vorliegende Band ist dem Lernen und Lehren auf der Basis moderner Informations- und Kommunikationstechnologien gewidmet. Das Buch fasst die wichtigsten Ansätze zur Einführung, Umsetzung und…

E-Learning

E-Book E-Learning
Einsatzkonzepte und Geschäftsmodelle Format: PDF

Der vorliegende Band ist dem Lernen und Lehren auf der Basis moderner Informations- und Kommunikationstechnologien gewidmet. Das Buch fasst die wichtigsten Ansätze zur Einführung, Umsetzung und…

E-Learning

E-Book E-Learning
Einsatzkonzepte und Geschäftsmodelle Format: PDF

Der vorliegende Band ist dem Lernen und Lehren auf der Basis moderner Informations- und Kommunikationstechnologien gewidmet. Das Buch fasst die wichtigsten Ansätze zur Einführung, Umsetzung und…

E-Learning

E-Book E-Learning
Einsatzkonzepte und Geschäftsmodelle Format: PDF

Der vorliegende Band ist dem Lernen und Lehren auf der Basis moderner Informations- und Kommunikationstechnologien gewidmet. Das Buch fasst die wichtigsten Ansätze zur Einführung, Umsetzung und…

E-Learning

E-Book E-Learning
Einsatzkonzepte und Geschäftsmodelle Format: PDF

Der vorliegende Band ist dem Lernen und Lehren auf der Basis moderner Informations- und Kommunikationstechnologien gewidmet. Das Buch fasst die wichtigsten Ansätze zur Einführung, Umsetzung und…

Lernen zu lernen

E-Book Lernen zu lernen
Lernstrategien wirkungsvoll einsetzen Format: PDF

Wer wirkungsvoll lernen will, findet in diesem Buch bestimmt die richtige Lernmethode für seinen Lernstoff. Jede Lerntechnik wird so beschrieben, dass man sie direkt anwenden kann. In der 7. Auflage…

Lernen zu lernen

E-Book Lernen zu lernen
Lernstrategien wirkungsvoll einsetzen Format: PDF

Wer wirkungsvoll lernen will, findet in diesem Buch bestimmt die richtige Lernmethode für seinen Lernstoff. Jede Lerntechnik wird so beschrieben, dass man sie direkt anwenden kann. In der 7. Auflage…

Lernen zu lernen

E-Book Lernen zu lernen
Lernstrategien wirkungsvoll einsetzen Format: PDF

Wer wirkungsvoll lernen will, findet in diesem Buch bestimmt die richtige Lernmethode für seinen Lernstoff. Jede Lerntechnik wird so beschrieben, dass man sie direkt anwenden kann. In der 7. Auflage…

Lernen zu lernen

E-Book Lernen zu lernen
Lernstrategien wirkungsvoll einsetzen Format: PDF

Wer wirkungsvoll lernen will, findet in diesem Buch bestimmt die richtige Lernmethode für seinen Lernstoff. Jede Lerntechnik wird so beschrieben, dass man sie direkt anwenden kann. In der 7. Auflage…

Weitere Zeitschriften

bank und markt

bank und markt

Zeitschrift für Banking - die führende Fachzeitschrift für den Markt und Wettbewerb der Finanzdienstleister, erscheint seit 1972 monatlich. Leitthemen Absatz und Akquise im Multichannel ...

care konkret

care konkret

care konkret ist die Wochenzeitung für Entscheider in der Pflege. Ambulant wie stationär. Sie fasst topaktuelle Informationen und Hintergründe aus der Pflegebranche kompakt und kompetent für Sie ...

Demeter-Gartenrundbrief

Demeter-Gartenrundbrief

Einzige Gartenzeitung mit Anleitungen und Erfahrungsberichten zum biologisch-dynamischen Anbau im Hausgarten (Demeter-Anbau). Mit regelmäßigem Arbeitskalender, Aussaat-/Pflanzzeiten, Neuigkeiten ...

SPORT in BW (Württemberg)

SPORT in BW (Württemberg)

SPORT in BW (Württemberg) ist das offizielle Verbandsorgan des Württembergischen Landessportbund e.V. (WLSB) und Informationsmagazin für alle im Sport organisierten Mitglieder in Württemberg. ...

die horen

die horen

Zeitschrift für Literatur, Kunst und Kritik."...weil sie mit großer Aufmerksamkeit die internationale Literatur beobachtet und vorstellt; weil sie in der deutschen Literatur nicht nur das Neueste ...

Die Versicherungspraxis

Die Versicherungspraxis

Behandlung versicherungsrelevanter Themen. Erfahren Sie mehr über den DVS. Der DVS Deutscher Versicherungs-Schutzverband e.V, Bonn, ist der Interessenvertreter der versicherungsnehmenden Wirtschaft. ...

e-commerce magazin

e-commerce magazin

PFLICHTLEKTÜRE – Seit zwei Jahrzehnten begleitet das e-commerce magazin das sich ständig ändernde Geschäftsfeld des Online- handels. Um den Durchblick zu behalten, teilen hier renommierte ...

F- 40

F- 40

Die Flugzeuge der Bundeswehr, Die F-40 Reihe behandelt das eingesetzte Fluggerät der Bundeswehr seit dem Aufbau von Luftwaffe, Heer und Marine. Jede Ausgabe befasst sich mit der genaue Entwicklungs- ...

filmdienst#de

filmdienst#de

filmdienst.de führt die Tradition der 1947 gegründeten Zeitschrift FILMDIENST im digitalen Zeitalter fort. Wir begleiten seit 1947 Filme in allen ihren Ausprägungen und Erscheinungsformen.  ...