3.1.1 Versuchsdesign und Treatment

Als Diskussionsgrundlage soll hier zuerst ein allgemeines Design vorgestellt wer- das üblicherweise für die Messung spezieller Inhalte eines Treatments 44 eingesetzt wird. Nach Vanecek (2001) muss ein solches Studiendesign eine Versuchsgruppe und mindestens zwei Kontrollgruppen umfassen. Eine der Kontrollgruppen muss ein inhaltlich verschiedenes Treatment mit jedoch vergleichbarem äußerem Aufwand haben. Die dritte Gruppe kann ein weiteres Treatment haben oder eine ‚No - Treatment’ Gruppe sein. Abbildung 3 zeigt ein Beispiel für ein mögliches Versuchsdesign nach oben genannten Kriterien.

44 Treatment meint hier die ‚besondere’ Zuwendung, die die Versuchsgruppen erfahren. In vorliegender Studie also der erweiterte Musikunterricht.

Rezeption II 24

Abbildung 2 Versuchsdesign zur Messung genereller und spezieller Effekte verschiedener

Treatments im Vergleich zu einer Gruppe ohne Treatment. 45

Eines der Hauptprobleme ist hierbei die oft zu beobachtende Leistungssteigerung von Modellgruppen unter Versuchsbedingungen (vgl. Spychiger 2001 1 : 31). Durch das Wissen der Kinder, für eine wissenschaftliche Untersuchung des ihnen zugeführten Treatments ausgesucht worden zu sein, können Effekte entstehen, die unter normalen Bedingungen nicht oder zumindest nicht in dieser Intensität ausgefallen wären. Spychiger beschreibt die Hintergründe dieses in der Psychologie als Hawthorne-Effekt 46 bekannten Phänomens wie folgt:

„Alle Beteiligten sind motiviert und setzen sich engagiert für das Projekt ein, zu des- Partizipation man sich ja schließlich entschieden hat. […], die Unternehmung ist von einem ganzen Umfeld getragen, es spielen Kräfte einer ganzen Gruppe. Unter diesen Umständen könnten die gemessenen Effekte Scheineffekte sein, die unter den Bedingungen des Alltags wahrscheinlich wieder zerfallen würden“ (Spychiger 2001 1 : 31).

So können Leistungssteigerungen der Modellgruppe teilweise oder sogar gänzlich auf die zusätzliche Motivation der Untersuchten und die Erwartungshaltung des Umfelds zurückgeführt werden (vgl. Spychiger 2001: 31f, Behne 1995: 30). Dieser Effekt ist jedoch nicht nur auf die Modellschüler beschränkt, auch die Lehrer

Rezeption II 25

sind durch die Versuchsituation zusätzlich beeinflusst. Bereits die Bereitschaft zur Teilnahme an solch einem zeitintensiven Projekt dürfte ein gesteigertes Interesse an dessen Ausgang voraussetzen. Dies bestätigt auch Bastian, der Modellschul-Lehrer im Allgemeinen als engagierter und besser vorbereitet beschreibt (vgl. Bastian 2001 2 : 61). Bastian führt dies auf ein ‚Verantwortungsgefühl’ bzw. einen ‚subtilen Erfolgszwang’ der Lehrer gegenüber der Studie zurück, denn im Mittelpunkt der Untersuchungen steht ihr Unterricht, bzw. dessen Folgen (vgl. Bastian 2000: 110).

Auswirkungen des Hawthorne-Effekts sind auch für die Kontrollgruppe zu be- Da diese am Versuch letztlich nur beteiligt ist, um die Auswirkungen einer besonderen Behandlung der Modellgruppe zum Vorschein zu bringen, kann eine Demotivation mit leistungsminimierenden Effekt eintreten (vgl. Behne 1995: 30). Behne fasst die Auswirkungen des Hawthorne-Effekts zusammen:

„Wir können deshalb insgesamt erwarten, dass die drei Beteiligten am Unterricht - Schüler, Lehrer und Eltern -, bei Erprobungsprojekten starken suggestiven Kräften ausgesetzt sind, die sich auf die harten (Test-) Daten am Ende selbstverständlich auswirken können. Umgekehrt ist zu befürchten, dass Schüler, Lehrer und Eltern der Kontrollgruppen dadurch demotiviert werden, dass bei ihnen der Eindruck entsteht, an ihrer Entwicklungsförderung sei offensichtlich niemand besonders interessiert“ (Behne 1995: 30).

Da sich im Versuchsdesign der Bastian-Studie keine ‚echte’ Kontrollgruppe be- ist - bedingt durch den Hawthorne-Effekt - keine Vergleichbarkeit der Gruppen gewährleistet. 47 Dies hat zur Folge, dass weder über die genaue Relation der Ergebnisse zueinander, noch über den Anteil des Treatments daran eine Aussage gemacht werden kann:

„Methodisch unbefriedigend bleibt, dass unklar ist, ob nicht allein unspezifische Faktoren, z.B. vermehrte Zuwendung etc. für die Effekte verantwortlich sind. Da eine echte Kontrollgruppe […] fehlt, kann streng genommen keine kausale Beziehung zwischen intensiviertem Musikunterricht und den beobachteten Effekten hergestellt werden. Vielleicht hätte intensiveres Basketballspielen die gleichen Auswirkungen“ (Altenmüller 2001: 10).

Gegenüber den Kritikern verteidigt Bastian das Versuchsdesign der Studie mit mehreren Argumenten:

47 Bei einer Kontrollgruppe mit vergleichbarem Treatment müsste der Hawthorne-Effekt auch für diese angenommen werden, womit eine Vergleichbarkeit gegeben wäre (vgl. Spychiger 2001 1 : 27ff).

Rezeption II 26

a) Der Hawthorne-Effekt greift in der Bastian-Studie nur teilweise: „In dieser Studie können wir solche Beobachtungen [eines Hawthorne-Effekts auf die Kontrollgruppe, d. V.] nicht machen, denn die Vergleichsgruppen haben wir in praxi nie als Kontrollgruppen verstanden. Sie erhalten seitens der Forscher und Lehrer die gleiche Zuwendung wie die Modellgruppen“ (Bastian 2000: 110).

Vor dem Hintergrund eines fehlenden Treatments der Kontrollgruppe kann je- - schon in zeitlicher Hinsicht - kaum von einer vergleichbaren Zuwendung durch die Lehrer gesprochen werden. Auch das Verhältnis zwischen den Lehrern und Schülern der Modellgruppe dürfte nicht nur zeitlich bedingt ein intensiveres sein. Instrumentalunterricht und Ensembles finden meist in kleinen Gruppen statt, so dass die Lehrer den Unterricht viel individueller und ‚näher am Schüler’ gestalten können. Die Subjektivität dieses Arguments unterstreicht Bastian durch die Aussage, „dass die Lehrerinnen niemals das Gefühl des Missbrauchs als uninteressante `Kontrollgruppe´ zu haben brauchten“ (Bastian 2000: 110). Diesen ‚Eindrücken’ folgen jedoch keinerlei Fakten oder detaillierte Beschreibungen. Nochmehr widerspricht dieser These das zweite Argument Bastians.

b) John-Henry-Effekt 48 vs. Hawthorne-Effekt (vgl. Bastian 2001 3 : 98): Untersuchung der Kontrollgruppe hinsichtlich des Klassenklimas und der Leistungsmotivation bzw. deren Hintergründe. Da Bastian hierzu allerdings keine Angaben macht, kann über Existenz und Ausmaß eines John-Henry-Effekts keine Aussage getroffen werden.

48 Beschrieben bei Cook (1979): John Henry war ein Bauarbeiter. Als eine Maschine seinen Arbeitsplatz ersetzen sollte, strengte er sich so sehr an, dass er gleich viel oder sogar mehr leistete

als die Maschine (vgl. Spychiger 2001 1 : 32).

Rezeption II 27

So ergeben sich zwei mögliche Beurteilungen:

den weiteren Verlauf der Studie wird in der Fachliteratur immer wieder kritisiert:

„Die Publikation von Zwischenergebnissen und Schlagzeilen der Presse während des noch laufenden Forschungsprojektes erschwert eine solche [vergleichbare, d. V.] Ausgangssituation. Vielmehr sei zu erwarten, dass die Modellklassen geradezu zur Bestätigung der Hypothese angeregt würden“ (Eiholzer 1997: 151).

Man könnte also abschließend vermuten, dass ein zu Beginn möglicherweise vorhandener John-Henry-Effekt der Kontrollgruppe über die Zeit hinweg einer Demotivation gewichen ist (vgl. Behne 1995). Gleichzeitig erscheint eine Verstärkung des Hawthorne-Effekts durch die Publikationen der Zwischenergebnisse wahrscheinlich.

c) Kontrollgruppendesign mit Treatment ist nicht machbar:

„Ein Kontrollgruppendesign mit fachverschiedenen Substichproben mag in der Theorie wünschenswert sein, ist aber in praxi ein derzeit auch nicht ansatzweise leistbares Projekt […]. Darüber hinaus gibt es ganz sicherlich auch fächerspezifische Transferarten, die man miteinander gar nicht vergleichen kann. Jede Seriosität von Forschung wäre damit derzeit überschritten. Auch ginge das Ganze nicht ohne ein interdisziplinär besetztes Forscherteam. Wer sollte das leisten?“ (Bastian: 2001 3 : 100).

Rezeption II 28

Das Problem einer Kontrollgruppe mit eigenem Treatment dürfte jedoch nicht nur methodisch-theoretischer Art sein. Bei einem sechsjährigen Forschungsprojekt dieser Dimension wäre auch aus logistischer Sicht ein optimales Versuchdesign kaum zu realisieren. Dies bestätigt auch Altenmüller: „Gerechterweise muss allerdings an dieser Stelle gesagt werden, dass […] ein kontrolliertes Design erheblichen Mehraufwand mit sich gebracht hätte“ (Altenmüller 2001: 10).

Während die Problematik der Machbarkeit außer Frage steht, erscheint ein weite- Argument Bastians fraglich. Auf die Frage, ob sich ähnliche Studienergebnisse nicht auch...