Häufig gestellte Fragen

Letzte Aktualisierung am: 25.08.2011

Fragen

Antworten

Diagnose oder Evaluation?

Könnte man bei EMU statt von Unterrichtsdiagnostik nicht genauso gut von Unterrichtsevaluation sprechen? Was macht den Unterschied aus?

Worum geht es bei Diagnostik? Diagnostik bezieht sich auf die Erhebung von Daten bei einzelnen Personen (oder Personengruppen) mit dem Ziel, bestimmte Entscheidungen zu treffen, die genau diese Personen betreffen. Diagnostik dient der Informationsbeschaffung; deshalb sind Diagnosen oder diagnostische Befunde als solche zunächst einmal wertfrei und folgenlos. Ob sie Folgen haben und welche dies sind, hängt von der Entscheidungssituation ab. Sofern wissenschaftlich fundierte und empirisch erprobte Messinstrumente verwendet und bestimmte methodische Gütekriterien berücksichtigt werden, spricht man von wissenschaftlicher Diagnostik (im Unterschied zu Alltagsdiagnostik).
Worum geht es bei Evaluation? Evaluation bezieht sich im Unterschied zur Diagnostik in aller Regel nicht auf eine einzelne Person, sondern typischerweise auf Aussagen zum Wert oder Erfolg eines Programmes, einer Institution oder eines Systems, wobei Gütemaßstäbe (Normen, Benchmarks, Kriterien) zugrunde gelegt werden. Evaluationen sind ebenfalls Grundlage von Entscheidungen, aber eben von solchen auf der Ebene von Systemen oder Programmen. Evaluationen können wissenschaftlich fundiert sein (wie im Rahmen der Evaluationsforschung), erfolgen aber oft alltagsnah, z.B. wenn der Erfolg einer Maßnahme auf der Grundlage subjektiver Eindrücke bewertet wird.
Diagnostik und Evaluation überlappen sich. Beide Begriffe lassen sich nicht völlig klar voneinander abgrenzen, sondern überlappen sich in ihrer Bedeutung. Beim Urteilsgegenstand "Unterricht" ist dies deshalb der Fall, weil bestimmte Ausprägungen von Merkmalen guten Unterrichts (z.B. Klarheit oder Lernförderliches Klima) wertgeladen sind, das heißt bei einer niedrigen Ausprägung eine negative und bei einer hohen Ausprägung eine positive Konnotation aufweisen.
Warum wir bei EMU von Diagnostik und nicht von Evaluation sprechen. Aus zwei Gründen vermeiden wir bei EMU den Begriff Evaluation: (1) Evaluation bezieht sich in der Regel auf eine Institution (z.B. auf eine Einzelschule, wie bei der externen Evaluation) oder ein System (z.B. das Bildungssystem eines Staates, wie bei PISA) und nicht auf eine einzelne Person, wie sie bei EMU im Blickpunkt steht. (2) Ein anderer Grund für die Vermeidung des Konzeptes "Evaluation" ist der folgende: Wenn man bei einzelnen Personen überhaupt von Evaluation spricht, dann versteht man darunter in aller Regel eine abschließende Bewertung im Sinne einer summativen Evaluation. Bei EMU geht es aber - anders als bei einer Prüfung oder Lehrprobe - gerade nicht um eine abschließende und folgenreiche Bewertung der Qualität und der Wirksamkeit des Unterrichts, sondern um eine (möglichst fortlaufende) Standortbestimmung. EMU zielt ja darauf ab, Gesprächsanlässe zwischen Kollegen zu Fragen des Unterrichts in einem bewertungsfreien Raum zu schaffen, um den Unterricht fortlaufend zu verbessern. Wenn überhaupt, würde hier nur das Konzept der formativen Evaluation passen.
Von der Unterrichtsdiagnostik zur Selbstevaluation einer Schule. Wenn in einer Schule verschiedene individuelle Aktivitäten (Unterrichtsdiagnostik im Team) organisiert, koordiniert und in ein Qualitätsprogramm eingebunden werden, dann kann dies zu einem Qualitätssprung führen: von vereinzelten unterrichtsdiagnostischen Maßnahmen zu einer systematischen, kooperativen und kontinuierlichen Standortbestimmung (Monitoring) der Unterrichts, verbunden mit einer fortlaufenden Professionalisierung der beteiligten Akteure. In diesem Falle würde man von Selbstevaluation (oder interner Evaluation) der Schule sprechen. Diese kann ebenso datengestützt erfolgen wie die externe Evaluation; dazu müssen lediglich alle von Tandems erhobenen Daten in eine anonymisierte Datenbank eingepflegt werden, so dass sich die Schule ohne fremde Hilfe ein Bild ihrer Stärken und Schwächen und ihrer Entwicklungstrends machen und dies als Startpunkt für konkrete Maßnahmen der Fortbildung und Professionalisierung nutzen kann.

Kontrollfragen zum Verständnis:
- Skizzieren Sie einen Sachverhalt, bei dem es um Diagnose, aber nicht um Evaluation geht!
- Skizzieren Sie einen Sachverhalt, bei dem es um Evaluation geht, ohne dass Diagnostik stattfindet!
- Unter welchen Umständen handelt es sich (a) beim Unterrichtsbesuch durch den Schulleiter oder Fachleiter, (b) der Unterrichtsbeobachtung durch einen Vertreter der externen Evaluation um Diagnostik oder Evaluation?
Letzte Aktualisierung am: 25.08.2011 12:02

Merkmale der Unterrichtsqualität

Was ist eigentlich genau gemeint, wenn man von Merkmalen der Unterrichtsqualität spricht?

In der empirischen Unterrichtsforschung spricht man dann von erfolgreichem Unterricht, wenn der Zusammenhang zwischen bestimmten Unterrichtsmerkmalen und dem Lernerfolg empirisch nachgewiesen, also durch empirische Daten belegt ist. Dem liegt eine als Prozess-Produkt-Ansatz bezeichnete Denk- und Vorgehensweise zugrunde. Prozessmerkmale sind Merkmale des Unterrichts, insbesondere des Lehrerverhaltens und der Lehrer-Schüler-Interaktion, die meistens durch Beobachtungsverfahren erfasst werden. Produkte sind bei den Schülern gemessene Ergebnisse wie der (in der Regel mit Tests erfasste) Leistungszuwachs der Schüler. Gelegentlich wurden auch andere Produktmaße wie die Verbesserung der Lernfreude oder die Zunahme des Selbstvertrauens der Schüler erfasst. Im Prozess-Produkt-Ansatz werden dann die Prozessmerkmale mit den Produktmaßen in Beziehung gesetzt. Zu diesem Zweck werden Korrelationen berechnet, also Maße der Stärke des linearen Zusammenhangs zwischen Prozess (Unterrichtsmerkmale) und Produkt (Unterrichtserfolg). Obwohl diese bei einzelnen Merkmalen oft nur schwach positiv sind, also eher geringe Zusammenhänge anzeigen, geben Sie Hinweise darauf, dass die Prozessmerkmale doch zum Produkt beitragen.
Häufig werden Korrelationen vorschnell kausal interpretiert, d. h. die Unterrichtsmerkmale werden als Ursache für die Veränderungen auf Schülerseite gesehen. Diese Interpretation ist zwar oft plausibel und stimmt häufig auch, ist aber nicht zwingend und gelegentlich vollkommen ungerechtfertigt. Eine Korrelation zwischen zwei Merkmalen (wie Unterricht und Schülerleistung) lässt nämlich immer drei Interpretationsmöglichkeiten zu: (1) der Unterricht beeinflusst die Leistung der Schüler; (2) der Leistungsstand der Schüler beeinflusst den Unterricht (z. B. können in einer leistungsstarken Klassen anspruchsvollere Methoden eingesetzt werden); und (3) der Zusammenhang zwischen Unterricht und Leistung hängt von einem dritten Merkmal ab. Beispielsweise stehen in einer gut ausgestatteten Schule Lehrern und Schüler bessere Materialien zur Verfügung, die sowohl den Unterricht als auch das Lernen günstig beeinflussen – ohne dass es tatsächlich der verbesserte Unterricht sein muss, der zum besseren Lernen führt.

Letzte Aktualisierung am: 12.02.2011 15:10
Sind die meisten Merkmalskataloge nicht insofern anachronistisch, als sie ausschließlich von der Lehrerperspektive ausgehen?

Auch dies ist ein weitverbreitetes Missverständnis. Es kann gar keine Rede davon sein, dass sich die Merkmale ausschließlich auf Lehrpersonen beziehen. An der Realisierung oder Blockierung aller Merkmale können Lehrer wie Schüler gleichermaßen beteiligt sein. Zunächst hängt das Zustandekommen einer bestimmten Merkmalsausprägung nicht allein von der Lehrperson und ihren Kompetenzen, sondern auch von der Klassenzusammensetzung, z. B. dem Leistungsniveau oder dem Bildungshintergrund der Klasse ab. So kann die von den Schülern oder einem Beobachter beurteilte Verständlichkeit unterschiedlich sein, je nachdem, ob es sich um eine leistungsstarke oder leistungsschwache Klasse handelt.
Außerdem lassen sich Kriterien wie Klarheit, Strukturiertheit, Verständlichkeit oder Korrektheit auf Schüleräußerungen ebenso anwenden wie auf Lehreräußerungen. Auch Merkmale wie lernförderliches Klima (z. B. wie Schüler auf Fehler ihrer Mitschüler reagieren) betreffen in hohem Maße das Schülerverhalten. Aus Videostudien (Nuthall (1997) wissen wir beispielsweise, dass während einer durchschnittlichen Schulwoche mit unterschiedlichen Sozialformen der sprachliche Input der Peers – jenseits des „offiziellen“ Lehrer-Schüler-Gesprächs – bei weitem dominiert.
Grundsätzlich muss man sich auch klar machen, dass die lernförderliche "Wirkung" bestimmter Unterrichtsmerkmale nur verstanden werden kann, wenn man den Schüler einbezieht. Die Wirkung resultiert daraus, dass auf Schülerseite bestimmte Lernaktivitäten in Gang gesetzt werden. Unterrichtsmerkmale führen nicht zwangsläufig und automatisch zu bestimmten Lernergebnissen, sondern nur dadurch, dass Schüler das Lehrerverhalten in bestimmter Weise wahrnehmen, interpretieren und für eigene Lernanstrengungen nutzen. Ob und in welchem Maße sie das tun, hängt wiederum davon ab, ob bestimmte Bedingungen wie etwa ausreichende Vorkenntnisse vorliegen. Dieser Sichtweise wird das vom Erstautor (Helmke, 2009) entwickelte Angebots-Nutzungs-Modell gerecht.

Diesem verbreiteten Modell zufolge ist der Unterricht immer nur ein Angebot, das von den Schülern in geeigneter Weise genutzt werden muss, wenn bestimmte Lernergebnisse (fachliche oder fachübergreifende Kompetenzen, erzieherische Wirkungen) resultieren sollen. Die Nutzung besteht im Einsatz unterrichtlicher oder außerunterrichtlicher Lernaktivitäten, also kognitiver Aktivitäten, die Grundlage von Lernprozessen sind (Kodieren, Verknüpfen, Vergleichen u. v. m.). Nur wenn diese Lernaktivitäten stattfinden, können die angestrebten Wirkungen eintreten, und zwar unabhängig davon, ob der Unterricht eher offen angelegt oder stark lehrergesteuert ist. Neben dem Unterrichtsangebot nehmen auch individuelle Schülermerkmale (Lernpotenzial wie Intelligenz, Vorkenntnisse usw.) sowie der Kontext Einfluss auf die Lernaktivitäten. Auch hier zeigt sich, dass Personenmerkmale der Lehrkraft nur indirekt wirksam sind. Das Angebots-Nutzungs-Modell verdeutlicht die entscheidende Rolle, die der Schüler selbst im unterrichtlichen Lernprozess spielt und zeigt damit auch, dass sich Unterrichtsangebote nicht eins-zu-eins in Lernerfolge umsetzen lassen.

Letzte Aktualisierung am: 12.02.2011 15:14
Hängt die Beurteilung von Merkmalen der Unterrichtsqualität nicht von der Perspektive des Beurteilers ab?

Ja, dies gehört zu den immer wieder gefundenen Ergebnissen der Unterrichtsforschung: Lässt man ein-und-denselben Unterricht von verschiedenen Schüler/innen beurteilen – egal ob es sich um ein kumulatives Urteil über ein ganzes Schuljahr hinweg oder über eine konkrete Unterrichtsstunde handelt – , dann finden sich durchweg klasseninterne Streuungen bei den jeweiligen Items, d. h. die einzelne Schüler/innen geben mehr oder weniger voneinander abweichende Urteile ab. Diese Streuungen können darüber hinaus von Item zu Item unterschiedlich ausfallen. Das heißt: Bei manchen Merkmalen dominiert der Konsens (z. B. bei leicht beobacht- und objektivierbaren Sachverhalten), bei anderen Merkmalen zeigt sich starker Dissens innerhalb der Klasse. Was für Unterschiede zwischen Schülern einer Klasse gilt, trifft erst recht für die Perspektiven verschiedener Urteile zu, z. B. wenn man die gleiche Unterrichtsstunde sowohl aus Sicht der Klasse (Bildung eines Durchschnittswertes) als auch aus Sicht der unterrichtenden Lehrperson und von Kollegen (via Hospitation) beurteilen lässt. Allerdings gibt es zwischen den unterschiedlichen Perspektiven – wenn auch nicht unbedingt hohe – Zusammenhänge, die zeigen, dass es so etwas wie einen gemeinsamen Kern gibt. In der Unterrichtsforschung wird dies insofern berücksichtigt, dass Erhebungen möglichst mehrperspektivisch angelegt sind, also Schülerwahrnehmungen, Lehrereinschätzungen und Beobachtungen durch externe Beobachter nach Möglichkeit kombiniert werden.
Für die interne Evaluation in der Schulpraxis ist gerade die Schülerperspektive von nicht zu unterschätzender Bedeutung. Klassenweise aggregierte (d. h. gemittelte) Schülerurteile liefern in den meisten Fällen durchaus zutreffende und nützliche Angaben. Da solche Angaben leicht zu erheben und schnell auszuwerten sind, sind sie gerade für die Unterrichtsentwicklung ein praktikabel einsetzbares Instrument, siehe Helmke, Piskol, Pikowsky & Wagner (2009). Sehr viel aufwändiger, aber für Unterrichtsentwicklung ebenfalls sehr wertvoll und in der schulischen Praxis noch viel zu selten genutzt ist die Videografie des Unterrichts. Wenn der aufgezeichnete Unterricht beobachtet und ggf. gemeinsam mit Kollegen/innen analysiert wird, kann das viele wertvolle Einsichten vermitteln und Prozesse der Unterrichtsentwicklung in Gang setzen.

Letzte Aktualisierung am: 12.02.2011 15:12
Sind Aussagen zur Unterrichtsqualität, die fachspezifische und fachdidaktische Aspekte ausklammern, nicht unvollständig?

Ja, eine angemessene Beurteilung der Unterrichtsqualität erfordert in der Tat die Berücksichtigung von sowohl fachübergreifenden als auch fachspezifischen Merkmalen. Darüber ist sich die Unterrichtsforschung heute vollkommen einig. Alle großen Unterrichtsforschungsprojekte des letzten Jahrzehntes sind deswegen Kooperationsvorhaben von Pädagogischen Psychologen bzw. Empirischen Erziehungswissenschaftlern einerseits und Fachdidaktikern andererseits. Einen Lehrstoff zu verstehen bedeutet für den Lernenden letztlich immer, Wissensstrukturen aufzubauen, die die im Lehrstoff bestehenden Strukturen hinreichend abbilden. Die Struktur des Lehrstoffs legt also in einem gewissen Grade bereits fest, wie die spätere Wissensstruktur aussehen wird, wenn erfolgreich gelernt wurde. Da schulische Leistungen an bestimmte Fächer gebunden sind, sind von der Fachdidaktik bereitgestellte Erkenntnisse zur Frage, wie fachliche Lehrstoffe organisiert sind und welche Anforderungen sie an das Lehren und Lernen stellen, von großer Bedeutung. Auch innerhalb der Psychologie ist in den letzten Jahrzehnten vielfach belegt worden, welche zentrale Rolle das Vorwissen für den Erwerb neuen Wissens spielt. Bei umfangreichen und gehaltvollen Lernstoffen reichen allgemeine Fähigkeiten, Strategien oder Schlüsselqualifikationen für den Kompetenzerwerb nicht aus; sie sind insbesondere nicht in der Lage, mangelndes Vorwissen zu kompensieren (vgl. Hasselhorn & Gold, 2006, S. 81 f.). Ganz offensichtlich ist das bei hierarchisch aufgebauten Wissensgebieten wie dem der Mathematik, bei denen ohne hinreichende Vorkenntnisse weitere Lernschritte kaum möglich sind.
Gegen den Einsatz fachunspezifischer Strategien bei der Wissensvermittlung wird zwar gelegentlich zu Recht der Vorwurf des "Strickens ohne Wolle" erhoben. In der internationalen Unterrichtsforschung ist man sich allerdings heute einig, dass es lohnenswert, ja unabdingbar ist, über Fächergrenzen und Altersstufen hinweg nach allgemeinen ("generischen") Merkmalen der Unterrichtsqualität zu suchen. Merkmale wie Klassenführung, kognitive Aktivierung, Verständlichkeit oder lernförderliches Klassenklima sind in unterschiedlichen Fächern in sehr ähnlicher Weise bedeutsam, wie viele Befunde der Unterrichtsforschung belegen. Diesem Aspekt wurde in der Fachdidaktik in der Vergangenheit zu Gunsten einer ausschließlich fachspezifischen Sichtweise oft zu wenig Aufmerksamkeit geschenkt.

Letzte Aktualisierung am: 12.02.2011 15:10
Welchen Sinn haben solche Qualitätsmerkmale im konkreten Schulalltag angesichts der Unberechenbarkeit des Unterrichtsverlaufs?

Die Kenntnis dieser Prinzipien und das Verständnis ihrer Wirkungsweise ist eine notwendige, aber nicht hinreichende Voraussetzung für erfolgreichen Unterricht; es handelt sich nicht um Unterrichtsrezepte, sondern um Steuerungswissen. Dieses kann genutzt werden, um Unterricht zu reflektieren und zu analysieren. Anders als gelegentlich unterstellt (z. B. Mühlhausen (2008), eignen sich die Qualitätsmerkmale nicht für die Planung und Gestaltung einer konkreten Unterrichtsstunde, sondern eher für langfristige Weichenstellungen und Schwerpunktsetzungen im Rahmen der Unterrichtsentwicklung. Bei diesen Bemühungen geht es nicht darum, eine einzelne Unterrichtsstunde zu optimieren, sondern darum, allgemeine Gewohnheiten und Routinen zu verändern.
Unterricht ist ein hochkomplexes Geschehen. Diese Komplexität kann von der Lehrperson zumindest mittel- und langfristig nur dann bewältigt werden, indem Verhaltensroutinen aufgebaut und Vorgehensweisen automatisiert werden, durch die eine kognitive Entlastung geschaffen wird. Solche Verhaltensweisen können nur längerfristig aufgebaut und damit auch nur längerfristig verändert werden. Genau dazu ist Steuerungswissen wichtig.
Voraussetzung für erfolgreiche Maßnahmen der Unterrichtsentwicklung ist eine empirische Orientierung, d. h. die Bereitschaft und Fähigkeit, den eigenen Unterricht auf den Prüfstand zu stellen und eine datengestützte Bestandsaufnahme des Unterrichts und des Lernerfolgs vorzunehmen. Diese umfasst die regelmäßige Diagnose sowohl der Lernvoraussetzungen und des Leistungsstandes der Schülerinnen und Schüler als auch des eigenen Unterrichts (z. B. durch kollegiale/virtuelle Hospitation oder durch Schülerfeedback). Die so entstehenden, empirisch basierten (oder "evidenzbasierten") Bestandsaufnahmen sind Anlässe, sich gezielt mit bestimmten Merkmalen der Unterrichtsqualität zu beschäftigen und mittelfristig Schwerpunkte zu setzen – z. B. einem Qualitätsbereich wie etwa der Motivierung) besondere Aufmerksamkeit zuzuwenden.

Letzte Aktualisierung am: 12.02.2011 15:14
Heißt „guter Unterricht“, dass alle Merkmale maximal ausgeprägt sein müssen?

"Guter Unterricht" im Sinne eines nachweislich erfolgreichen Unterrichts ist keineswegs identisch mit einer optimalen Ausprägung aller Merkmale. Dazu kommt: Nicht immer ist die maximale Ausprägung eines Merkmals optimal. Manchmal sind es eher mittlere Ausprägungen, also weder eine zu hohe noch eine zu niedrige Ausprägung. Besonders deutlich ist dies bei der Frage zur Bilanz (subjektive Schwierigkeit des Unterrichts, die nicht zu hoch, aber auch nicht zu niedrig sein sollte).
Es kann auch durchaus so sein, dass Defizite in einem Bereich bis zu einem gewissen Grad durch Stärken in anderen Bereichen kompensierbar sind. Wann immer in der empirischen Unterrichtsforschung nicht nur auf Aggregatebene ausgewertet wurde (Zusammenfassung vieler erfolgreicher Klassen zu einer Gruppe, deren Durchschnittswert in die weiteren Analysen eingeht), sondern zusätzlich dazu Unterrichtsprofile der einzelnen Klassen beschrieben wurden, stellte sich heraus, dass es sehr unterschiedliche Wege zum Erfolg gibt. So auch in der Grundschulstudie SCHOLASTIK (Weinert & Helmke, 1997), wie Abbildung zeigt: Nachweislich erfolgreiche Klassen (überdurchschnittliche Entwicklung der Fachleistungen in Mathematik und im Lesen und zugleich überdurchschnittliche Entwicklung der Lernfreude) weisen sehr unterschiedliche Unterrichtsprofile auf. Zwar befinden sich die Profile erwartungsgemäß überwiegend auf der "positiven" rechten Seite, d. h. die Variablen der Unterrichtsqualität haben meistens überdurchschnittliche Ausprägungen. In einzelnen Fällen finden sich jedoch auch unterdurchschnittliche Werte. Bemerkenswert ist auch, dass bei zwei der seinerzeit geprüften Qualitätsmerkmalen alle Klassen überdurchschnittliche Werte aufweisen, also alle rechts von der Durchschnittslinie liegen: Klarheit/Strukturiertheit und Klassenführung. Das unterstreicht die besondere Rolle dieser beiden Unterrichtsmerkmale, insbesondere die Bedeutung der Klassenführung als eines für erfolgreichen Unterricht notwendigen, wenn auch nicht hinreichenden Merkmals (s. u.).

Letzte Aktualisierung am: 12.02.2011 15:15
Wie viele Merkmale der fachübergreifenden Unterrichtsqualität gibt es?

Es lässt sich keine eindeutige Zahl benennen. Das hat damit zu tun, dass Merkmale der Unterrichtsqualität keine in der Realität einfach vorfindbaren Gegebenheiten sind, sondern gedankliche Ordnungsleistungen (vgl. Frage 1) darstellen, die sich auf einem je nach Erkenntnisinteresse und Zielsetzung unterschiedlichen Auflösungsniveau bewegen können. Hinzu kommt, dass die verschiedenen Merkmalsbereiche nicht nur facettenreich sind, sondern auch unterschiedliche Hierarchieebenen aufweisen, die von allgemeinen situationsübergreifenden Aspekten bis hin zu konkreten Verhaltensweisen reichen können (vgl. Frage 1). Allgemeine Merkmale sind über verschiedene Hierarchieebenen mit konkreten Verhaltensweisen verbunden, die dann als Indikatoren für die allgemeinen Merkmale fungieren.
So können bei einem allgemeinen Merkmal wie Effizienz der Klassenführung Facetten wie die Qualität eines Regelsystems, die Organisation und Flüssigkeit der Abläufe oder der Umgang mit Disziplinproblemen unterschieden werden. Auf einer konkreteren und verhaltensnäheren Ebene wären dann verschiedene Arten des Umgangs mit Disziplinproblemen denkbar wie Überreaktionen, zeitliche Fehleinschätzungen oder Adressierungsfehler (die falschen Schüler sanktionieren), die man bis auf die Ebene einzelner Verhaltensweisen in spezifischen Situationen weiterverfolgen könnte. Je nachdem, auf welcher Ebene man sich bewegt, kommt man zu einer unterschiedlichen Anzahl von Merkmalen. Hinzu kommt, dass sich Konstrukte bis zu einem gewissen Grad überlappen können. Z. B. könnte sich ein verhaltensnahes Merkmal wie Pünktlichkeit sowohl als Indikator für Klassenführung als auch für Zeitnutzung ansehen lassen.
In gewissem Sinne ist somit jede Klassifikation ein stückweit arbiträr. Mit entsprechender Begründung könnte man daher meistens auch eine größere oder geringere Anzahl von Qualitätsbereichen vertreten, indem man theoretisch und empirisch verwandte Merkmale zu umfassenderen Bereichen zusammenfasst. Natürlich heißt das nicht, dass Unterrichtsmerkmale völlig beliebig sind. Man muss vielmehr genaue Regeln festlegen, mit denen die Merkmale eingegrenzt, voneinander abgegrenzt und mit beobachtbaren Indikatoren verknüpft werden. Diese Konstruktion muss hinreichend präzise sein, damit etwa verschiedene Beobachter oder Urteile zu den gleichen oder zumindest sehr ähnlichen Ergebnissen kommen können. Nur dann ist die Merkmalsbildung hinreichend fundiert, um Klassen oder Lehrkräfte vergleichen zu können.

Letzte Aktualisierung am: 03.03.2011 10:51
Welche Merkmale der Unterrichtsqualität sind am wichtigsten, welche weniger wichtig?

Das hängt vom betrachteten Bildungsziel ab. Je nachdem, ob es um die Förderung fachlicher Kompetenzen, überfachlicher Schlüsselkompetenzen oder um erzieherische Wirkungen der Schule geht (Sozialisationseffekte), haben Merkmale der Unterrichtsqualität ein unterschiedliches Gewicht. Die empirische Unterrichtsforschung hat allerdings gezeigt, dass es einige Schlüsselmerkmale der Unterrichtsqualität gibt, die sich in Forschungen immer wieder als bedeutsam herausgestellt haben. Dies sind Klassenführung und Zeitnutzung, Schülerorientierung, lernförderliches Klima und Motivierung, Klarheit/Verständlichkeit/Strukturiertheit und Übung/Wiederholung/Konsolidierung, Aktivierung, Umgang mit Heterogenität (der Lernvoraussetzungen) und angemessene Methodenvariation sowie Wirkungs- und Kompetenzorientierung (Helmke, Göllner, Kleinbub, Schrader & Wagner, 2008).
Vor allem der Klassenführung kommt eine zentrale Bedeutung zu. Während Klassenführung (Classroom Management) in Deutschland häufig unterschätzt wird, hat sie in den USA auch in der Ausbildung einen festen Platz gefunden, wie eine Reihe von Handbüchern belegen. Eine effiziente Klassenführung scheint den Status einer notwendigen Voraussetzung für guten Unterricht zu haben: Ohne eine geordnete Klassenführung ist ein lernwirksamer Unterricht kaum möglich. Wenn es nicht gelingt, einen geordneten Rahmen für die Unterrichtsaktivitäten herzustellen, sind anspruchsvolle didaktische Maßnahmen kaum realisierbar. Auf der anderen Seite garantiert eine geordnete Klassenführung noch keinen anspruchsvollen, kognitiv aktivierenden und lernförderlichen Unterricht. Natürlich gibt es hier vielfältige Wechselbeziehungen mit anderen Unterrichtsqualitätsmerkmalen. So erleichtert ein gut vorbereiteter und flüssig durchgeführter, gut auf die Vorkenntnisse und Interessen der Schüler abgestimmter Unterricht die Aufgaben der Klassenführung, wohingegen ein schlecht vorbereiteter, mit Leerlauf und Stockungen verbundener, die Schüler über- oder unterfordernder Unterricht es erschwert, einen geordneten Unterrichtsablauf zu realisieren. Eine wenig effiziente Klassenführung ist häufig ein Anlass für das Auftreten von Disziplinstörungen, die oft aufgrund von Leerlauf, Langeweile oder geringer Aufmerksamkeit entstehen. Dabei ist zu beachten: Gute Klassenführung ist mehr als ein effektiver Umgang mit Disziplinschwierigkeiten. Dies ist eher ein Nebenaspekt oder ein Symptom. Entscheidend ist vielmehr, dass der Unterricht von vornherein so angelegt wird, dass Störungen möglichst gar nicht erst auftreten. Dann verringert sich auch die Wahrscheinlichkeit, dass Disziplinschwierigkeiten auftreten.
Dass ein positives, vertrauensvolles und der Motivation zuträgliches Unterrichtsklima – um nur eines der oben genannten Merkmale noch hervorzuheben – ebenfalls eine große Bedeutung hat und praktisch immer wichtig ist, liegt auf der Hand. Wie Untersuchungen zeigen, bedeutet ein freundliches und vertrauensvolles Unterrichtsklima keinesfalls den Verzicht auf Leistungsanforderungen. Es ist vielmehr eine wichtige Grundlage für die Lernbereitschaft. Ein Unterricht, der die Schüler anspricht, sie motiviert, ihnen Kompetenzen vermittelt und Erfolgserlebnisse ermöglicht, hat deshalb auch Rückwirkungen auf das Unterrichtsklima. Diese knappen Ausführungen machen im Grunde auch deutlich, dass es weniger darauf ankommt, einzelne Unterrichtsmerkmale für sich zu betrachten, sondern ihr Zusammenwirken und das gesamte Beziehungsgefüge in den Blick zu nehmen. Man spricht deshalb auch von der "Choreographie" und der "Orchestrierung" (Oser & Baeriswyl, 2002).

Letzte Aktualisierung am: 12.02.2011 15:15
Geht bei der Zerlegung des Unterrichts in Einzelmerkmale nicht die Ganzheitlichkeit verloren?

Für viele Pädagogen ist die analytische "Zerlegung" eines Gesamtbildes in separate Prinzipien oder Variablen ungewohnt und entspricht nicht den bei ihnen verbreiteten ganzheitlich orientierten Denkgewohnheiten. Ein analytischer Ansatz ist jedoch unabdingbar, um ein differenziertes Bild des Unterrichts, seiner Eigenheiten, Stärken und Schwächen zu gewinnen. Nach diesem ersten analytischen Blick muss jedoch ein zweiter, synthetischer Blick auf das Gesamtmuster erfolgen, andernfalls besteht die Gefahr von Kurzschlüssen: Ob eine niedrige Ausprägung eines Qualitätsmerkmals gravierend und beachtlich ist, hängt eben auch von der Gestalt des gesamten Merkmalsprofils ab.
Der in der traditionellen empirischen Unterrichtsforschung vorherrschende Ansatz lässt sich als variablenorientiert charakterisieren. Es gibt in der modernen Forschung aber auch einen legitimen personenorientierten Zugang zur Frage des erfolgreichen Unterrichtens, nämlich den Best-Practice-Ansatz. Man sucht dabei zunächst nach Gruppen von Lehrpersonen, die einander ähnlich sind, und versucht dann diese Gruppen anhand verschiedener Merkmale zu beschreiben und in Form von Profilen anzuordnen. Dieses Vorgehen entspricht der im Alltag verbreiteten Sichtweise, dass es unterschiedliche Typen von Personen gibt, die sich klar voneinander abgrenzen lassen. In wissenschaftlichen Untersuchungen erweisen sich solche Typen allerdings meistens als weitaus weniger prägnant voneinander abgrenzbar, als dies die Alltagsbetrachtung nahelegt. Im Bereich der Unterrichtsforschung ist man sehr an besonders erfolgreichen (im Sinne von best practice), gelegentlich auch als "Meisterlehrer" bezeichneten Lehrkräften interessiert und versucht, durch detaillierte Untersuchungen deren Erfolgsgeheimnis auf die Spur zu kommen. Solche Lehrpersonen können dann auch als Modelle dienen, an denen sich insbesondere künftige Lehrer orientieren können. In den letzten Jahren hat der Experten-Ansatz starke Beachtung gefunden. Für verschiedene Berufe und Tätigkeitsbereiche wurde nachgewiesen, dass sich Experten von Novizen vor allem in der Menge und Qualität des bereichsspezifischen Wissens und Könnens unterscheiden, das bei Experten Ergebnis einer sich meistens über Jahre erstreckenden Auseinandersetzung mit den in ihrem Wissensbereich anfallenden Aufgabenstellungen ist. Der Expertise-Ansatz ist auch Grundlage von Forschungen zur Lehrertätigkeit (siehe etwa Bromme, 2008).

Letzte Aktualisierung am: 12.02.2011 15:15
Geht ein effektiver lernförderlicher Unterricht nicht auf Kosten anderer Lernziele?

In der empirischen Unterrichtsforschung ist vorrangig untersucht worden, welche Unterrichtsmerkmale zum Lernerfolg der Schülerinnen und Schüler beitragen. Häufig ist damit die Befürchtung verbunden, dass ein auf Leistungsziele ausgerichteter Unterricht auf Kosten anderer Ziele geht, etwa die Lernfreude beeinträchtigt oder zu erhöhter Ängstlichkeit führt. Von Bildungstheoretikern sind neben der Leistung schon immer auch andere Ziele wie Mündigkeit, Selbstständigkeit, Kooperationsfähigkeit oder moralische Werte proklamiert worden. Diese Ziele haben auch Niederschlag in Schulgesetzen gefunden. Für die Unterrichtsforschung ergibt sich daraus die Frage, ob diese verschiedenen Ziele miteinander vereinbar sind oder ob Zielkonflikte unvermeidlich sind. Die Frage der Multikriterialität von Unterricht ist bislang erst Gegenstand weniger Untersuchungen gewesen. Die dort gewonnenen Ergebnisse zeigen, dass es durchaus möglich ist, verschiedene scheinbar disparate Ziele gleichzeitig zu erreichen (Gruehn, 1995; Helmke & Schrader, 1990; Kunter, 2005; Schrader, Helmke & Dotzler, 1997).

Letzte Aktualisierung am: 12.02.2011 15:16
Gibt es objektive Kriterien dafür, was "guter Unterricht" ist?

Regelrechte Prozess-Standards, die den Professionalitätsstandards der KMK für den Lehrerberuf entsprechen, sind allenfalls in Ansätzen verfügbar. Wünschenswert wären Mindestausprägungen im Sinne einer kriterialen Bezugsnorm, die exakt angeben, wie häufig z. B. bestimmte Unterrichtsverhaltensweisen auftreten müssen, damit man von gutem Unterricht sprechen kann. Solche exakte Kriterien kann es allerdings aus verschiedenen Gründen nicht geben: (1) Ob ein Unterrichtsmerkmal wirksam ist, hängt auch immer davon ab, welche anderen Unterrichtsmerkmale vorliegen. (2) Unterrichtsmerkmale sind allgemeine Merkmale, die sich zwar an beobachtbaren Verhaltensweisen verankern lassen, aber oft auf ganz unterschiedliche Weise. (3) Aussagen über die Wirksamkeit von Unterrichtsmerkmalen basieren auf Forschungen, bei denen Klassen und Lehrkräfte verglichen werden, so dass man im Grunde immer nur Aussagen über die Qualität relativ zu anderen Klassen und Lehrkräften treffen kann (soziale Bezugsnorm). Nichtsdestoweniger haben Prozess-Standards eine wichtige Orientierungsfunktion, indem sie die Aufmerksamkeit auf zentrale Merkmalsbereiche lenken und Verbesserungen in diesen Bereichen anregen.

Letzte Aktualisierung am: 12.02.2011 15:16

Umgang mit Schülerdaten

Wie gehe ich damit um, dass manche Items von mehreren Schülern ausgelassen wurden?

Vereinzelte und unsystematisch vorkommende Auslassungen ("fehlende Angaben", "missings") sind in der Regel unkritisch. Achten sollten Sie aber darauf, ob Items von mehreren Schülern ausgelassen wurden. Dies könnte verschiedene Ursachen haben. Es gab keine, zu seltene oder nicht hinreichend wahrnehmbare Situationen, in denen die zu beurteilenden Verhaltensweisen aufgetreten sind. Dies lässt sich gut im Klassengespräch ansprechen und klären.

Letzte Aktualisierung am: 12.02.2011 15:27
Sind die Angaben vertrauenswürdig? Wie können Sie erkennen, ob die Schüler den Bogen ernsthaft beantwortet haben?

Anhaltspunkte dafür, dass der Bogen nicht ernsthaft bearbeitet wurde, könnten sein:
- zwei Items, die ähnliche Aspekte ansprechen und bei denen man deshalb auch eine ähnliche Beantwortung erwarten würde, werden widersprüchlich beantwortet. Dafür kann es jedoch durchaus auch Gründe geben. Diese lassen sich oft im Gespräch abklären.
- eine Antwort, bei der man relativ leicht feststellen kann, ob sie korrekt ist, wird anders beantwortet als es Ihrer Wahrnehmung oder der Ihres Kollegen entspricht (z. B. „der Unterricht hat pünktlich begonnen“; "am Ende der Stunde wurden die wichtigsten Ergeb-nisse zusammengefasst"). Hier kann es möglicherweise sein, dass die Schüler ihr Urteil auf den Unterricht im Allgemeinen bezogen haben und nicht auf die konkrete Stunde. Ein Grund könnte sein, dass Sie dies in der Instruktion nicht klar genug zum Ausdruck gebracht haben.
Letzte Aktualisierung am: 12.02.2011 15:33
Wie gehe ich damit um, wenn Schülerinnen und Schüler, die Items "nach Muster" angekreuzt haben?

Wir hatten Sie bereits bei der Dateneingabe darauf hingewiesen, die Daten dieser Schüler gar nicht erst in die Excel-Datenmaske einzugeben. Denn die Angaben dieser Schüler sind wertlos und verzerren die Gesamtergebnisse. Wenn es nur wenige Schüler betrifft, kann man deren Ergebnisse unberücksichtigt lassen. Wenn es einen großen Teil der Klasse betrifft, sind die Ergebnisse der gesamten Befragung nicht verwertbar. In diesem Fall müsste die Befragung erneut durchgeführt werden. Suchen Sie dann in einem solchen Fall auf jeden Fall zunächst das Gespräch mit der Klasse.
- Haben Sie Sinn und Zweck der Befragung hinreichend deutlich gemacht?
- War die Klasse vorübergehend demotiviert, z. B. weil der Bogen mit großem Zeitdruck in der letzten Stunde ausgefüllt worden ist?
- War die Klasse mit den Fragen überfordert, z. B. auch in Verbindung mit großem Zeitdruck bei der Beantwortung?
- Deuten die Ergebnisse darauf hin, dass Ihr Verhältnis zur Klasse beeinträchtigt ist?
Letzte Aktualisierung am: 12.02.2011 15:33
Wie kann ich ausschließen, dass sich die Schüler – obwohl ich darauf hingewiesen habe - anstatt auf die konkret erlebte Stunde auf meinen Unterricht im Allgemeinen beziehen?

Wie bereits dargestellt, gibt es einige Items, bei denen Sie relativ leicht feststellen können, ob sich die Schülerantworten auf die konkrete Stunde beziehen (z. B. "am Ende der Stunde wurden die wichtigsten Ergebnisse zusammengefasst").
Es kann jedoch nicht vollständig ausgeschlossen werden, dass Eindrücke, die die Schüler von Ihrem Unterricht im Allgemeinen gewonnen haben, in die Beurteilung der konkreten Unterrichtsstunde einfließen. Menschliche Wahrnehmungen werden schließlich immer durch Erwartungen und Voreinstellungen beeinflusst. Solche Erwartungen werden umso stärker wirksam, je weniger klar und eindeutig die Beobachtungshinweise (Indikatoren) für ein bestimmtes Urteil oder Merkmal sind. Solche uneindeutigen Indikatoren können daher rühren, dass die Beobachtungshinweise selten auftreten, schwer erkennbar oder mehrdeutig sind. Eine weitere mögliche Ursache ist, dass die Hinweise den Schülern wegen mangelnder Aufmerksamkeit entgangen sind oder in der Befragungssituation nicht erinnert werden.
Wenn Sie Anhaltspunkte haben, dass sich die Schüler auf den Unterricht im Allgemeinen statt auf die konkrete Stunde beziehen, dann sollten Sie versuchen, das im Gespräch abzuklären. Die Befragung wird aber keinesfalls wertlos, wenn der Bezug zur konkreten Stunde einmal fehlt. Schließlich wollen Sie etwas über Ihren Unterricht erfahren. Es ist lediglich schwieriger, die Schülerurteile mit ihrem konkreten Verhalten in Verbindung zu bringen.

Letzte Aktualisierung am: 12.02.2011 16:13

Interpretation der visualisierten Ergebnisse einer Erhebung

Was bedeutet das Unterrichtsprofil?

Das Unterrichtsprofil umfasst vier fachübergreifende Qualitätsbereiche (und einen Zusatzbereich) und kann insofern Hinweise zur Qualität und über mögliche Stärken und Schwächen Ihres Unterrichts geben. Diese Hinweise bedürfen aber einer genaueren Interpretation und Analyse, um zu einer fundierten Einschätzung zu gelangen. Ohne eine Einbettung der Ergebnisse in den Kontext der Stunde ist dies nicht möglich!
Während das Unterrichtsprofil ein allgemeines Bild Ihres Unterrichts liefert, gibt Ihnen das Itemprofil für jedes der vier Unterrichtsmerkmale Hinweise auf konkrete Situationen, Verhaltensweisen oder Reaktionen, die für dieses Merkmal relevant sind.
In Abbildung ist ein Itemprofil für das Unterrichtsmerkmal Aktivierung dargestellt, aus Gründen der Übersichtlichkeit zunächst nur aus einer Perspektive, der Schülerperspektive.
Abbildung: Itemprofil für Aktivierung (Schülerperspektive)

Letzte Aktualisierung am: 12.02.2011 16:11
Wann ist ein Unterrichtsmerkmal positiv oder negativ ausgeprägt?

Der theoretische Neutralitätspunkt liegt bei 2.5, die theoretische Minimalausprägung bei 1 und die theoretische Maximalausprägung bei 4. Wann ein Unterrichtsmerkmal positiv oder negativ ausgeprägt ist, hängt vom Gesamtbild des Unterrichts und vom Kontext der Stunde ab. Das obige Profil liegt, abgesehen von einem Ausreißer (Item 20: „Die Schüler/innen haben etwas vor anderen präsentiert“), im positiven Bereich. Das Feedback der SchülerInnen zum Bereich Aktivierung kann somit vorerst als überwiegend positiv interpretiert werden.
Wir sehen in Abbildung , dass die vier Unterrichtsmerkmale über alle Items betrachtet im Mittel recht unterschiedlich ausgeprägt sind : Bei Klassenführung ergeben sich bei allen Items niedrige Ausprägungen, für Lernförderliches Klima und Motivierung liegen die Items alle im mittleren Bereich, Klarheit und Strukturiertheit ist im Durchschnitt eher niedrig ausgeprägt, während bei Aktivierung mit einer Ausnahme höhere Ausprägungen erreicht werden. Aus dieser ersten, oberflächlichen Betrachtung, lassen sich jedoch noch keine Schlüsse ziehen, sondern höchstens erste Tendenzen bezüglich der eigenen Schwächen und Stärken erkennen.
Abbildung: Gesamtprofil über vier Qualitätsbereich (Schülerperspektive)
Zwei zentrale Fragen, die Ihnen für die vertiefte Auseinandersetzung mit dem eigenen Profil erste Hinweise geben sollen, werden im Folgenden thematisiert.

Letzte Aktualisierung am: 12.02.2011 16:25
Ist guter Unterricht gleichzusetzen mit der maximalen Ausprägung aller Unterrichtsmerkmale?

Nein! Eine qualitativ hochwertige Stunde muss keineswegs bei allen Unterrichtsmerkmalen maximale Ausprägungen aufweisen. Die einzelnen Unterrichtsmerkmale kommen bei unterschiedlichen Unterrichtsformen unterschiedlich zum Tragen. So ist eine hohe Ausprägung im Bereich Klarheit und Strukturiertheit eher in Unterrichtsformen realisierbar, bei denen Sie als Lehrperson das Unterrichtsgeschehen steuern (Unterrichtsgespräch, Vortrag), während eine hohe Ausprägung des Bereichs Aktivierung eher bei selbstständigem Arbeiten der Schüler bzw. bei mehr Partizipations-/ Mitgestaltungsmöglichkeiten der Schüler zu erwarten ist. Dass eine einzige Unterrichtsstunde optimale Realisierungschancen für alle Unterrichtsmerkmale bietet, ist nicht realistisch. Die Profile guter Unterrichtsstunden müssen sich deshalb also auch nicht gleichen.
Unterschiedliche Lernziele können eine unterschiedliche methodisch-didaktische Umsetzung erfordern, sodass es stets mehr auf eine adäquate Orchestrierung und weniger auf eine gleichermaßen hohe Ausprägung der einzelnen Qualitätsbereiche ankommt. Unterschiedliche didaktische Vorgehensweisen und Maßnahmen resultieren wiederum meist auch in differenzierten Unterrichtsprofilen.
Verfolgen Sie beispielsweise die Absicht, die Kommunikationskompetenz und die Selbstständigkeit Ihrer Schüler in Ihrer Stunde zu schulen, so werden Sie Unterrichtsmaßnahmen einsetzen, bei denen die Schüler viele Gelegenheiten zu selbstständigem Arbeiten erhalten. Wenn Ihnen dies gelingt, sollte der Bereich Aktivierung besonders hoch ausgeprägt sein. Es ist dann aber nicht unbedingt zu erwarten, dass Sie auch besonders hohe Ausprägungen bei Klarheit/Strukturiertheit erreichen. Sie sollten dann eher darauf achten, dass in diesem Bereich bestimmte Mindestausprägungen nicht unterschritten werden. Wenn die Aktivierung in einem solchen Fall dagegen niedrig ausgeprägt wäre, könnte dies ein Hinweis sein, dass Sie Ihr Ziel nicht erreicht haben. Um die Qualität Ihrer Unterrichtsstunde zu beurteilen, müssen Sie das erhaltene Profil also in Bezug zu Stundenziel und -inhalt setzen. Deshalb wäre es unvernünftig, Faustregeln für "Schwellen" anzugeben, d. h. Zahlenwerte, die möglichst nicht unterschritten werden dürfen.
Setzen wir das gezeigte Profil mit dem eben genannten Stundenziel in Bezug (Steigerung der Kommunikationskompetenz und der Selbstständigkeit der Schüler/innen), so zeigt sich, dass die Angaben zur Aktivierung – abgesehen von Item 20 – für das Erreichen des gesetzten Ziels sprechen.

Letzte Aktualisierung am: 12.02.2011 16:55
Müssen für eine hohe Merkmalsausprägung alle Items eine maximale Ausprägung aufweisen?

Neben der Ausprägung von gesamten Bereichen sollte man bei der Interpretation auch auf den Wert einzelner Items schauen. Was für die Qualitätsbereiche gilt, kann auf die einzelnen Items übertragen werden: Der Zahlenwert ist nicht unmittelbar mit der Güte der Stunde gleichzusetzen. Die Items beziehen sich auf Verhaltensweisen und Situationen, die im Unterricht der meisten Lehrkräfte häufig, aber eben nicht immer zusammen auftreten. Es kann durchaus sein, dass bestimmte Verhaltensweisen in einer konkreten Stunde nicht oder nur selten aufgetreten sind, weil sie sich aufgrund des Unterrichtsschwerpunkts nicht angeboten haben.
Solche Abweichungen bieten darüber hinaus jedoch immer auch einen Anlass, darüber, nachzudenken, ob Sie dieses Verhalten künftig stärker berücksichtigen sollten. Auch hier spielt der Kontext die ausschlaggebende Rolle: Ist ein Item mit Ihrer zentralen Zielsetzung der Stunde unmittelbar verbunden, so sollte es einen Wert zwischen 3 und 4 annehmen, um das Urteil als positiv zu interpretieren. Liegt der Wert darunter, kann das ein Hinweis dafür sein, dass Sie Ihr Ziel nicht erreicht haben.
Zur Konkretisierung dieser Überlegungen schauen wir noch einmal auf das Profil des Bereichs Aktivierung und das „Problemitem“ 20: Es ist nicht in jeder Stunde von immenser Bedeutung, dass Schüler etwas vor der Klasse präsentieren. Wenn Sie sich aus methodisch-didaktisch nachvollziehbaren Gründen entschieden haben, das Präsentieren vor der Klasse innerhalb der Unterrichtseinheit an anderer Stelle zu verorten (z. B. weil die Gruppenarbeiten noch fortgeführt werden), ist es kein Anzeichnen von schlechter Qualität, wenn das besagte Item gering ausgeprägt ist. Würde es sich hingegen um das Profil einer die gesamte Einheit abschließenden Stunde handeln und wären die Gruppenarbeiten in dieser Stunde beendet worden, dann sollten Sie sich fragen, ob eine Präsentation zur Würdigung und Sicherung der Ergebnisse nicht zwingend notwendig gewesen wäre. Eine solche Reflexion sollten Sie am besten gemeinsam mit Ihrem Kollegen/Ihrer Kollegin vornehmen.

Letzte Aktualisierung am: 12.02.2011 17:03
Wie erkennt und interpretiert man Unterschiede zwischen den Perspektiven?

Abbildung: Unterricht aus drei Perspektiven
Die Abbildung zeigt das gesamte Unterrichtsprofil aus allen drei Perspektiven. Die Unterschiede zwischen den drei Profilen sind wie folgt aus der Graphik ablesbar: Für jedes Item ist die mit einer Skala von 1 bis 4 gemessene Urteilsausprägung durch einen Punkt gekennzeichnet. Der Abstand zwischen zwei Punkten (= gleich der Differenz zwischen den Zahlenwerten) zeigt an, wie sehr sich die Perspektiven der beiden Urteilenden bei diesem Item unterscheiden. Beachten Sie hier bitte: Bei den Schülerurteilen ergibt sich der Punkt aus dem Mittelwert der Einzelurteile aller Schüler (und ist deshalb auch meistens keine ganze Zahl). Die Differenz zwischen Ihrer Selbsteinschätzung und dem Mittelwert der Schülereinschätzungen ist ein Maß dafür, wie stark Ihre Einschätzung mit der durchschnittlichen Einschätzung Ihrer Schüler übereinstimmt bzw. davon abweicht.

Letzte Aktualisierung am: 12.02.2011 17:45
Ab welcher Größenordnung sind Differenzen bedeutsam?

Zur Interpretation des Differenzwertes kann folgende Faustregel herangezogen werden: Unterschiede in der Größenordnung von etwa zwei Kategorien und mehr (Beispiel: Sie haben bei einer Frage den Wert 3 angegeben und der Mittelwert der Schülereinschätzungen beträgt 1, die Differenz beträgt also 2) sind mit Sicherheit bedeutsam und sollten Anlass für Reflexion und gegebenenfalls Diskussion mit der Klasse sein. Unterschiede in der Größenordnung einer Kategorie sollten erst dann beachtet werden, wenn sie bei mehreren Items eines Bereichs auftreten.
Hinweis: Die Differenz kann natürlich nur dann berechnet werden, wenn sowohl Schüler- als auch Lehrerangaben zum entsprechenden Item vorliegen. Fehlende Differenzwerte (leere Felder) können deshalb u. U. einen Hinweis auf versehentlich nicht eingegebene Daten aus dem Lehrerfragebogen darstellen (sofern Sie die entsprechende Frage nicht absichtlich ausgelassen haben – da sie Ihnen z.B. bezogen auf die konkrete Unterrichtseinheit nicht angemessen erschien).
Ab wann Sie eine Differenz interpretieren sollten, hängt auch davon ab, wie sehr die Urteile bei einem Item streuen und wie verlässlich (reliabel) die vorliegenden Messungen sind. Bei den Schülerangaben gibt Ihnen die im Ergebnisausdruck mitgelieferte Antwortverteilung Aufschluss über die Streuung der Urteile. Wenn die Schülerurteile sehr wenig streuen, die Schüler sich also relativ einig sind, dann können bereits recht kleine Abweichungen Ihres Urteils (oder das Ihres Kollegen/Ihrer Kollegin) vom mittleren Schülerurteil bedeutsam sein! Wenn die Schülerurteile dagegen stark streuen, dann sollte Ihr Urteil (oder das Ihres Kollegen/Ihrer Kollegin) schon sehr deutlich vom mittleren Schülerurteil abweichen. Im Falle extremer Streuung innerhalb der Klasse sind Mittelwertsunterschiede überhaupt nicht mehr interpretierbar.
Die in Abbildung dargestellten drei Profile sind Grundlage für den Abgleich der drei Perspektiven. Wir bezeichnen das als Triangulation. Hierbei zeigt sich nach der genannten Faustregel bei folgenden Items Dissens:
Zwischen Lehrer- und Kollegenurteil:
- Klassenführung, Item 5 („Die gesamte Unterrichtsstunde wurde für den Lernstoff verwendet“): die Lehrperson hat bei diesem Item Kategorie 3 angegeben, der Kollege Kategorie 1. Während die unterrichtende Lehrperson also der Meinung ist, nahezu die gesamte Zeit für den Unterrichtsstoff verwendet zu haben, ist der beobachtende Kollege/die beobachtende Kollegin hier deutlich strenger in ihrer Beurteilung. Das (mittlere) Schülerurteil liegt zwischen beiden Kategorien.
- Lernförderliches Klima und Motivierung, Item 10 („Ich habe auflockernde Bemerkungen gemacht“): die Lehrperson hat Kategorie 4 angegeben, der Kollege Kategorie 2. Während die Lehrperson also davon ausgeht, dieses Verhalten realisiert zu haben, ist der Kollege auch hier wieder zurückhaltender. Das Schülerurteil liegt in einem ähnlichen Bereich wie das Kollegenurteil.
Zwischen Lehrer- und Schülerurteil:
- Klarheit und Strukturiertheit, Item 16 („Den Schüler/innen war klar, was sie in dieser Stunde lernen sollten“): die Schüler haben im Mittel Kategorie 2 gewählt, das Lehrerurteil bei diesem Item beträgt 4 und das Kollegenurteil 3. Im Vergleich zu den Schülern urteilt der Lehrer also deutlich optimistischer, während der Kollege mit seinem Urteil dazwischen liegt.
Letzte Aktualisierung am: 12.02.2011 17:50
Welcher Perspektive ist für die Interpretation die ausschlaggebende?

Der einfachste Fall ist, dass die Urteile aus verschiedenen Perspektiven weitgehend übereinstimmen (Konsens). Häufig ist das aber nicht so, sondern es gibt mehr oder weniger großen Dissens, wie auch in unserem Beispiel. Wie bereits erwähnt, ist Dissens zwischen urteilenden Lehrpersonen von Belang, wenn Urteile eine Diskrepanz von zwei oder mehr Antwortkategorien aufweisen. Dissens erschwert die Interpretation. In einem solchen Fall wäre es nicht angemessen, nur eine Sichtweise als die "wahre" anzusehen und diese zur weiteren Interpretation heranzuziehen. Weder die Kollegen- noch die (klassenweise gemittelten) Schülerurteile zeigen, wie Ihr Unterricht "wirklich" ist. Jede Perspektive hat ihre eigenen Stärken und Schwächen und sollte dementsprechend in die Interpretation einfließen. Deshalb ist es wichtig, den Gründen für die aufgetretenen Perspektivenunterschiede nachzugehen und diese bei der Reflexion zu berücksichtigen. Häufig lassen sich Unterschiede durch eine genauere Prüfung nachvollziehen. Die Abweichungen liefern Ihnen Informationen, die Sie sonst vermutlich nicht oder nur schwer bekommen.
Lehrerperspektive. Ihre eigene Perspektive als Lehrer/in hat Vor- und Nachteile. Sie bietet dann Vorteile, wenn zur Interpretation einer Beobachtung eine genauere Kenntnis der Klasse oder der Einbettung des Stundenthemas in eine größere Unterrichtseinheit nötig ist. Dieses Wissen kann Ihnen helfen, bestimmte Dinge besser und genauer wahrzunehmen. So haben Sie möglicherweise aufgrund Ihrer Erfahrung mit der Klasse und der Kenntnis des vorangegangenen Unterrichts ein gutes Gefühl entwickelt, wann Schüler etwas verstanden haben und wann nicht. Der Nachteil kann sein, dass Sie im Laufe der Zeit voreingenommen sind und Fehlwahrnehmungen ausgebildet haben können, z. B. dass Sie Schüler häufig über- oder unterschätzen. Ferner sind Sie als unterrichtende Lehrkraft aktiv ins Unterrichtsgeschehen involviert, was es Ihnen im Vergleich zum hospitierenden Kollegen erschwert, alle Informationen und Reize wahrzunehmen und adäquat verarbeiten. Ein Ziel der Unterrichtsdiagnostik besteht gerade darin, daraus resultierende Wahrnehmungs- und Urteilsverzerrungen auf den Prüfstand zu stellen.
Schülerperspektive. Schüler sind die Adressaten Ihres Unterrichts. Sie sind es, die etwas lernen, verstehen oder für etwas motiviert werden sollen. Ob dies gelungen ist, kann meistens von ihnen selbst am besten beurteilt werden. Schülerurteile sind also wichtig, um herauszufinden, wie der Unterricht angekommen ist, wie er wahrgenommen und erlebt wird. Schüler sind dagegen in der Regel überfordert, wenn es darum geht, den Unterricht im Hinblick auf didaktische Fragen zu beurteilen. Didaktische Fragen kommen insbesondere vor, wenn der Standardbogen mittels des Zusatzbereichs durch fachspezifische Aspekte ergänzt wird.
Kollegenperspektive. Ihr hospitierender Kollege kann bestimmte Dinge besser wahrnehmen. Dies gilt für Ihr eigenes Unterrichtsverhalten, das sie während des Unterrichtsgeschehens nur sehr unvollständig registrieren können. Er hat neben Ihrem Unterrichtsverhalten auch gleichzeitig die Schülerreaktionen im Blick. Er kann auf diese Weise besser Zusammenhänge zwischen dem Lehrerverhalten und den Schülerreaktionen herstellen und dadurch die Wirkungen Ihres Verhaltens beurteilen. Genau wie Sie selbst (und anders als die Schüler) ist er auch Experte für Unterricht und kann diesen insbesondere auch unter didaktisch-methodischen Gesichtspunkten beurteilen. Anders als Sie selbst und Ihre Schüler kann Ihr Kollege in der Regel aber nur auf der Basis dieser einen beobachteten Stunde urteilen. Er kennt weder die "Vorgeschichte" der Stunde noch weiß er genauer über die Situation der Klasse oder die Schüler Bescheid. Wie schon bei der Lehrerperspektive beschrieben, kann eine solche Kenntnis Vor- und Nachteile haben. Ein weiterer Grund, warum Sie das Gespräch mit dem Kollegen suchen und versuchen sollten, Ihre Perspektiven abzuklären!

Letzte Aktualisierung am: 12.02.2011 18:01
Was sind mögliche Gründe für den Dissens zwischen Selbsteinschätzung und Einschätzung des hospitierenden Kollegen?

Klären Sie im gemeinsamen Gespräch, welches die Gründe für die unterschiedliche Einschätzung sind. Liegen die Ursachen darin,
- dass die gleichen Begriffe, z. B. "auflockernde Bemerkungen", unterschiedlich interpretiert wurden?
- dass unterschiedliche Situationsausschnitte und Verhaltensweisen wahrgenommen wurden?
- dass für die einzelnen Beurteilungen unterschiedliche Indikatoren herangezogen wurden?
- dass die Indikatoren bei der Verknüpfung zu einem Urteil unterschiedlich gewichtet wurden?
- dass … (abhängig vom konkreten Einzelfall sind weitere Gründe denkbar)?
Nehmen wir unser Beispiel als Reflexionsanlass. Die Zahlen verweisen lediglich auf eine Diskrepanz der Urteile, sie verraten Ihnen aber nicht die Gründe dafür. Deshalb sollten Sie mit Ihrem Kollegen/Ihrer Kollegin überlegen, wie es zu diesen Diskrepanzen in den Urteilen kommt.
Betrachten wir wieder Item 5 („Die gesamte Unterrichtsstunde wurde für den Lernstoff verwendet“), bei dem sich deutliche Perspektivenunterschiede, insbesondere zwischen Ihrem eigenen Urteil (Kategorie 3) und dem Ihres Kollegen/Ihrer Kollegin (Kategorie 1) zeigen (siehe Abbildung). Zu leicht nachvollziehbaren Differenzen in der Wahrnehmung kann es etwa kommen, wenn Sie – anders als vermutlich Ihr Kollege/Ihre Kollegin – während der Stunde nicht immer den Überblick über die gesamte Klasse gehabt haben, da Sie sich mit einzelnen Gruppen beschäftigt haben. Vielleicht hat Ihr Kollege/Ihre Kollegin beobachtet, dass die anderen Gruppen, sobald Sie diesen den Rücken zugewandt haben, sich teils mit unterrichtsfremden Dingen beschäftigten. Es könnte aber auch sein, dass Sie und Ihr Kollege in der Strenge Ihrer Urteile einfach andere Maßstäbe setzten.
Ein weiteres Beispiel ist Item 10 (Lernförderliches Klima und Motivierung). Sie hatten Kategorie 4 gewählt, Ihr Kollege/Ihre Kollegin Kategorie 2. Es wäre hier möglich, dass Sie und Ihr Kollege/Ihre Kollegin einfach ein unterschiedliches Verständnis von "auflockernde Bemerkungen" haben. Ebenso könnte sich herausstellen, dass die auflockernden Bemerkungen in den Gesprächen mit einzelnen Gruppen stattgefunden haben und so für den Kollegen – anders als für die Schüler – gar nicht wahrzunehmen waren.

Letzte Aktualisierung am: 12.02.2011 18:22

Was sind mögliche Gründe für den Dissens zwischen Selbsteinschätzung und Schülereinschätzung (Schülermittelwert)?

Suchen Sie in diesem Fall das Gespräch mit Ihrer Klasse:

Liegen die Unterschiede daran,

dass die gleichen Begriffe unterschiedlich interpretiert wurden?
dass unterschiedliche Sachen wahrgenommen wurden?
dass ich mit unterschiedlichen Schüler(-gruppen) unterschiedlich umgegangen bin?
dass die Schüler eventuell durch Zeitdruck beim Ausfüllen kognitiv überfordert waren?
dass bestimmte Begriffe bei selbst formulierten Zusatzitems nicht im Wortschatz aller Schüler beinhaltet sind?
dass … (auch hier sind abhängig vom konkreten Einzelfall weitere Gründe denkbar)?

Nehmen wir auch hier unser Beispiel als Gesprächsanlass mit Ihrer Klasse. Aus dem Gespräch mit den Schüler könnten folgende Gründe ersichtlich werden:

Zu Item 16 („Den Schüler/innen war klar, was sie in dieser Stunde lernen sollten“). Das Schülerurteil liegt bei 2, Ihr eigenes ist 4. Sie waren sich also sicher, dass das Ziel der Stunde im Unterricht artikuliert wurde. Ihre Schüler hingegen geben an, nicht gewusst zu haben, was das Ziel der Stunde war. Im Gespräch mit den Schülern könnte sich herausstellen, dass die Wortwahl eventuell zu schwierig war. Einen anderen Grund schildert Ihnen das folgende Beispiel aus der praktischen Erprobung unseres Instruments:

AUS DER PRAXIS DER DIAGNOSTIK

Ich hab also nach der ersten Erhebung das mal mit meiner Klasse durchgesprochen, und dann habe ich ihnen erzählt, ich hab denen das nicht gezeigt, dass wir in manchen Dingen völlig parallel lagen aber dass ich z. B. der Meinung war, ich hätte zu Beginn der Stunde sehr deutlich gesagt, worum es geht. Und dann habe ich mit denen darüber gesprochen und hab gefragt, wodurch kommt der Unterschied zustande? Und dann haben die Schüler mir gesagt, das war viel zu schnell, zu Beginn der Stunde waren wir noch gar nicht angekommen im Unterricht und wir hatten noch alles Mögliche im Kopf und haben das nicht mitgekriegt. Also, ich warte jetzt, bis alle angekommen sind, dann mache ich dieses Begrüßungsritual länger und dann sage ich worum es geht. Das war für mich eine Konsequenz aus der Rückmeldung von den Schülern (Aus dem Interview mit der Steuergruppe einer Schule).

Das Instrumentarium kann Ihnen helfen, Diskrepanzen wie diese zu erkennen. Anschließend im Gespräch die Gründe dafür zu eruieren und daraus die entsprechenden Konsequenzen zu ziehen, wäre für Sie als Lehrperson ein wichtiger Schritt, um Ihren Unterricht optimal auf Ihre Klasse abzustimmen.

Letzte Aktualisierung am: 12.02.2011 18:50

Welche Rolle spielt die Verteilung der Antworten bei der Interpretation?

Neben dem Mittelwert der Schülerurteile in einer Klasse ist auch eine wichtige Information, in welchem Maße sich die Urteile innerhalb der Klasse unterscheiden oder wie ähnlich sie ausfallen. Die Verteilung der Antworten innerhalb der Klasse macht deutlich, ob ein- und dieselbe Unterrichtsstunde von den Schülern dieser Klasse sehr ähnlich beurteilt wurde (Konsens) oder nicht (Dissens).
Im Extremfall vollständigen Konsenses gäbe es in dem Diagramm nur einen einzigen Balken, die Streuung wäre Null. Der andere Extremfall wäre, dass der Unterricht von zwei Gruppen innerhalb der Klasse gegensätzlich beurteilt wird: Dann gäbe es zwei Balken, je einen für die Antwortkategorie 1 (trifft zu) und 4 (trifft nicht zu). Ein dritter extremer Fall wäre eine annäherungsweise Gleichverteilung.
Abbildung: Drei Fälle der Schülerantwortverteilung
In Abbildung sehen Sie Beispiele für einen Fall von sehr hohem, aber nicht maximalem Konsens (Item 7), einen Fall von extremem Dissens (Item 9) und eine nahezu Gleichverteilung (Item 22).
Deshalb sollten Sie bei der Interpretation neben dem Mittelwert unbedingt auch die Verteilung der Antworten berücksichtigen. Dass es zu Unterschieden kommt, hat viele Gründe (unterschiedliches Verständnis der Kategorien, unterschiedlich gute Beobachtung, Aufmerksamkeitsschwankungen u. a. mehr). Erinnern Sie sich: Die Items des Schüler-Fragebogens sind ich-bezogen formuliert, sind also aus der Perspektive des einzelnen Schülers zu beantworten. Der Schüler soll also nicht angeben, ob das Lehrerverhalten ganz allgemein verständlich, strukturiert oder motivierend, sondern ob es für ihn selbst verständlich, strukturiert oder motivierend gewesen ist. Ob ein Schüler den Unterricht als verständlich oder strukturiert beurteilt, hängt auch von seinen Kenntnissen und Fähigkeiten ab. Ob er den Unterricht anregend und motivierend findet, hängt auch von seinen Interessen ab. Wenn nun ein und derselbe Unterricht von unterschiedlichen Schülern ganz unterschiedlich beurteilt wird, könnte das ein Hinweise sein, dass er für verschiedene Schüler auch unterschiedlich lernwirksam ist. Das könnte für Sie wiederum ein Anlass sein, darüber nachzudenken, wie Sie sich bei Ihrer Unterrichtsgestaltung und -durchführung noch stärker auf diese Unterschiede einstellen können (Passung, Umgang mit Heterogenität).
Wenn die Verteilung der Antworten unterschiedlich ist, ist auch ein und derselbe Mittelwert unterschiedlich zu deuten. Die beiden Screenshots zum Item 9 („Wenn ich eine Frage gestellt habe, hatten die Schülerinnen ausreichend Zeit zum Nachdenken“) zeigen dies anhand eines Extrembeispiels: Der Mittelwert ist jeweils 3, aber einmal haben alle Schüler die Kategorie 3 angekreuzt, das andere Mal die Hälfte von ihnen die Kategorie 2, die andere Hälfte die Kategorie 4.
Abbildung: Gleiche Mittelwerte, aber unterschiedliche Verteilung
Das zweite Beispiel zum gleichen Item 9 finden Sie in unserem exemplarischen Gesamtprofil wieder (vgl. Abbildung). Wäre das Urteil Ihrer Schüler so wie hier ausgefallen, sollte dies Anlass sein, über Ihren Unterricht nachzudenken, insbesondere über Ihre Langsamkeitstoleranz und Ihren Umgang mit Heterogenität. Das Gespräch mit der Klasse ist auch an dieser Stelle wichtig, um die Hintergründe zu klären und geeignete Maßnahmen abzuleiten.
Sie sehen hier, wie wichtig es ist, sich das Profil im Detail anzuschauen. Item 9 fällt nur ins Blickfeld, wenn wir uns auf die Verteilung konzentrieren. Alle drei Aspekte – Antwortniveau, Übereinstimmung der Urteilerperspektiven und Antwortverteilung der Schüler – sollten demnach in Ihrer Reflexion Beachtung finden.

Letzte Aktualisierung am: 12.02.2011 18:46
Wie könnte eine Analyse Ihrer Stärken und Schwächen aussehen?

Konzentrieren Sie sich zunächst auf die Bereiche, welche übereinstimmend als positiv ausgeprägt beurteilt worden sind und Ihnen demnach in der Stunde gut gelungen sind. Wenn Sie aufgrund Ihrer Reflexion zu dem Ergebnis kommen, dass diese Bereiche auch für Ihr Unterrichtsziel wichtig und für Ihr Unterrichtsverhalten typisch sind, dann haben Sie eine besondere Stärke Ihres Unterrichts identifiziert.
Im Beispiel: Der Bereich Aktivierung ist – abgesehen von Item 20 – übereinstimmend positiv beurteilt worden. Bei Item 20 ist zu klären, ob die negative Ausprägung anlässlich des Stundenziels vertretbar ist. Sollte dies der Fall sein und die beurteilte Stunde bezogen auf Ihren gesamten Unterricht keine Ausnahme darstellen, so spricht viel dafür, dass Sie Aktivierung als eine Ihrer Stärken verbuchen können.
Betrachten Sie dann die Bereiche, die übereinstimmend als negativ ausgeprägt beurteilt worden sind. Dies sind Bereiche, die sie in der Stunde vernachlässigt haben oder Bereiche, die Ihnen in der Stunde nicht so gut gelungen sind. Klären Sie zunächst im Gespräch mit Ihrem Kollegen/Ihrer Kollegin ab, welchen Stellenwert dieses Ergebnis im Kontext Ihrer Stunde hat. Handelt es sich um ein Ergebnis, das gemessen am Ziel Ihrer Stunde hoch ausgeprägt sein sollte oder eher nachrangig ist, so dass eine niedrige Ausprägung vertretbar ist? Wenn die Beurteilerperspektiven weitgehend übereinstimmen, die niedrigen Ausprägungen Ihren Zielvorstellungen zuwiderlaufen und die beobachtete Stunde für den Unterricht typisch war, dann deutet dies mit einiger Sicherheit auf reale Schwächen Ihres Unterrichts hin. Sie können dann anfangen, über Maßnahmen zur Veränderung Ihres Unterrichts nachzudenken. Auch hierfür ist das Gespräch mit dem Kollegen/der Kollegin wichtig.
Im Beispiel: Klassenführung und Klarheit/Strukturiertheit wurden übereinstimmend als niedrig ausgeprägt beurteilt. Beide Bereiche könnten somit eine Stellschraube für Maßnahmen zur Veränderung des Unterrichts darstellen. Inwiefern sich die geringe Ausprägung bei Klarheit/Strukturiertheit aufgrund des Stundenziels rechtfertigen bzw. hinnehmen lässt, diskutieren Sie mit ihrem Kollegen/Ihrer Kollegin. Der Optimierungsbedarf im Bereich Klassenführung ist hingegen eindeutig. Es handelt sich um Grundvoraussetzungen eines lernwirksamen Unterrichts, bei denen Qualitätseinbußen fast immer ungünstig sind.
Häufig ist das Ergebnis aber nicht so klar, weil es Dissens zwischen den Perspektiven gibt und/oder eine heterogene Antwortverteilung auf Schülerseite vorliegt. Hier ist dann eine differenziertere Analyse nötig.
Wenn es Perspektivenunterschiede gibt, sollte versucht werden, die Gründe dafür aufzuhellen. Wie im Falle von Dissens zu handeln ist, bzw. welche Leitfragen dabei eine wichtige Rolle spielen, wurde bereits an früherer Stelle beschrieben. Wenn es abweichende Perspektiven gibt, müssen die Gründe für Urteilsdifferenzen im Gespräch geklärt werden.
Da die Schüleritems in der Ich-Form formuliert wurden, deutet eine heterogene Antwortverteilung auf Schülerseite darauf hin, dass es nicht gelungen ist, für alle Schüler eine optimale Passung herzustellen. Hier wäre zu klären, ob eine größere Variation des Unterrichtsangebots oder eine verstärkte Individualisierung oder Differenzierung angezeigt ist.

Letzte Aktualisierung am: 12.02.2011 18:49

Interpretation der visualisierten Ergebnisse der Veränderungsmessung

Wie viel Zeit muss ich für Veränderungen meines Unterrichts aufwenden?

Der Zeitraum, den Sie für Veränderungen Ihres Unterrichts vorsehen, kann unterschiedlich lang sein. Verhaltensänderungen benötigen je nach Art des Verhaltens unterschiedlich viel Zeit, insbesondere wenn es um die Änderung fest eingeschliffener Verhaltensgewohnheiten geht. Der Aufbau neuer Verhaltensweisen kann mühsam sein und es dauert einige Zeit, bis diese automatisiert sind. Sie müssen damit rechnen, dass es zeitweilig sogar zu Verschlechterungen Ihrer Handlungskompetenz kommen kann, ehe sich die neuen Verhaltensweisen hinreichend stabilisiert haben und Sie die nötige Verhaltenssicherheit erreicht haben.
Vor diesem Hintergrund sollte die Mindestdauer vier Wochen betragen. Die Höchstdauer wird das gesamte Schuljahr sein. Als ungefährer Anhaltspunkt kann ein Zeitraum von acht Wochen angenommen werden.

Letzte Aktualisierung am: 03.03.2011 10:41
Worauf muss ich achten, wenn ich eine Veränderungsmessung durchführe?

Wenn Sie Änderungen erfassen wollen, müssen Sie darauf achten, dass die Bedingungen für die Unterrichtsdiagnostik bei beiden Messungen vergleichbar sind. Das heißt insbesondere:
• Führen Sie den Unterricht in der gleichen Klasse durch.
• Wählen Sie das gleiche Fach.
• Wählen Sie einen vergleichbaren Stundentyp.

Letzte Aktualisierung am: 03.03.2011 10:52
Welche Ergebnisse erhalte ich, wenn ich die Daten für beide Messzeitpunkte eingebe?

Sie erhalten pro Unterrichtsmerkmal und für jeden Urteiler die Itemprofile beider Messzeitpunkte:
- Schüler: Die Darstellung gibt an, wie sich die Schülereinschätzung verändert hat.
- Kollegen: Hier ist gezeigt, wie sich die Beurteilung Ihres Kollegen verändert hat.
- Lehrer: Hieraus ist zu ersehen, wie sich Ihre eigene Einschätzung verändert hat. Darüber hinaus erhalten Sie eine Gesamtdarstellung mit allen drei Perspektiven. Diese Darstellung zeigt Ihnen im Detail, welche Veränderungen sich ergeben haben.
Abbildung: Vergleich zweier Messzeitpunkte

Letzte Aktualisierung am: 04.03.2011 11:51
Wie kann ich die Ergebnisse einer Wiederholungsmessung interpretieren?

Ihr Wunschergebnis wird in der Regel sein:
- positive Veränderungen in Bereichen, die zu Beginn ungünstig ausgeprägt waren.
- Keine Verschlechterung in Bereichen, die zu Beginn schon günstig ausgeprägt waren
Nicht immer werden Sie so ein klares Ergebnismuster erhalten. Wir zeigen Ihnen daher einige allgemeine Ergebnismuster, die auftreten können, und kommentieren diese kurz. Wir beschränken uns der Übersichtlichkeit halber zunächst auf einen einzigen Merkmalsbereich und die Schülerperspektive.
Stagnation (minimaler Zuwachs). Ein solches Ergebnis ist auf den ersten Blick ein Hinweis, dass sich der Unterricht nicht verändert hat. Bevor Sie sich mit dieser Erklärung zufrieden geben, denken Sie darüber nach, ob es noch andere Erklärungsmöglichkeiten geben könnte. Versuchen Sie, im Gespräch mit dem Kollegen/der Kollegin herauszufinden, welche Gründe eine Rolle spielen könnten: (1) Haben Sie zum ersten Messzeitpunkt ein besonders gutes Ergebnis erzielt, weil Sie sich hier besonders angestrengt haben, sich also bei der Vorbereitung und Durchführung Ihres Unterrichts besonders viel Mühe gegeben haben? Ist Ihnen dann der Unterricht bei der zweiten Messung weniger gut gelungen? Ihr Unterricht könnte sich dann verbessert haben, ohne dass sich diese Veränderungen in den Ergebnissen zeigen würde, weil die Messungen nicht vergleichbar waren. (2) Haben Sie Änderungen in Ihrem Unterrichtsverhalten vorgenommen, die sich nicht in unserem Instrument niederschlagen? (3) Denkbar wäre, dass es eine Verbesserung gegeben hat, dass aber gleichzeitig auch die Beurteilungsmaßstäbe aller Urteiler strenger geworden sind. Dies müsste sich dann allerdings in den Urteilen aller Beteiligten zeigen.
Abbildung: Kaum Veränderung zwischen den beiden Messungen
Generelle Veränderung. Ein solches Ergebnis deutet darauf hin, dass sich Ihr Unterricht insgesamt verändert hat, entweder in positiver oder in negativer Richtung. Bevor Sie auf eine generelle Veränderung schließen, prüfen Sie wie im Fall einer Stagnation auch hier wieder, ob es andere Erklärungsmöglichkeiten gibt. Positive Veränderungen zeigen im günstigen Fall an, dass sich Ihr Unterricht verbessert hat. Sie können allerdings auch dann resultieren, wenn Ihnen der Unterricht je nach Tagesform bei der ersten Messung besonders schlecht und/oder bei der zweiten Messung besonders gut gelungen ist, ohne dass sich der Unterricht wirklich grundlegend verändert hat. Denkbar wäre auch, dass es keine realen Veränderungen im Unterricht gegeben hat, sondern dass die Beurteilungsmaßstäbe aller Urteiler milder geworden sind.
Abbildung: Positive Veränderung zwischen den beiden Messungen
Negative Veränderungen müssen nicht unbedingt bedeuten, dass sich Ihr Unterricht verschlechtert hat. Prüfen Sie auch hier, ob die beiden Stunden hinreichend vergleichbar waren oder ob sich Urteilsmaßstäbe verschoben haben. Zeitweilige Verschlechterungen können aber auch immer dann resultieren, wenn Sie versucht haben, grundlegende und eingeschliffene Verhaltensweisen zu verändern: Die alten Verhaltensroutinen funktionieren nicht mehr wie gewohnt, und die neuen sind noch nicht hinreichend gesichert. Dies ist ein Übergangsphänomen beim Erwerb neuer Handlungskompetenzen, mit dem man immer rechnen muss. In diesem Fall kann das Zeitintervall zu gering gewesen sein oder Sie haben sich zu viel auf einmal vorgenommen.
Abbildung: Negative Veränderung zwischen den beiden Messungen
Bereichsspezifische Veränderung und Konstanz in anderen Bereichen. Dieses Ergebnis würde man erwarten, wenn Sie einen Bereich verändert haben, der aber relativ isoliert von den anderen Bereichen zu sehen ist. Die aufgetretenen Veränderungen sollten also denen entsprechen, die Sie auch tatsächlich eingeleitet haben. Im vorliegenden Fall haben Sie sich bemüht, die Schüler ausreden zu lassen und Ihnen nach Fragen genügend Zeit zum Nachdenken eingeräumt. Was sich also verändert hat, ist Ihr Verhalten, wenn Schüler einen Beitrag leisten. Alle anderen Verhaltensweisen sind davon unberührt geblieben.
Abbildung: Veränderung bei einzelnen Verhaltensmerkmalen und Konstanz bei anderen
Verbesserung in einem Bereich auf Kosten eines anderen Bereichs. Dieses Ergebnis könnte ein Hinweis sein, dass die vorgenommenen Änderungen Sie noch so stark beanspruchen, dass andere Qualitätsaspekte beeinträchtigt werden. Es ist gut möglich, dass die Optimierung eines Bereiches die Konzentration auf andere Bereiche ungewollt und unbemerkt verringert. Im vorliegenden Fall haben Sie sich offenbar stark darauf konzentriert, die Schüler ausreden zu lassen und Ihnen nach Fragen genügend Zeit zum Nachdenken einzuräumen. Dabei haben Sie aber offenbar andere Verhaltensweisen nicht mehr so sehr im Blick gehabt, so dass es hier zu Verschlechterungen gekommen ist. Um solche unerwünschten Nebenwirkungen zu kontrollieren, empfehlen wir auch dann, wenn es Ihr Ziel ist, nur einen Bereich zu verbessern: Erheben Sie zum zweiten Messzeitpunkt auch die anderen Bereiche erneut! Wenn Sie zum zweiten Messzeitpunkt nur den Bereich testen, der optimiert werden soll, dann können Sie bei einer Verbesserung leicht einem Trugschluss unterliegen: Denn von der Optimierung eines einzelnen Bereiches können Sie nicht auf eine allgemeine Verbesserung der Unterrichtsqualität schließen. Über die Stabilität der anderen Merkmale kann ohne ein erneutes Testen keine Aussage gemacht werden.
Abbildung: Veränderung bei einzelnen Verhaltensmerkmalen auf Kosten anderer
Deckeneffekt. Sie haben bereits beim ersten Messzeitpunkt bei allen oder bei einigen Merkmalen Höchstausprägungen erreicht. Dann ist es nicht möglich, Veränderungen mit dem Instrument nachzuweisen. Prüfen Sie und besprechen Sie mit Ihrem Kollegen/Ihrer Kollegin, ob dies das Ergebnis einer zu milden Beurteilung sein könnte. Wenn Sie zu dem Ergebnis kommen, dass die Messung Ihre Leistungen realistisch widerspiegelt und die gemessenen Leistungen für Ihren gesamten Unterricht typisch sind, können Sie sich gratulieren. In diesem Fall sollten Sie überlegen, ob es andere, mit dem Instrument nicht erfasste Verhaltensbereiche gibt, bei denen Sie noch Optimierungsbedarf sehen. Zur Erfassung dieser Bereichen können Sie den Zusatzbereich nutzen und versuchen, aus diesen Bereichen Items auszuwählen oder selbst zu formulieren und auf dieser Basis ein auf Ihre individuellen Bedürfnisse abgestimmtes Veränderungsprogramm zu starten.
Abbildung: Deckeneffekt bei einem Unterrichtsmerkmal

Letzte Aktualisierung am: 04.03.2011 11:46