A. Helmke, T. Helmke, G. Lenske, G. Pham, A.-K. Praetorius, F.-W. Schrader & M. Ade-Thurow

Neu seit 01.02.2014: Version 4.2 Zum Herunterladen:
Infoblatt (2 Seiten)
Broschüre 4.2 (10 Seiten)


EMU

Evidenzbasierte Methoden der Unterrichtsdiagnostik
und -entwicklung

Version 4.2 (01.02.2014)

Der wichtigste Aspekt besteht darin, im Klassenzimmer Situationen zu schaffen, in denen die Lehrpersonen mehr Feedback über ihren Unterrichtsstil erhalten können.” (Hattie, 2013, S.15)


EMU steht für Evidenzbasierte Methoden der Unterrichtsdiagnostik und -entwicklung. Es handelt sich dabei um ein Programm, das wir 2011 im Rahmen des Projektes UdiKom im Auftrag der Kultusministerkonferenz entwickelt haben. Weil bei EMU sicher jeder an die gleichnamige Vogelart denkt, haben wir dieses possierliche Tier in unser Logo aufgenommen.

Das auf www.unterrichtsdiagnostik.de frei verfügbare Material umfasst

Übersicht

  1. Unterrichtsdiagnostik – was ist das, und warum ist sie nötig?
  2. An wen richtet sich EMU?
  3. Welchen wissenschaftlichen Hintergrund hat EMU?
  4. Was heißt 'Abgleich von Perspektiven’?
  5. Was leistet das Auswertungsprogramm?
  6. Welche Szenarien und Veranstaltungsformate haben sich in der Praxis bewährt?
  7. Wovon hängt das Gelingen ab?
  8. Unterrichtsdiagnostik – und was dann?
  9. Wie kann das Kollegium zum Mitmachen motiviert werden?
  10. EMUplus: Unterrichtsdiagnostik und Lehrergesundheit

Hier finden Sie nähere Informationen zum Autorenteam und zur Vorgeschichte von EMU.

Hier geht’s direkt zu den Fragebögen

Hier geht’s direkt zu den Auswertungsprogrammen und den Manualen.


Literatur

Diese Broschüre, das zugehörige Material und die Software werden fortlaufend verbessert und ergänzt. Hinweise, Vorschläge und Fragen bitte an unterrichtsdiagnostik (at) gmail.com

1. Unterrichtsdiagnostik – was ist das, und warum ist sie nötig?

Bei Diagnose denkt man im alltäglichen Sprachgebrauch häufig zunächst an die Medizin. Ursprünglich bedeutet das aus dem Griechischen stammende Wort Diagnose aber einfach nur die Erforschung eines Sachverhaltes mit dem Ziel, beobachtete Merkmale einem Klassifikationssystem zuzuordnen; wer dies kann, ist ein diagnostikos (zum Unterscheiden begabt). Auf den Bereich des Unterrichts übertragen, heißt Diagnostik: Bestandsaufnahme. Man spricht auch von daten- oder evidenzbasiertem Vorgehen.

Im Unterricht finden solche Bestandsaufnahmen hauptsächlich in Form von offiziellen Unterrichtsbesuchen durch die Schulleitung, Lehrproben und Unterrichtsbeobachtungen im Rahmen der externen Evaluation statt. Dies sind seltene Ereignisse, die nicht immer diagnostischen Anforderungen genügen und oft mit einem Evaluationsdruck verbunden sind. Im Schulalltag bildet sich der einzelne Lehrer in der Regel nur aufgrund von unsystematischen Beobachtungen und Rückmeldungen ein Urteil über die Qualität des eigenen Unterrichts (Schrader & Helmke, 2001).

Dass das damit verbundene Wissen begrenzt ist, zeigte sich z.B. in der DESI-Videstudie des Englischunterrichts in der 9. Jahrgangsstufe (T. Helmke et al., 2008). Die nebenstehende Abbildung zeigt: Lehrpersonen halten sich für wesentlich schweigsamer und zurückhaltender als sie es (gemessen an der unbestechlichen Echtzeitmessung auf der Grundlage einer Videoaufzeichnung) tatsächlich sind. Der eigene Sprechanteil – ein wichtiger Indikator eines schüleraktivierenden Unterrichts – wird deutlich unterschätzt. Hierzu Hattie: „Teachers talk, talk, and talk … Classrooms are dominated by teacher talk, and one of the themes of Visible Learning is that the proportion of talk to listening needs to change to far less talk and much more listening” (2012, S. 72).

Ergebnisse wie dieses sind nur auf den ersten Blick erstaunlich. Eine realistische Selbsteinschätzung würde ja voraussetzen, dass man unterrichtet und gleichzeitig eine Meta-Perspektive einnimmt, von der aus man das eigene Verhalten und dessen Auswirkungen kontinuierlich beobachtet und bilanziert („monitoring“). Damit wären Lehrer angesichts der Komplexität des Lehr-Lern-Geschehens im Klassenzimmer – Multidimensionalität, Gleichzeitigkeit, Unvorhersehbarkeit, Unaufschiebbarkeit, Relevanz für künftiges Handeln (Doyle, 2006) – jedoch überfordert.

Will man den eigenen Unterricht weiterentwickeln, dann ist es zunächst einmal nötig, über zutreffende Informationen zu verfügen. Wie das Forschungsbeispiel aus der DESI-Studie zeigt, ist es dazu nötig, die eigene Sichtweise durch andere Perspektiven zu ergänzen, etwa durch kollegiale Hospitation und Schülerfeedback. Ohne einen solchen Blick von außen sind Versuche der Unterrichtsveränderung in der Gefahr des Stocherns im Nebel. Noch wahrscheinlicher ist aber, dass Unterrichtsveränderungen gar nicht erst erwogen werden, weil überhaupt kein Bedarf erkannt wird.

Horster & Rolff (2006) zur Notwendigkeit von kollegialem Feedback:

Je länger Lehrkräfte im Beruf sind, desto schwieriger wird es, eingefahrenen Routinen zu entkommen (...) Mit der Zeit können sich die immer gleichen 'Fehler’ einschleichen, die nicht einmal von einem selbst bemerkt werden. Wenn viele Lehrkräfte diese blinden Flecken zwar unbewusst spüren, sie aber nicht bewusst wahrnehmen und somit auch nicht ändern können, hilft hier Rückspiegelung (Feedback) durch Dritte (Horster & Rolff, 2006, S. 202f.).

2. An wen richtet sich EMU?

EMU richtet sich an alle, die ihren Unterricht weiter entwickeln möchten oder andere dabei beraten. Dies sind primär Lehrende und Lernende im Bereich von Schule und Lehrerausbildung, aber auch die Schulaufsicht (Zielvereinbarungen!). Die Ziele von EMU sind vielfältig:

Unser Ansatz der Unterrichtsdiagnostik zielt eindeutig auf Reflexion und Austausch im kollegialen Umfeld ab. Das zugrunde liegende Leitbild ist das des “reflective practitioner” (Schön, 1983), der seinen Unterricht datenbasiert erforscht. Im Unterschied zu Unterrichtsbeobachtungen im Rahmen der Externen Evaluation geht es hier nicht darum, den Unterricht so objektiv wie möglich zu beschreiben, sondern darum, Gesprächsanlässe für eine Verständigung über Unterricht zu schaffen. Für eine Benotung oder Bewertung des Unterrichts im Rahmen von Personalbeurteilungen oder Lehrproben ist EMU nicht geeignet.

Hier finden Sie mehr zum Potenzial der Unterrichtsdiagnostik für Schule und Lehrerfortbildung, für Studienseminare sowie für die universitäre Lehrerausbildung.

3. Welchen wissenschaftlichen Hintergrund hat EMU?

Mit Diagnostik ist ein höherer Anspruch verbunden als mit einer intuitiven Eindrucksbildung: Grundlage der Beobachtung sind wissenschaftlich fundierte, d.h. empirisch gut untersuchte Merkmale der Unterrichtsqualität. Günstige Ausprägungen dieser Merkmale sind nachweislich lernwirksam (Hattie, 2012). Außerdem müssen diagnostische Instrumente – im Gegensatz zu ad-hoc-entwickelten Verfahren – bestimmte methodische Mindeststandards erfüllen und in der Praxis erprobt worden sein.

Gegenstand von EMU sind nicht Methoden, sondern die „Prinzipien des effektiven Lehrens und Lernens“ (Hattie, 2009) und zwar vier zentrale fachübergreifende Prozessmerkmale der Unterrichtsqualität: (1) Effiziente Klassenführung, (2) Lernförderliches Klima und Motivierung, (3) Klarheit und Strukturiertheit und (4) Kognitive Aktivierung. Hinzu kommt (5) ein Bilanzbereich, d.h. eine Einschätzung der Stunde in emotionaler, (Wohlfühlen), motivationaler (Interessantheit) und kognitiver Hinsicht (Lernertrag, Passung).

Hier gibt es Informationen zum wissenschaftlichen Hintergrund der Unterrichtsdiagnostik und zur Qualität des Unterrichts. Grundlage ist das Lehrbuch Unterrichtsqualität und Lehrerprofessionalität – Diagnose, Evaluation und Verbesserung des Unterrichts (2014) von A. Helmke.

4. Was heißt “Abgleich von Perspektiven”?

Die folgende Übersicht veranschaulicht das Prinzip der Erfassung des Unterrichts durch äquivalente Angaben aus unterschiedlichen Perspektiven (unterrichtende Lehrkraft, Schüler/in, Kollege/in). Exemplarisch für eine weibliche Lehrkraft wird für jeden Bereich jeweils eine Frage aus allen Perspektiven dargestellt: (1) Klassenführung, (2) Lernförderliches Klima, (3) Klarheit/Strukturiertheit, (4) Aktivierung und (5) Bilanz.

Schülerfragebogen Lehrerfragebogen Kollegenfragebogen
Ich konnte in dieser Unterrichtsstunde ungestört arbeiten. Die Schüler/innen konnten ungestört arbeiten. Die Schüler/innen konnten ungestört arbeiten.
Wenn die Lehrerin in dieser Unterrichtsstunde eine Frage gestellt hat, hatte ich ausreichend Zeit zum Nachdenken. Wenn ich eine Frage gestellt habe, hatten die Schüler/innen ausreichend Zeit zum Nachdenken. Wenn die Kollegin eine Frage gestellt hat, hatten die Schüler/innen ausreichend Zeit zum Nachdenken.
Mir ist klar, was ich in dieser Stunde lernen sollte. Den Schüler/innen war klar, was sie in dieser Stunde lernen sollten. Den Schüler/innen war klar, was sie in dieser Stunde lernen sollten
Ich war die ganze Stunde über aktiv bei der Sache. Die Schüler/innen waren die ganze Stunde über aktiv bei der Sache. Die Schüler/innen waren die ganze Stunde über aktiv bei der Sache.
Ich habe in dieser Unterrichtsstunde etwas dazu gelernt. Ich habe die Lernziele dieser Unterrichtsstunde erreicht. Die Kollegin hat die Lernziele dieser Unterrichtsstunde erreicht.

Der Abgleich der eigenen Sichtweise mit den Schülerangaben ist ein Schritt, um das Lernen sichtbar zu machen, d.h. das Lernen mit den Augen der Schüler zu sehen: „Lernen muss von den Lehrpersonen aus der Perspektive der Lernenden betrachtet werden, damit sie besser verstehen, wie das Lernen aus der Sicht der Lernenden aussieht und wie es sich für sie anfühlt“ (Hattie, 2013, S. 139). Die Fragen sollen ein Katalysator dafür sein, „dass Lehrpersonen nach widerlegbaren empirischen Belegen zur Effektivität ihres Unterrichtens suchen, dass sie nach Irrtümern in ihrem Wissen und Ihren Vorstellungen suchen, ... dass sie fragen, ob es genug Herausforderungen und Engagement beim Lernen gibt“ (Hattie, 2013, S. 298).

Der EMU-Schülerfragebogen weist zwei Besonderheiten auf, verglichen mit anderen Schülerfragebögen zum Unterricht:

Die Verknüpfung unterschiedlicher Sichtweisen führt zu einem facettenreicheren Bild. Der Abgleich schafft Anlässe, um gemeinsam über Verlauf und Ertrag der Unterrichtsstunde, über Konsens und Dissens bei der Beurteilung nachzudenken. „Hier diskutieren, bewerten und planen sie ihren Unterricht im Licht der Feedback-Evidenz … Dies ist nicht (nur) kritische Reflexion, sondern kritische Reflexion im Licht der Evidenz, also im Licht empirischer Belege zu ihrem Unterricht“ (Hattie, 2013, S.281).

Das Instrument ist modular aufgebaut. Man kann z.B.

Das o.g. Fundamentum kann um Zusatzbereiche („Additum“) ergänzt werden, z.B.:

Hier gelangen Sie zu den Fragebögen. Es gibt Versionen für eine männliche vs. weibliche Lehrperson, um politisch korrekte, aber unelegante Formulierungen wie „Der Lehrer / die Lehrerin” zu vermeiden.

5. Was leistet das Auswertungsprogramm?

Geht es lediglich um den Abgleich zwischen unterrichtender und hospitierender Lehrperson, braucht man keine Software, sondern kann einfach die beiden Bögen nebeneinander halten und vergleichen. Das Potenzial der Software liegt in der Visualisierung von Ergebnissen, wenn zu ein und demselben Unterricht viele Urteile vorliegen, wie beim Schülerfeedback oder der videobasierten Einschätzung einer Unterrichtssequenz durch eine Gruppe, siehe die untenstehende Abbildung:

Nach der Eingabe der Daten visualisiert das Programm auf Knopfdruck erstens die Verteilung der Antwortkategorien (von 1 = stimme nicht zu bis 4 = stimme zu) in Form von Stabdiagrammen, um so Konsens und Dissens zu veranschaulichen. Zweitens stellt das Programm das individuelle Urteilsprofil dem Durchschnittsprofil der Gesamtgruppe gegenüber: Wo bin ich mit meinem Urteil im mainstream, wo weiche ich vom Durchschnitt ab? Im obigen Fall hat die Kollegin („Mein Profil“) möglicherweise ein spezifisches Konzept von „angemessenem Lob“.

Hier finden Sie Anregungen für die Unterrichtsanalyse im Team.

Beim Datenabgleich aus drei Perspektiven (Triangulation) könnte eine Visualisierung so aussehen:

Beim Schülerfeedback ist die Antwortverteilung innerhalb der Klasse oft interessanter als der Klassenmittelwert, siehe die Stabdiagramme auf der linken Seite der Abbildung. Diese Verteilung ist ein Ausdruck für Homogenität oder Heterogenität innerhalb der Klasse, denn je nach individuellen Lernvoraussetzungen wird ein und dasselbe Unterrichtsangebot unterschiedlich wahrgenommen, interpretiert und genutzt. Im obigen Beispiel gibt es einen deutlichen Konsens bei Items 6 und 7, die sich auf ein durch Freundlichkeit und Wertschätzung charakterisiertes Klima beziehen. Für die Items 8 und 9 dagegen zeigt sich eine erhebliche klasseninterne Streuung: Die Wartezeit nach Fragen wird von der Mehrheit der Schüler/innen für ausreichend gehalten, ein beachtlicher Teil der Schüler/innen hätte jedoch mehr Zeit zum Nachdenken gebraucht.

Wie aufwändig ist die Dateneingabe?
Die Erfahrung zeigt, dass man pro Schüler höchstens 1 Minute für die Dateneingabe benötigt. Bei Daten von 30 Schülern dauert es also höchstens eine halbe Stunde. In der Praxis delegieren die meisten Lehrpersonen die Dateneingabe an Schüler in ihrer Klasse, die solche Arbeit gerne und kompetent erledigen. Zur Unterstützung der datenbasierten Reflexion über Unterricht haben wir beispielbasierte Leitfragen entwickelt.

EMU ist ein offline-Verfahren. Das heißt: Das gesamte Material befindet sich im Netz (und kann heruntergeladen werden), aber die konkreten Daten werden „traditionell“ durch die schriftliche Bearbeitung von Fragebögen und Checklisten erzeugt und anschließend in die zur Verfügung gestellte Dateneingabemaske eingetragen. Schulen, die bereits über Online-Werkzeuge verfügen (wie z.B. UniPark, LimeSurvey, GrafStat) können die EMU-Fragebögen in ihre Verfahren einpflegen.

Hier geht es zu den Auswertungsprogrammen und zu den Manualen.

6. Welche Szenarien und Veranstaltungsformate haben sich in der Praxis bewährt?

Die folgende Abbildung veranschaulicht die Gesamtarchitektur und einzelne Szenarien der Unterrichtsdiagnostik. Dabei werden drei Phasen (A,B,C) unterschieden:

A) Vorbereitung: Die Initiierung der Unterrichtsdiagnostik als Katalysator der Unterrichtsentwicklung erfordert ein systematisches und koordiniertes Vorgehen und ist eine Führungsaufgabe für die Schulleitung. Die Vorbereitung erfolgt zweckmäßigerweise mit kollegialer Unterstützung, z.B. einer Steuergruppe.

B) Der Einstieg in die Unterrichtsdiagnostik (B) kann auf unterschiedliche Weise erfolgen:

C) Systematische Unterrichtsentwicklung: Das hauptsächliche Potenzial von EMU liegt in einem längerfristigen Programm der Diagnostik und Reflexion des Unterrichts, gekoppelt mit systematischer Unterrichtsentwicklung. Wo es bereits eine entwickelte Kultur der Kooperation gibt, können die Phasen A und B auch entfallen.

Die Abbildung zeigt (auf der rechten Seite) einen idealtypischen Verlauf der Unterrichtsdiagnostik durch ein Tandem, bei dem systematisch die Rollen gewechselt werden. Das Vorgehen sollte den bewährten Dreischritt “Bestandsaufnahme – Intervention – Evaluation” zugrunde legen, d.h. die erste Erhebung versteht sich als Screening von Stärken und Schwächen im Unterricht und bildet die Grundlage für Planung von Maßnahmen der Professionalisierung (z.B. vertiefende Information) und der Weiterentwicklung des Unterrichts. Ob diese erfolgreich war, kann durch eine Wiederholung der Erhebung zu einem späteren Zeitpunkt festgestellt werden.

Wechselseitige Unterrichtsbesuche sind das Herzstück von EMU. Neben ihrer diagnostischen Funktion für die Weiterentwicklung des Unterrichts können so Impulse für die Schulentwicklung erfolgen: Weg von der Einzelkämpfermentalität, von der noch immer vorherrschenden Vorstellung des Unterrichts als Privatangelegenheit hin zu einer professionellen Lerngemeinschaft.

7. Wovon hängt das Gelingen ab?

Der Erfolg des Unternehmens hängt von wichtigen institutionellen und individuellen Bedingungen ab:

Die Erfahrungen in der Praxis zeigen, das es bei der Unterrichtsdiagnostik auch Stolpersteinen gibt. Sie lassen sich zwar nicht immer vollständig ausräumen, man kann sie aber zumindest entschärfen – wenn man sie kennt und sich rechtzeitig darauf einstellt. Hier finden Sie Hinweise auf häufig gehörte Einwände sowie Möglichkeiten, damit umzugehen.

8. Unterrichtsdiagnostik – und was dann?

Wer kennt nicht Sprüche wie „Vom Wiegen wird die Sau nicht fetter” oder „Entwickeln statt vermessen!”? Das Fatale an diesen populistischen Floskeln ist, dass sie einen wahren Kern enthalten: Diagnostik ist kein Selbstzweck, sondern ihr müssen zielgerichtete Maßnahmen nachfolgen („Von Daten zu Taten”). Beides ist nötig: eine solide Standortbestimmung und daraus abgeleitete Konsequenzen. Hierfür steht EMU ein Formblatt für die Protokollierung und Vereinbarung von Maßnahmen zur Verfügung.

Ebenso wie für qualitativ hochwertigen Unterricht gibt es auch für die Unterrichtsentwicklung keinen Königsweg. Je nach Sachlage und vorhandenen Ressourcen kommt die gesamte Bandbreite von Maßnahmen der Unterrichtsentwicklung in Betracht: von überregionaler bis hin zu schulinterner Fortbildung, von Lehrerverhaltenstrainings bis hin zu Methoden des Coaching, vom Training des Umgangs mit Disziplinproblemen bis zur Förderung von Methodenkompetenzen, vom Microteaching bis hin zum Lernen aus Videos.

Die EMU-Software ermöglicht die Analyse einer Messwiederholung. So könnte man sich als Ergebnis einer Bestandsaufnahme (Messung 1) vornehmen, seinen Unterricht gezielt zu verändern. Messung 2 (ausrei-chender zeitlicher Abstand, gleiches Fach, ähnlicher Stundentypus) kann dann Veränderungen visualisieren, siehe die folgende Abbildung. Dort war eine Lehrperson mit dem Ergebnis der ersten Erhebung unzufrieden und nahm sich vor, geduldiger zu sein – mit Erfolg, wie der Unterschied zwischen den beiden Profilen zeigt.

Hier finden Sie Leitfragen und Beispiele zur Interpretation von Veränderungen.

Die Feststellung quantitativ darstellbarer Veränderungen bei bestimmten Unterrichtsmerkmalen ist aber nicht das einzige und vielleicht nicht einmal der wichtigste Ziel der Unterrichtsdiagnostik. Die Konfrontation der Selbsteinschätzungen mit anderen Sichtweisen und das Gespräch mit einem sachkundigen und kritischen, aber wohlwollenden Partner oder der Klasse ist eine ausgezeichnete Lerngelegenheit, um sich eigener Sichtweisen, Erklärungen und Verhaltensmuster klar zu werden. Subjektive Theorien des Lehrens und Lernens steuern zwar das Handeln, bleiben aber oft unterhalb der Schwelle des bewussten Nachdenkens. Der Abgleich hat das Potenzial, solche intuitiven Konzepte der bewussten Kontrolle zugänglich zu machen und implizite Theorien explizit zu machen. Dies ist eine günstige Voraussetzung für die Ingangsetzung von Veränderungsprozessen. EMU hat in vielen Lehrerzimmern bewirkt, dass dort seit langem erstmalig intensiv und engagiert über pädagogische und didaktische Fragen des Unterrichts gesprochen wurde!

9. Wie kann das Kollegium zum Mitmachen motiviert werden?

Es wäre unrealistisch zu erwarten, dass sich ein Kollegium spontan und enthusiastisch mit der Unterrichtsdiagnostik beschäftigt. Es kommt also entscheidend darauf an, ob die Leitung das Kollegium vom Sinn einer Teilnahme überzeugen kann, denn Unterrichtsdiagnostik funktioniert nicht per Anordnung, sondern erfordert eine tragfähige Basis im Kollegium.

Im Folgenden sind einige Argumente für eine Teilnahme stichwortartig aufgeführt:

10. EMUplus: Unterrichtsdiagnostik und Lehrergesundheit

Guter Unterricht, bei dem die Schüler/innen viel lernen, der sie unter Berücksichtigung ihrer Verschiedenheit individuell fördert und in einem lernförderlichen Klima stattfindet, steigert die Zufriedenheit und das Erleben der Wirksamkeit der Lehrpersonen und ist somit zugleich ein wirksamer Schutz vor Erschöpfung. Guter Unterricht allein ist allerdings keine Garantie für den Erhalt der Lehrergesundheit, denn Überengagement, unrealistisch hohe Erwartungen, schwierige Schüler/innen, Lärm, mangelnde Unterstützung im Kollegium sind gravierende berufliche Belastungsfaktoren.

Wir haben deshalb – in Kooperation mit dem Kultusministerium des Landes Baden-Württemberg – ein Zusatzmodul entwickelt, das anders als die bisherigen Module qualitativen Charakter hat, also nicht zu einem datenbasierten Ergebnisabgleich mit anschließender Visualisierung führt, sondern Grundlage für ein kollegiales Gespräch ist, siehe EMUplus.