Übungsaufgabe MLM: Lernkompetenz-Training an verschiedenen Schulen

Szenario & Aufgaben:

Pädagogische Psycholog_innen wollen die Wirksamkeit eines neuen Lernkompetenz-Trainings in einer breit angelegten Studie testen. 500 Schüler_innen aus 25 verschiedenen Schulen (20 pro Schule) werden zufällig der Trainingsgruppe oder einer Kontrollgruppe zugewiesen. Die Schüler_innen in der Trainingsgruppe lernen über ein Schulhalbjahr hinweg Strategien zum selbstständigen und strukturierten Nachbereiten des Unterrichtsstoffs. Die Kontrollgruppe erhält kein Training. Nach Ablauf des Zeitraums werden alle Schüler_innen einem standardisierten Test unterzogen, der das im letzten Schulhalbjahr vermittelte Wissen abprüft.

Die Forscher_innen wollen wissen, ob das Training zu einer besseren Leistung im Test führt. Sie gehen jedoch auch davon aus, dass es Leistungsunterschiede zwischen Schulen geben könnte, und dass das Training möglicherweise nicht an allen Schulen gleich stark wirkt. Sie entscheiden sich, eine Multilevel-Analyse durchzuführen.

• Wie lautet die statistische Hypothese?
• Welche fixed und random factors (intercept, slope) könnte das Modell plausiblerweise beinhalten?
• Erstellen Sie eine informative Abbildung, die einen ersten Eindruck über die in den Daten vorliegenden Muster bietet.
• Prüfen Sie durch schrittweise Modellvergleiche, welches Modell die Daten am besten beschreibt.
• Berechnen Sie die R^2-Annäherung für das final gewählte Modell im Vergleich zum Nullmodell.

Daten einlesen

data <- read.csv("school_training.csv",sep=";")

Zusätzliche Faktorvariablen für school- und training-Variablen erstellen

Diese sind evtl. für Grafiken nötig (je nach Grafik). Inhaltlich gesehen sind beide Variablen Faktoren, die Berechnungen funktionieren aber auch mit den numerischen Versionen.

data$school_id_faktor <- as.factor(data$school_id)
data$training_faktor <- as.factor(data$training)

Pakete laden:

library(Rcmdr)
library(nlme) #für Berechnen des Modells
library(lmtest) #für likelihood ratio tests
library(rcompanion) #für Effektgrößen

Welche Komponenten könnte das Modell beinhalten?

Statistische Hypothesen:

Siehe Formelsammlung:

Grafik

Streudiagramm mit Linien für Schulen:

(zur besseren Ansicht kann die Abbildung in einem separaten Fenster betrachtet werden, dafür im ungeknitteten Markdown rechts unter dem ausgeführten chunk das linke von den drei Symbolen anklicken.)

Eine andere Möglichkeit ist ein Plot über Mittelwerte, nach den Gruppen Training und Schule aufgeteilt.

Schritt 1: Nullmodell gegen Modell mit random intercept für Schule

Modell mit random intercept wird beibehalten.

Schritt 2: Modell mit zusätzlichem Prädiktor training (fixed effect) gegen Modell mit nur random intercept

Modell mit RI und fixed effect Prädiktor wird beibehalten.

Modell mit zusätzlich random slope für school gegen Modell mit nur RI für school und fixed effect für Training

Das Modell mit random intercept und random slope für school und fixed effect für Training beschreibt die Daten am besten.

Effektstärke

Achtung: Die Reihenfolge ist hier bedeutsam. Der Test bestimmt, wie viel Varianz das erste Modell im Verhältnis zum zweiten Modell erklärt Das erste Modell sollte also Modell mit unseren gewählten Prädiktoren sein (ansonsten bekommen wir heraus, wie viel Varianz das Nullmodell im Verhältnis zum Modell mit Prädiktoren enthält, also meistens etwas Negatives, da das Nullmodell ja normalerweise weniger erklärt).

• Zusatzfrage 1: Zwischen Intercept und Slope für Schulen besteht eine negative Korrelation. Was bedeutet das inhaltlich? Was könnte die Forschungsgruppe daraus für praktische Implikationen ableiten?

• Zusatzfrage 2: Was würde sich an der Form des Modells (den getesteten Komponenten und der Anzahl der geschätzten Parameter) ändern, wenn sich die Anzahl der Schulen verdoppeln würde (50 Schulen statt 25 Schulen)?