Der Begriff "Studie" gibt vor, das hier eine wissenschaftliche Untersuchung zu einer Einzelfrage vorliegt. Doch was ist eigentlich die Fragestellung? Was bzw. wer wird hier wie untersucht - und in wessen Auftrag?

Seit 2000 werden alle drei Jahre 600.000 15-Jährige aus etwa 80 Ländern im Hinblick auf ihre Leistungen im Lesen, in Mathematik und in den Naturwissenschaften getestet. Aus Deutschland fließen Zahlen von etwa 10.000 Kindern ein. Auftraggeber des "Programme for International Student Assessment" (PISA) ist die Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD). Ziel der Untersuchung ist es, die Schulsysteme der teilnehmenden Länder miteinander zu vergleichen.

Regelmäßig schrecken die Resultate auf, so wie der deutsche Platz 20 am 3. Dezember. Doch was sagt das Ranking über die Schüler, über das Schulsystem einer Nation wirklich aus? Heiner Barz ist Leiter der Abteilung für Bildungsforschung und Bildungsmanagement an der Heinrich Heine Universität Düsseldorf. Er hat in den vergangenen Jahre intensiv zu Bildungsstudien wie PISA geforscht.

Seit es PISA gibt, wird beispielsweise die Stichprobenziehung immer wieder kritisiert. In Deutschland wird darauf geachtet, das Kinder aller Schulformen einschließlich der Sonder- und Förderschulen dabei sind. Eine Vorgabe dafür gibt es jedoch von der OECD nicht, die teilnehmenden Länder entscheiden selbst, wie sie ihre Stichprobe zusammenstellen.

Inzwischen gibt es zahlreiche Studien, die die Schwachstellen von PISA wissenschaftlich dokumentieren.

Während die PISA-Tests 2018 an den Schulen liefen, veröffentlichten Wissenschaftler aus Harvard und vom Boston College im Wissenschaftsmagazin "Science" ihre Kritik an der Methode hinter den vorangegangenen Studien. Judith B. Singer (Harvard) und Henry I. Braun (Boston College) stellen vor allem das Ranking, also die Erfolgsreihenfolge der einzelnen Nationen in Frage. Tatsächlich werden die Lehrpläne der Länder und die einzelnen Klassenstufen nicht berücksichtigt. 15-Jährige werden getestet, ganz gleich ob sie noch in Klasse neun oder schon in Klasse zehn lernen und wie weit sie "im Stoff" sind.

Schon oft wurde die Auswahl der getesteten Kinder in Frage gestellt. Auch Singer und Braun stellten fest: In einigen Ländern werden gerade 15-Jährige aus vermeintlich bildungsfernen Familien ausgespart. So hätten zum Beispiel in Shanghai Jungen und Mädchen, die aus ländlichen Gebieten Chinas zugewandert waren, gar kein Recht auf einen Platz an den städtischen Schulen. Dadurch würden 27 Prozent der Kinder in diesem Jahrgang gar nicht erfasst.

So muss man die Spitzereiterposition Chinas 2012 zusammen mit Singapur und Hongkong neu betrachten. Auch die Ergebnisse Mexikos oder der Türkei sind umstritten. Dort besuchen 40 Prozent der Jugendlichen im Alter von 15 Jahren gar keine Schule mehr, vermutlich vor allem aus bildungsfernen Familien.

Weiterhin monieren die Forscherinnen und Forscher, dass zentral regierte Länder wie China mit förderalen Staaten wie Kanada oder Deutschland direkt verglichen werden. Denn dort, wo Schulbildung den Bundesländern oder -staaten obliegt, sei die Spreizung der Werte allein innerhalb einer Nation groß.

Ob Schülerinnen und Schüler das Wissen, das sie beim PISA-Test wiedergeben, tatsächlich im Klassenzimmer erworben haben, wird im Ranking nicht berücksichtigt. So gab 2012 die Hälfte der koreanischen Kinder an, dass sie privat Nachhilfe erhielten. Daher warnen Singer und Braun, aus dem Ranking lineare Schlüsse über die Qualität des jeweiligen Schulsystems zu ziehen. Das jedoch ist das das Ziel, das PISA verfolgt.

Deshalb raten die Autoren zu Verlaufsstudien, die die Entwicklung der Kinder innerhalb ihres Schulsystems über einen längeren Zeitraum darstellen. Und tatsächlich wurden viele der benannten Kritikpunkte bei der aktuellen PISA-Erhebung berücksichtigt, sagt Andreas Schleicher, Leiter des Bildungsdirektorats der OECD.

Die Kultusministerkonferenz hat in Deutschland zusätzliche Ländervergleiche eingeführt. Sie sollen helfen, die Vergleichbarkeit zu zentral regierten Ländern zu erhöhen. Durchgeführt werden die Vergleiche vom Institut zur Qualitätsentwicklung im Bildungswesen (IQB). Auch die Auswahl der Stichproben ist inzwischen verändert:

Um die Testbereiche weiter zu fassen und mehr Fähigkeiten abzubilden, wurde für PISA 2018 auch die "Globale Kompetenz" mit geprüft. Dabei sollten die Schülerinnen und Schüler zeigen, wie sie sich in interkulturellen Zusammenhängen bewegen und mit Verschiedenheiten umgehen. Bei der nächsten PISA-Runde in drei Jahren soll dann das kreative Denken eine Rolle spielen.

krm