Zweifellos messbar sind nur die Ergebnisse von Kompetenzen, also die Performanzen. Dies dürfte auch jedem Laien mehr als logisch erscheinen. Wenn beispielsweise die Leichtathletin Ariane Friedrich 2,10 Meter hochspringt, kann man zweifelsfrei die „Performance“ mit einem Metermaß messen. Niemand würde aber auf die Idee kommen, die vielfältigen dahinter liegenden Kompetenzen, wie Trainingsfleiß, Trainingsprogramm, Motivation, Konzentrationsfähigkeit, physische und psychische Stabilität, Wettkampfhärte, Siegeswille und viele mehr messen zu wollen und dann auch noch in Stufen einzuteilen. Genau dies versucht die empirische Bildungsforschung aber nun an Schulen mit Aufgabenstellungen, die den Leistungsstand der Schüler punktgenau abbilden sollen, um ihn gezielt verbessern zu können.
Für die Konzeption von derartigen Kompetenzstufenmodellen kommt nun erschwerend hinzu, dass in den Bildungsstandards von 2004 für alle Fächer gleich mehrere Kompetenzbereiche festgelegt wurden, die die Grundlage des derzeitigen Unterrichts an den Schulen bilden. In den Naturwissenschaften sind das: Fachwissen, Erkenntnisgewinnung, Kommunikation und Bewertung. Diese sind in ihrer Komplexität aber ebenfalls nicht messbar. Und weil das so ist, zerlegt die empirische Bildungsforschung sie in weitere Teilkompetenzbereiche, die ihrerseits wiederum in zahlreiche Kompetenzaspekte untergliedert sind wie „Fragestellung“, „Hypothese“, „Untersuchungsdesign“ und „Datenauswertung“. Erst diese kleinsten Kompetenzhäppchen wurden dann in fünf „Kompetenzstufen“ messbar gemacht.
Wie kommt man aber nun zu diesen Kompetenzstufen? Eine Pilotstudie sollte das Wunder vollbringen: Schülern wurden Aufgaben gestellt, die dann entsprechend der Lösungshäufigkeit in fünf Stufen eingeteilt wurden. Haben 95 Prozent der Schüler eine Aufgabe gelöst, muss sie relativ einfach gewesen sein, haben nur 25 Prozent sie gelöst, entsprechend schwieriger.
Bei der Erstellung von Kompetenzstufen trat weiterhin die Schwierigkeit auf, die genaue Grenze zwischen den Kompetenzstufen nicht näher zu kennen. Diese Stufengrenzen werden nun in einem Konsensverfahren ermittelt, da selbst die daran beteiligten Experten keine übereinstimmenden Zuordnungen treffen konnten. Auch die zu jeder Stufe gehörenden Kompetenzbeschreibungen – der Schüler kann dieses und jenes – werden im Konsens ersonnen.
Die Kompetenzstufenmodelle sind also alles andere als gottgegeben und ihre Erstellung ist in der Wissenschaft mehr als umstritten. Es sind rein technokratische Konstrukte, die in erster Linie messtechnischen Vorgaben folgen, keinesfalls aber die Vielfalt der Lösungsmöglichkeiten berücksichtigen, die nicht vorhersehbar sind. Handelt es sich um didaktisch sinnvolle komplexe Aufgaben, die dem Schüler unterschiedliche, auch nicht vorhersehbare Lösungsmöglichkeiten bieten, messen sie diese Aufgaben unscharf. Man kann noch nicht einmal sagen, was sie überhaupt genau messen - Lesekompetenz, Alltagswissenskompetenz oder die Kompetenz, derartige Aufgabenformate lösen zu können. Die eindimensionalen „Kompetenzhäppchen-Aufgaben“ jedenfalls sind trivial und lassen jeden Bildungsanspruch vermissen.