Bei der letzten Umfrage vor der Wahl kommen alle Institute auf den ersten Blick erstaunlich nah an das tatsächliche Ergebnis heran. Mit einer durchschnittlichen Abweichung von 1,5 Prozentpunkten für jede Partei weist die Forschungsgruppe Wahlen noch die größte Differenz auf, die Allensbacher Prognose liegt im Mittel nur 1,2 Punkte vom tatsächlichen Ergebnis entfernt. Die naive Prognose hingegen liegt im Mittel um 3,1 Punkte daneben. Vergleicht man die Abweichungen für die addierten Werte der beiden Koalitionsparteien SPD/Grüne und CDU/FDP, liegt Forsa mit einer durchschnittlichen Abweichung von 0,9 Prozentpunkten vorne. Die mittlere Abweichung liegt in diesem Fall bei 1,4 Punkten, am schlechtesten schneidet GMS mit 2,4 Punkten ab.
Das klingt gut, doch die Daten offenbaren eine Schwäche: Zu oft liegen die Werte der Institute außerhalb des Konfidenzintervalls. Laut Annahme sollte die Prognose in 95 von hundert Fällen das annähernd richtige Ergebnis liefern, nur jeder zwanzigste Wert dürfte jenseits der Spanne liegen. Tatsächlich liegt selbst bei der Forschungsgruppe Wahlen, die in dieser Hinsicht am besten abschneidet, aber jeder zehnte Wert außerhalb des Intervalls, bei Forsa ist es gar jeder fünfte. Insgesamt liegen 15,7 Prozent aller Ergebnisse außerhalb des Intervalls. Damit können die Institute ihre wichtigste Behauptung nicht halten.
| Letzte Umfrage vor der Wahl | ||
Mittlere Abweichung (in Prozentpunkten) | Anteil der Ergebnisse außerhalb des Konfidenzintervalls (in Prozent) | |
| Allensbach | 1,2 | 15 |
| TNS Emnid | 1,5 | 15 |
| Forsa | 1,5 | 20 |
| Forschungsgruppe Wahlen | 1,5 | 10 |
| GMS | 1,4 | 20 |
| Infratest dimap | 1,4 | 15 |
| Mittelwert (ungewichtet) | 1,3 | 10 |
| Naive Prognose (letztes Wahlergebnis) | 3,1 | 60 |
| Quelle: eigene Berechnungen | ||
Als wichtigsten Grund nennen die Institute selbst die Wahl 2005. Viele bezeichnen sie als quasi nicht prognostizierbar: Im Vorfeld ergaben alle Umfragen extrem schwache Werte für die SPD, während sich der Kanzler Gerhard Schröder sogar wachsender Popularität erfreute. Letztlich lagen die Institute allesamt weit neben dem tatsächlichen Ergebnis. Lässt man es mit dieser Begründung außen vor, ergibt sich eine versöhnliche Fehlerquote von 5,9 Prozent. Doch diese Ausnahme zu setzen, ist ein typisches Herdenphänomen: Das unvorhergesehene Ereignis wird als unvorhersehbar bezeichnet. Der schwarze Schwan wird als "Ausreißer" einfach ignoriert. Dabei war die Wahl 2005 womöglich gar kein schwarzer Schwan, denn wie wir in einem späteren Beitrag zeigen werden gibt es Hinweise darauf, dass der in den Umfragen gemessene Vorsprung von Schwarz-Gelb so in Wirklichkeit nie existiert hat!
Aufschlussreich ist daher der Vergleich mit der naiven Prognose: Sie lag 2005 mit einer Abweichung von 3,0 Punkten nur knapp oberhalb des Werts von Forsa (2,8), selbst die „beste“ Prognose der Forschungsgruppe Wahlen (2,1) konnte sich nicht wirklich absetzen.
