Evaluation der Wissenschaftsförderung: „Man muss die richtigen Fragen stellen“
privat
Bea Knippenberg ist Leiterin des Referats „Monitoring, Evaluation und Studien“ im DAAD
Evaluation von Wissenschaftsförderung ist in Deutschland noch relativ neu. Seit den ersten Evaluationen auf diesem Gebiet Ende der 1990er-Jahre hat sich viel getan: Die Bewertung der Ziele von Förderinstrumenten und der Nachhaltigkeit ihrer Wirkung gehört heute zur guten Praxis der Förderorganisationen. Diese zunehmende Professionalisierung beobachtet auch Bea Knippenberg, Leiterin des Referats „Monitoring, Evaluation und Studien“ im DAAD. Erst vor Kurzem hat sie an der Bonner Tagung „Evaluation der Förderung von Wissenschaft und Forschung – Rückblick, Einblick, Ausblick“ teilgenommen. Im Interview spricht sie über Nutzen und Grenzen der Evaluation.
Frau Knippenberg, als Leiterin des DAAD-Referats „Monitoring, Evaluation und Studien“ beschäftigen Sie sich täglich mit der Analyse von Zahlen und Statistiken. Was sind die Schwerpunkte Ihrer Arbeit im Bereich der Evaluation?
Bea Knippenberg: Bei uns im DAAD besteht Evaluation aus drei Ebenen. Da sind zunächst die drei großen Geldgeber, die Bundesministerien: das Auswärtige Amt (AA), das Bundesministerium für Bildung und Forschung (BMBF) und das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ). Ihnen gegenüber legen wir durch Evaluation dar, wofür wir ihre Gelder verwenden. Zudem gibt es die Programmebene, auf der überprüft wird, ob die Ziele eines Programms geeignet und sinnvoll sind – zum Beispiel, ob das Programm regionalspezifische Herausforderungen anspricht. Auf der dritten Ebene, der Projektebene, überprüfen wir, inwieweit die vorgegebenen Ziele mit den von unseren Zuwendungsempfängern oder uns selbst durchgeführten Projekten tatsächlich erreicht werden.
Welche Methoden wenden Sie an?
Die gängigsten Methoden sind Befragungen, Auswertungen von Statistiken und – auf der Projektebene – auch die Begehung einer Hochschule beziehungsweise eines Instituts. Gemäß unseren eigenen Ansprüchen an Transparenz und Erfolgskontrolle arbeiten wir auf allen drei Ebenen mit externen Instituten zusammen. Auch im Bereich Monitoring überprüfen wir die DAAD-Programme und beobachten ihre Entwicklung.
Welchen Nutzen bringt die Evaluation von Wissenschaftsförderung dem DAAD?
Evaluation und Qualitätsmanagement gehören zum Selbstverständnis des DAAD. Unsere Geldgeber haben ein berechtigtes Interesse daran zu erfahren, wofür ihr Geld ausgegeben wird und was die einzelnen Maßnahmen bewirken. Natürlich ist es auch für den DAAD selbst sehr wichtig zu wissen, ob ein Programm quantitativ und qualitativ ein Erfolg ist, ob es sich lohnt, ein Programm erneut aufzulegen oder ob man es fortentwickeln und optimieren muss. Ein grundsätzliches Problem bei Evaluationen im Bildungsbereich ist, dass sich bewertbare Ergebnisse häufig erst langfristig abzeichnen. Wenn man zum Beispiel einen neuen Studiengang auflegt, zeigt sich erst Jahre später, ob die Absolventen dieses Studiengangs erfolgreich auf dem Arbeitsmarkt Fuß fassen konnten.
Welche Grenzen und Risiken gibt es darüber hinaus beim Thema Evaluation?
Es besteht natürlich immer die Gefahr der Überevaluierung, dass man etwa die Ansprechpartner mit zu viel Dokumentationspflichten belastet. Der finanzielle und personelle Aufwand einer Programm-Evaluation sollte immer in einer vernünftigen Relation zu den Kosten dieses Programms stehen. Man muss die richtigen Fragen stellen. Wichtig für eine erfolgreiche Evaluation sind daher eine gute Methodik und ein gutes Fragen-Design. Hilfreich ist auch die Strategie der Triangulation: Auf ein und dasselbe Phänomen werden verschiedene Methoden angewandt, Daten aus unterschiedlichen Bereichen miteinander kombiniert. Das bedeutet zum Beispiel nicht nur Beobachtung als Mittel einzusetzen, sondern auch Literaturrecherche und Dokumentenanalyse. Grundsätzlich erzielen wir deutlich bessere Ergebnisse, wenn wir die Abfrage vorher mit Blick auf Punkte strukturieren, die sich etwa aus dem konkreten Fall der jeweiligen Hochschule ergeben. Ohne strukturierte, konkrete Vorgaben erhält man sonst Prosatexte, die nur wenig Aussagekraft haben.
Gab es auf der Tagung „Evaluation der Förderung von Wissenschaft und Forschung“, die gemeinsam von DAAD, Alexander von Humboldt-Stiftung (AvH), Deutscher Forschungsgemeinschaft (DFG) und VolkswagenStiftung organisiert wurde, ein Thema, das Sie mit Blick auf die Arbeit des DAAD hervorheben würden?
Wir haben intensiv über das Thema der Vergleichsgruppen diskutiert; das ist geradezu ein Evergreen der Evaluation. Wenn ich eine valide Aussage über die Wirkung einer Maßnahme treffen will, kann es zielführender sein, kontrafaktisch vorzugehen, also zu fragen: Was wäre passiert, wenn es diese Maßnahme nicht gegeben hätte? Für die Messung einer Veränderung empfiehlt es sich natürlich, Daten zur Ausgangssituation zu haben. Die Veränderungen an einer Hochschule lassen sich ziemlich gut untersuchen, wenn man auf solches Material zurückgreifen kann. Man ist dann aber auch immer darauf angewiesen, dass die Hochschulen ihr Datenmanagement professionalisiert haben – es gibt aber vereinzelt bereits entsprechende Datenbeauftragte.
Interview: Claudia Wallendorf (19. Juli 2016)