Basierend auf einer Analyse von 81 Evaluationsstudien forschungs- und innovationspolitischer Maßnahmen und Instrumente, die im Zeitraum 2009 bis 2023 vom Bundesministerium für Bildung und Forschung (BMBF) und Bundesministerium für Wirtschaft und Klimaschutz (BMWK) in Auftrag gegeben wurden, kommt das aktuelle Gutachten der Expertenkommission Forschung und Innovation (EFI) zu der Schlussfolgerung, dass das Gros der untersuchten Studien den methodologischen Standard für Kausalanalysen der Maßnahmeneffekte vermissen lässt und somit das methodische Potenzial in der Evaluationspraxis nicht ausgeschöpft werde. Entsprechend wird die Bundesregierung aufgefordert, Kausalanalysen stärker als bisher im Design von Fördermaßnahmen der Forschungs- und Innovationspolitik (FuI-Politik), der Umsetzung sowie im Hinblick auf die Leistungsbeschreibungen von Evaluationen zu berücksichtigen. Damit könne Politiklernen in der FuI-Politik insgesamt gestärkt werden, um insbesondere Fragen zur Effektivität und Effizienz von Maßnahmen bewerten zu können und damit die Wissensbasis von Entscheidungsträgern in Politik und Verwaltung auszubauen (vgl. EFI 2024: A2).

Das Gutachten thematisiert zahlreiche kritische Facetten der Evaluationspraxis, die das Fraunhofer ISI vor dem Hintergrund seiner langjährigen Erfahrungen mit den unterschiedlichsten Formen von Evaluationen (u.a. ex-ante-Evaluationen, formative und summative Evaluationen, Wirkungsanalysen) grundsätzlich teilt und in der kritischen Reflexion des eigenen Tuns und des Untersuchungsgegenstandes »FuI-Politik« in diversen Veröffentlichungen und entsprechenden Diskursen regelmäßig aufgreift. Hierzu zählen im Wesentlichen die eingeschränkte Verfügbarkeit und Qualität von Daten (teilweise bedingt durch geringe Fallzahlen in der untersuchten Gruppe und analog in möglichen Kontrollgruppen sowie bedingt durch die große Heterogenität in den untersuchten Gruppen), die damit im Zusammenhang stehende Einschränkung der Nutzung spezifischer Methoden und die langen Zeiträume, bis Effekte auftreten und beobachtbar sind. Eine Studie von Innovate UK (2018: 10) betont darüber hinaus das Problem der Attribution von Wirkungen einzelner Fördermaßnahmen auf der Ebene von Unternehmen, speziell im Falle der Inanspruchnahme mehrerer Programme parallel oder zeitversetzt.

Gerade die moderne FuI-Politik zeichnet sich nicht nur durch die Orchestrierung von Fördermaßnahmen über verschiedene Akteursgruppen hinweg aus, sondern auch im Hinblick auf den unternehmerischen Innovationsprozess an sich, der typischerweise durch unterschiedliche Instrumente adressiert wird. Evaluationsseitig wird die »Contribution analysis« diesem Umstand gerecht, indem basierend auf Programmtheorien und daraus abgeleiteten Wirkungsmodellen auch Kontextfaktoren, Rahmenbedingungen und nicht-intendierte Effekte berücksichtigt werden, die über verschiedene methodische Zugänge bzw. Analysetechniken analysiert werden.

Differenzierter als im EFI-Gutachten ist die Verengung des Politiklernens auf Kausalanalysen von Maßnahmeneffekten zu sehen und des ausschließlichen Einsatzes von randomisierten, quasi-experimentellen Methodendesigns – speziell vor dem Hintergrund der oben genannten Hemmnisse. Dies greift aus unserer Sicht deutlich zu kurz und entspricht darüber hinaus nicht dem aktuellen Stand der internationalen Evaluationsforschung und –praxis. In der Impact-Forschung dominiert zunehmend die Ansicht, dass eine Attribution des von einer Maßnahme bzw. Aktivität ausgehenden Impulses hin zu einer langfristigen und über die Geförderten hinausgehenden Wirkung kaum möglich ist und daher alternativ solche Faktoren in den Vordergrund rücken, die das Auftreten einer entsprechenden Wirkung wahrscheinlich machen. Statt Attribution wird dann folgerichtig eher von »contribution« gesprochen.

Zudem finden sich im Instrumentarium der qualitativen Sozialforschung durchaus weitere Methoden als die im Gutachten genannten, die kausale Schlussfolgerungen zum analysierten Gegenstand – in diesem Fall das zu evaluierende Projekt oder Programm – zulassen. Insbesondere der in der Evaluationspraxis weit verbreitete Ansatz, verschiedene Methoden innerhalb einer Evaluationsstudie einzusetzen (Triangulation), sowie die Nutzung von »Theory of Changes« helfen, der Attributionsproblematik zu begegnen.

Darüber hinaus besteht in der Evaluationsforschung seit geraumer Zeit die Ansicht, sich stärker auf die Analyse von Kontextfaktoren und Rahmenbedingungen zu konzentrieren, die sich förderlich oder hinderlich auf Zielerreichung von (staatlichen) Interventionen und die Wirkungsentfaltung auswirken. Gerade der Einfluss von Rahmenbedingungen ist von zentraler Bedeutung für das Politiklernen und in der Regel von hohem Erkenntnisinteresse für Fördermittelgeber. Aufgrund der häufig individuellen Rahmenbedingungen und schwierigen Vergleichbarkeit von Ausgangsbedingungen erfolgt eine solche Analyse in der Regel gerade nicht über experimentelle Designs bzw. quantitative Erhebungen, sondern zumeist über den Einsatz qualitativer Methoden der Datenerhebung und -analyse.

Internationale Beispiele von Evaluationen im Bereich FuI zeigen, dass prozessunterstützende Funktionen in der Implementierungsphase von Programmen eine zunehmend wichtige Rolle einnehmen. Politiklernen ist insofern nicht ausschließlich auf die Fördergeber, also die Programmeigentümer ausgerichtet – speziell in Zeiten, in denen sich die Fördermaßnahmen der Innovationspolitik immer stärker auf Missionen und gesellschaftliche Ziele ausrichten und somit die Komplexität zu- und die direkte Steuerungsfähigkeit abnehmen. Die kontinuierliche Unterstützung von geförderten Vorhaben/Akteuren/Zuwendungsempfängern in der Umsetzungsphase, die Initiierung von Erfahrungsaustauschen und die Systematisierung von Erfahrungswissen im Kontext der Umsetzung von Fördervorhaben mit dem Ziel des gegenseitigen Lernens und dem Wunsch einer reflexiven Innovationspolitik, erscheinen als zunehmend relevante Aufgaben der Evaluation. Diese Art des Politiklernens im Prozess bleibt bei den im EFI-Gutachten geforderten Kausalanalysen a priori außen vor, da sich Outputs und Wirkungen einer Maßnahme in der Regel erst zeitversetzt, oftmals erst (lange) nach Beendigung der Fördermaßnahme feststellen lassen. Die Forderung des EFI-Gutachtens hingegen, Transparenz durch Veröffentlichung der Evaluationsstudien herzustellen, stellt aus unserer Sicht einen wesentlich effektiveren Beitrag zum Politiklernen dar.

Die Generierung empirischer Evidenz bei Evaluationen unterschiedlicher Typen in Form qualitativer Ansätze zählt ebenso wie quantitative Verfahren der Kausalanalysen zu einem fest etablierten Standard in den empirischen Wirtschafts- und Sozialwissenschaften. Nicht zuletzt aufgrund der seit den 1990er Jahren vermehrt umgesetzten Multi-Akteurs- und Multi-Maßnahmen-Programme zum Aus- und Aufbau systemischer Wettbewerbsfähigkeit und aktuell bedingt durch die weitere Zunahme komplexer Fördermaßnahmen (vgl. SPRIN-D, DATI, FONA etc.), erscheint die Verkürzung auf reine Wirtschaftlichkeitsbetrachtungen im Hinblick auf die anstehenden technologischen und gesellschaftlichen Herausforderungen, als auch bezogen auf die Adressierung neuer Innovationsakteure und -themen und schließlich mit Blick auf zunehmend ausdifferenziertere Fördermaßnahmen nicht angemessen.

Das EFI-Gutachten zur Weiterentwicklung der Evaluationspraxis ist für den innovationspolitischen Diskurs insofern wichtig, als es das zentrale Thema des Nutzens von Evaluationen aufgreift, gleichwohl aber einen verengten Blick auf den Untersuchungsgegenstand einnimmt und zentrale Erkenntnisse aus der aktuellen Innovations- und Wirkungsforschung außen vorlässt. Wünschenswert gewesen wäre nicht nur eine differenzierte Ansprache der Evaluationscommunity, sondern auch die genauere Betrachtung der in den Evaluationsstudien evaluierten Programme, beispielsweise im Hinblick auf Ziele, Ansätze, Programstruktur, (intendierte) Effekte und damit einhergehend die Frage nach der grundsätzlichen Eignung für die geforderten Kausalanalysen, was quasi-experimentelle Ansätze einschließt.

Die undifferenzierte Reduzierung der argumentativen Stoßrichtung auf die Annahme, dass jedwede staatliche Finanzierung von FuI zu eindeutig messbaren und zurechenbaren Wirkungen führt, würde im Ergebnis dazu führen, dass die FuI-Politik zukünftig verstärkt auf kleinteilige Programme mit beschränkten Projektvolumina und einfach quantitativ messbaren Effekten setzt, bei denen die geforderten Ansätze ggf. Sinn machen. Die langfristig für den Ausbau systemischer Wettbewerbsfähigkeit viel wichtigeren Effekte der »behavioural additionality« und Strukturveränderungen würden hingegen wegfallen.

Unsere Stellungnahme ist als Plädoyer zu verstehen, die zunehmende Komplexität staatlicher FuI-Politik, den Stand der Evaluationsforschung in der Breite und die verschiedenen Funktionen, die Maßnahmen- und Programmevaluation faktisch ausfüllen, auch in Zukunft angemessen zu berücksichtigen.