SIPER (Science and Innovation Policy Evaluation Repository): Entwicklung von Modellen zur automatisierten Kodierung von Evaluationsberichten

SIPER ist ein Repositorium forschungs- und innovationspolitischer Evaluationen. Aktuell beinhaltet die Datenbank etwa 900 Evaluierungsstudien. Das Projekt zielt darauf ab, Evaluationsberichte anhand von Hauptbewertungsdimensionen und Fördereigenschaften einzuordnen. Bisher haben die Forschenden diese Einordnung manuell ausgeführt.

Ziel des ISDEC-SIPER-Vorhabens ist, Möglichkeiten und Einschränkungen der automatisierten Inhaltsanalyse von Evaluationsberichten zu prüfen. Die Herausforderung liegt in der Natur dieses Dokumententyps: Evaluationsberichte unterscheiden sich stark bezüglich ihrer Struktur, ihrer Sprache und ihres Inhalts (insbesondere im Hinblick auf die angesprochenen Bewertungsdimensionen), und es gibt keine einheitliche Berichterstattungsstruktur.

Die nachfolgenden Fragen leiten die Forschung:

• Können Evaluationsberichte durch maschinelle Lernverfahren eingeordnet werden bezüglich
  
  • a) der Eigenschaften der analysierten Politikmaßnahme (Zielsetzungen, Zielgruppen, Förderinstrumente)
    
  • b) der Eigenschaften der Evaluierung (Zweck und Zeitpunkt der Evaluation, Evaluierungskriterien, verwendete Datensammlungs- und Datenverarbeitungsmethoden)?
    
• Inwieweit kann man die Qualität der Evaluationsstudie beurteilen (hinsichtlich Evaluierungsstandards)?
  
• Inwieweit kann man die Performanz der evaluierten politischen Maßnahmen abschätzen?