Seit vielen Jahren evaluiere ich in Deutschland und weltweit Programme von Menschenrechts-, Friedens-, Gender- und Bildungsorganisationen. Meine Evaluationen berücksichtigen i.d.R. die Kriterien der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD-DAC)
- Relevanz (Wie wichtig ist das Programm?)
- Effektivität (Wurden die Programmziele erreicht?)
- Effizienz (Hätten mit den gleichen Mitteln weitere Wirkungen erzielt werden können?)
- Wirkung (Welche erwarteten und unerwarteten Wirkungen gibt es? Sind auch negative Wirkungen festzustellen?)
- Nachhaltigkeit (Haben die erzielten Wirkungen auch in Zukunft Bestand?)
- Koordination, Komplementarität und Kohärenz (Ist das Projekt / Programm mit anderen Organisationen und Maßnahmen gut abgestimmt?)
Zudem ist die Frage nach der Mitwirkung von Frauen und Männern am Programm und dessen Auswirkungen auf die unterschiedlichen Geschlechter immer Teil der Evaluation.
In den Impact Surveys fokussiere ich auf die Wirkungen (outcomes und impacts). Dies beinhaltet die Suche nach den beiden Hauptaspekten
- Beschreibung oder Messung der beobachteten Veränderung und
- Zuordnung der beobachteten Veränderung zu den Interventionen des Projektes.
Das methodische Vorgehen passe ich von Fall zu Fall an. In der Regel nutze ich die „Tiny Tools“ von NGO-IDEAs, um die Outcomes und Wirkungen zusammen mit den Betroffenen zu beurteilen.
Empfehlungen zielen dann darauf ab,
- positive Wirkungen zu verstärken
- negative Wirkungen zu reduzieren oder rückgängig zu machen.
Das kann auch die Beibehaltung auch des Status Quo implizieren. Die Referenzfrage ist dann kontrafaktisch: „Wie wäre die Situation, wenn es keine Intervention gegeben hätte?“
Selbstverständlich beachte ich bei den Evaluierungen und den Wirkungsstudien die Evaluationsprinzipien, an denen sich die OECD-Mitgliedsländer orientieren sowie die Standards der Deutschen Gesellschaft für Evaluation:
- Unparteilichkeit und Unabhängigkeit
- Glaubwürdigkeit, zum Beispiel durch Transparenz des Evaluierungsprozesses und der eigenen Haltung, Dokumentation der gewählten Methoden und der Evaluierungsergebnisse
- Nützlichkeit der Evaluierung, unter anderem durch die Ausarbeitung angemessener Empfehlungen
- Partizipation der relevanten Stakeholder
- Durchführbarkeit und Praktikabilität
- Fairness und Genauigkeit.