Was Wirkungsmessung wirklich misst

Während die Entwicklungsagenturen DEZA (Direktion für Entwicklung und Zusammenarbeit) und SECO (Staatssekretariat für Wirtschaft) gern ihre Erfolge betonen, nehmen Parlament und Medien regelmässig aktuelle Krisenherde, wie etwa Afghanistan, zum Anlass, um die fehlende Wirkung der IZA zu bemängeln. Aber wie wird die Wirksamkeit der internationalen Zusammenarbeit (IZA) überhaupt gemessen, und macht die aktuelle Art der Wirkungsmessung eigentlich Sinn? Letztere Frage stellte sich auch die Geschäftsprüfungskommission (GPK) des Ständerats. Sie beauftragte die Parlamentarische Verwaltungskontrolle (PVK) mit einer Untersuchung der Instrumente der Wirksamkeitsmessung der IZA, wobei die Studie auf das am häufigsten verwendete Instrument – die Evaluationen – fokussierte. Der Bericht der PVK sowie die Stellungnahme des Bundesrats liegen nun vor und zeigen vor allem eins: Während Evaluationen als Steuerungsinstrumente nützlich sind, taugen sie wenig zur Wirkungsmessung.

Gegenüber dem Parlament wird die Wirksamkeit der IZA anhand von Erfolgsquoten ausgewiesen, wobei sowohl die DEZA wie auch das SECO überdurchschnittlich hohe Erfolgsquoten von über 80% aufweisen. Diese Erfolgsquoten basieren auf einem Zusammenzug externer projektspezifischer Evaluationen. Wie die PVK aufzeigt, ist dies aus verschiedenen Gründen problematisch: Die Qualität der einzelnen Evaluationen fällt unterschiedlich aus und es gibt keine einheitliche Methodik; die meisten Evaluationen werden während der Laufzeit der Projekte durchgeführt und sagen somit nichts über die nachhaltige Wirkung der Projekte aus; die Empfehlungen der einzelnen Evaluationen werden als mangelhaft eingestuft und das Follow-up seitens DEZA, SECO und der Abteilung Frieden und Menschenrechte (AFM) des EDA ist nicht immer gegeben; zudem nehmen die einzelnen Evaluationen kaum Bezug auf die übergeordneten Ziele der IZA.

Aus diesen Ergebnissen nun zu folgern, die IZA sei nicht wirksam, wäre aber falsch – wie auch die GPK des Ständerats klar festhält. Sie geht «grundsätzlich davon aus, dass die Schweiz viele ihrer Ziele in der IZA erreicht und nutzbringende Projekte durchführt». Sie kritisiert aber «die bisherige Praxis des Bundesrats, mittels fragwürdiger Erfolgsquoten Rechenschaft über die Wirksamkeit der IZA abzulegen». Auch geht es der GPK nicht darum, Evaluationen per se abzuschaffen oder als nutzlos zu erklären, da sie als interne Steuerungsinstrumente durchaus sinnvoll sein können, wenn sie denn sinnvoll konzipiert und intern auch tatsächlich zur Steuerung, das heisst zur Anpassung von Projekten, genutzt werden.

Der Trend zu evidenzbasierten Ansätzen und Wirkungsanalysen

Neben der kritischen Evaluation der existierenden Praxis der Wirkungsmessung wird nun auch in der Schweiz der Ruf nach evidenzbasierten Ansätzen und Wirkungsanalysen lauter. Zum einen bedeutet dies, dass wissenschaftliche Evidenz vermehrt Einzug findet in die Ausgestaltung und Konzipierung neuer Projekte, zum anderen sollen vermehrt wissenschaftliche Wirkungsanalysen durchgeführt werden. Diese wiederum beziehen sich vor allem auf so genannte randomisierte Feldstudien (randomized control trials – RCTs), welche in den letzten Jahren durch die Arbeit der Nobelpreisträger:innen Esther Duflo und Abhijit Banerjee massiv an Aufwind erhalten haben. Das Prinzip ist einfach: Bei der Projektkonzipierung werden nach dem Zufallsprinzip zwei Gruppen geformt – eine, welche vom Entwicklungsprojekt profitiert, eine andere, welche nicht davon profitiert. Als Beispiel: Mehrere Schulen in Kenia werden per Zufallsprinzip ausgewählt – in der Hälfte der Schulen werden Schulbücher an die Kinder verteilt, die Kinder der Kontrollgruppe bekommen keine Schulbücher. Vor und nach der Verteilung der Schulbücher werden sowohl die Schulpräsenz wie auch die Noten aller Kinder erfasst. Nach einem Jahr werden wiederum dieselben Daten erhoben. Weist die Gruppe, welche Schulbücher erhalten hat, tatsächlich eine höhere Schulpräsenz und bessere Noten auf, lässt sich daraus schliessen, dass das Projekt gewirkt hat und man es in anderen Kontexten replizieren kann. So zumindest die Theorie.

In der Praxis stellen sich aber verschiedene Fragen und Dilemmata:

1. Heutzutage sind die meisten IZA-Projekte weitaus komplexer; sie beschränken sich nicht auf die Verteilung von Schulbüchern oder Medikamenten. Gerade in fragilen Kontexten spielen viele Faktoren zusammen und der Kontext kann sich schnell ändern, was eine rasche Anpassung von Projekten erfordert. Dies lässt sich kaum mit der experimentellen Logik wissenschaftlicher Wirkungsanalysen vereinbaren.
2. Die moderne IZA verschreibt sich Kriterien wie Partizipation und Lokalisierung. Das heisst, viele IZA-Projekte werden heute von lokalen Organisationen durchgeführt, welche auch an der Erarbeitung der Projekte mitwirken. Im besten Fall sollte auch die Bevölkerung, welche von den Projekten profitiert, ein Mitspracherecht haben. Auch dies passt nicht in die Logik der Wirkungsanalysen, welche die Menschen eher als Studienobjekte denn als aktive Personen betrachtet.
3. Anknüpfend an Punkt 2 stellen sich bei randomisierten Feldstudien auch ethische Fragen, da viele von Armut und Diskriminierung betroffene Menschen bewusst in Experimente einbezogen werden, ohne davon zu profitieren.

Plädoyer für ein Umdenken

Wo bleibt nun also die Lösung? Sowohl Steuerzahler:innen wie auch Entwicklungsorganisationen und von Armut betroffene Menschen haben ein Interesse daran, dass die IZA wirkt. Aber brauchen wir dazu wirklich immer mehr Zahlen und Statistiken? Die aktuelle Praxis, welche oft auf starren Bürokratien, Planungsinstrumenten und Evaluationen basiert, sagt wenig aus über den tatsächlichen Mehrwert der IZA. Und randomisierte Feldstudien eignen sich im besten Fall für einen kleinen Teil an IZA-Projekten.

Das Parlament und die Öffentlichkeit verdienen vor allem eins: eine ehrliche Debatte zur IZA – zu den Erfolgen wie auch zu den Herausforderungen. Die internationale Zusammenarbeit der Schweiz weist viele Erfolge auf, die durch einzelne Projekte wie auch durch wissenschaftliche Studien vielfach belegt sind. Aber um Wirkung zu entfalten, braucht es oft auch Zeit. Gerade im Bereich der Rechtsstaatlichkeit oder der Stärkung der Zivilgesellschaft vor Ort – beides grundlegende Faktoren für eine nachhaltige Entwicklung – ist eine sofortige Wirkung nicht immer klar erreichbar. Diese kann darüber hinaus gerade in Krisenzeiten schnell wieder zunichte gemacht werden, wie etwa das Beispiel Afghanistan zeigt.

Abgesehen von besserer Kommunikation und Öffentlichkeitsarbeit kann die Praxis und auch die Wirkung der IZA durchaus profitieren von einem besseren Einbezug existierender und der Förderung eigener wissenschaftlicher Studien – dies vor allem auf der Ebene der thematischen und Länderstrategien. In der Projektarbeit selbst braucht es aber eher mehr Flexibilität anstatt Rigidität, wobei es wichtig ist, dass alle Projekte eine klare Wirkungsorientierung aufweisen. Das bedeutet konkret, dass gemeinsam mit lokalen Partnern Zielvorgaben erarbeitet werden, die sich klar an den im Gesetz festgeschriebenen Zielen orientieren, d. h. der Linderung von Not und Armut, der Achtung der Menschenrechte und der Förderung der Demokratie sowie dem friedlichen Zusammenleben der Völker und der Erhaltung der natürlichen Lebensgrundlagen (Art. 54 Abs. 2 BV), wie auch an den konkreten Zielen der IZA-Strategie. Anstelle starrer Logframes für die Projektimplementierung sollten Massnahmen (und wenn nötig auch die Ziele) jederzeit angepasst werden können, wenn sich herausstellt, dass die angedachten Aktivitäten doch nicht sinnvoll sind oder der Kontext sich ändert. Dies setzt ein kontinuierliches Monitoring voraus, welches durchaus von den Implementierungspartnern übernommen werden kann, zumal die Partner vor Ort meistens am besten wissen, wann welche Anpassungen nötig sind. Evaluationen nach dem Abschluss von Projekten können zudem hilfreich sein, um festzustellen, ob und wie die gesetzten Ziele erreicht wurden. Allerdings macht es Sinn – wie der Bericht der PVK auch feststellt –, diese Evaluationen departementsübergreifend nach klaren Kriterien zu gestalten.