La mesure de l’efficacité à l’épreuve

L’efficacité de la coopération internationale (CI) est un sujet récurrent dans les médias et au Parlement. Alors que la Direction du Développement et de la Coopération (DDC) et le Secrétariat d’Etat à l’économie (SECO) aiment s’enorgueillir de leurs succès, le Parlement et les médias prennent régulièrement prétexte des foyers de crise actuels, comme l’Afghanistan, pour critiquer le manque d’efficacité de la CI. Mais comment mesure-t-on l’efficacité de la CI ? Et la manière actuelle de mesurer l’efficacité a-t-elle un sens ? La Commission de gestion (CdG) du Conseil des Etats s’est également posé cette dernière question. Elle a chargé le Contrôle parlementaire de l’administration (CPA) d’étudier les instruments de mesure de l’efficacité de la CI, en se concentrant sur l’instrument le plus fréquemment utilisé, celui des évaluations. Les rapports du CPA et du Conseil fédéral sont désormais disponibles et mettent surtout une chose en évidence : si les évaluations sont utiles comme instruments de pilotage, elles ne sont guère adaptées à la mesure de l’efficacité.

L’efficacité de la CI est présentée au Parlement à l’appui de taux de réussite, la DDC et le SECO affichant des taux supérieurs à la moyenne (plus de 80 %). Ces taux se basent sur un éventail d’évaluations externes spécifiques aux projets. Comme l’indique le CPA, cela pose problème pour diverses raisons : la qualité des différentes évaluations est variable, et il n’y a pas de méthodologie unifiée ; la plupart des évaluations sont réalisées pendant la durée de vie des projets et ne disent donc rien sur leurs effets à long terme ; les recommandations des différentes évaluations sont jugées insuffisantes, et le suivi (follow-up) de la part de la DDC, du SECO et de la Division Paix et droits de l’homme (DPDH) n’est pas toujours assuré ; en outre, les différentes évaluations ne se réfèrent guère aux objectifs supérieurs de la CI.

Mais il serait faux de déduire de ces résultats que la CI est inefficace – comme le constate sans ambiguïté la CdG du Conseil des Etats. Elle part fondamentalement « du principe que la Suisse atteint bon nombre de ses objectifs dans la CI et mène des projets utiles ». Mais elle critique « la pratique actuelle du Conseil fédéral qui consiste à rendre compte de l’efficacité de la CI au public et au Parlement en leur présentant des taux de réussite discutables ». Il ne s’agit pas non plus pour la CdG de supprimer les évaluations en soi ou de les déclarer vaines, car elles peuvent être tout à fait utiles en tant qu’instruments de pilotage internes, autrement dit pour adapter les projets.

La tendance aux approches étayées sur des preuves et aux analyses d'efficacité

Parallèlement à l’évaluation critique des pratiques existantes en matière de mesure de l’efficacité, la demande d’approches et d’analyses de l’efficacité fondées sur des preuves se fait de plus en plus pressante en Suisse également. Cela signifie, d’une part, que les preuves scientifiques sont toujours davantage prises en compte dans la conception et le développement de nouveaux projets et, d’autre part, qu’il faut réaliser plus d’analyses d’efficacité scientifiques. Celles-ci se réfèrent avant tout à des essais contrôlés randomisés (randomized control trials, RCT), qui ont pris un essor considérable ces dernières années grâce au travail des lauréats du prix Nobel Esther Duflo et Abhijit Banerjee. Le principe est simple : lors de la conception du projet, deux groupes sont formés au hasard – l’un qui profite du projet de développement, l’autre qui n’en bénéficie pas. Par exemple : plusieurs écoles au Kenya sont choisies au hasard – dans la moitié d’entre elles, des manuels scolaires sont distribués aux enfants, les enfants du groupe de contrôle n’en reçoivent pas. Avant et après la distribution de ces manuels, la présence à l’école ainsi que les notes de tous les élèves sont enregistrées. Au bout d’un an, les mêmes données sont à nouveau collectées. Si le groupe qui a reçu des manuels scolaires est effectivement plus souvent à l’école et présente de meilleures notes, on peut en conclure que le projet s’est montré efficace et qu’il peut être reproduit dans d’autres contextes. Telle est du moins la théorie.

Dans la pratique, divers dilemmes et questions se posent toutefois :

1. Aujourd'hui, la plupart des projets de la CI sont autrement plus complexes ; ils ne se limitent pas à la distribution de manuels scolaires ou de médicaments. Dans les contextes fragiles notamment, de nombreux facteurs interagissent et le contexte peut vite changer, ce qui exige une adaptation rapide des projets. Cette réalité est difficilement conciliable avec la logique expérimentale des analyses d'impact scientifiques.
2. La CI moderne s’impose des critères comme la participation et la localisation. Cela signifie que de nombreux projets de la CI sont aujourd'hui réalisés par des organisations locales qui participent également à l'élaboration des projets. Au mieux, la population qui profite des projets devrait également avoir son mot à dire. Cela ne correspond pas non plus à la logique des analyses d’impact, qui considèrent les personnes plutôt comme des objets d'étude que comme des gens actifs.
3. Dans le prolongement du point 2, les études de terrain randomisées soulèvent aussi des questions éthiques, car de nombreuses personnes en situation de pauvreté et discriminées sont délibérément impliquées dans des expériences sans en tirer profit.

Plaidoyer pour un changement de mentalité

Quelle est donc la solution ? Tant les contribuables que les organisations de développement et les personnes en situation de pauvreté ont intérêt à ce que la CI soit efficace. Mais avons-nous vraiment besoin de toujours plus de chiffres et de statistiques ? Souvent étayée sur des bureaucraties rigides, des instruments de planification et des évaluations, la pratique actuelle en dit peu sur la valeur ajoutée réelle de la CI. Et les études de terrain randomisées ne conviennent, dans le meilleur des cas, qu'à une petite partie des projets de la CI.

Le Parlement et le public méritent avant tout un débat honnête sur la CI — sur les succès remportés comme sur les défis auxquels elle est confrontée. La CI de la Suisse a de nombreuses réussites à faire valoir. Elles sont souvent attestées par des projets individuels et par des études scientifiques. Mais pour déployer des effets, il faut souvent du temps. Dans le domaine de l'Etat de droit ou du renforcement de la société civile sur place — deux facteurs clés pour un développement durable —, il n'est pas toujours possible d'obtenir un effet immédiat. Ce dernier peut en outre être rapidement réduit à néant, surtout en période de crise, comme le montre l'exemple de l'Afghanistan.

Outre une meilleure communication et de meilleures relations publiques, la pratique et l'efficacité de la CI peuvent tout à fait profiter d'une meilleure prise en compte des études scientifiques existantes et de la promotion de ses propres études, surtout au niveau des stratégies thématiques et nationales. Dans le travail de projet lui-même, il faut plutôt davantage de flexibilité que de rigidité, et il est crucial que tous les projets soient clairement axés sur l'efficacité. Concrètement, cela signifie que des objectifs sont élaborés en collaboration avec des partenaires locaux et qu'ils s'orientent clairement vers les objectifs énoncés dans la loi, à savoir soulager les populations dans le besoin, lutter contre la pauvreté et promouvoir les droits de l’homme, la démocratie, la coexistence pacifique des peuples et la préservation des ressources naturelles (art. 54 al. 2 Cst.), tout comme vers les objectifs concrets de la stratégie de la CI. Au lieu de cadres logiques rigides pour la mise en œuvre des projets, les mesures (et si nécessaire les objectifs) devraient pouvoir être adaptées à tout moment s'il s'avère que celles envisagées ne sont finalement pas appropriées ou que le contexte change. Cela suppose un suivi continu, qui peut très bien être assumé par les partenaires en charge de la mise en œuvre, d'autant plus que ce sont généralement les partenaires sur place qui savent le mieux quand des adaptations sont nécessaires et lesquelles. Les évaluations après l'achèvement des projets peuvent en outre être utiles pour déterminer si et comment les objectifs fixés ont été atteints. Mais, comme le constate également le rapport du CPA, il est judicieux de concevoir ces évaluations de manière interdépartementale selon des critères clairs.