Les gouvernements et les autres bailleurs de fonds s'attendent de plus en plus à ce que les ONG, les organisations de volontaires et les autres organisations qui reçoivent des fonds utilisent le Suivi-Evaluation au cours/à la fin de leurs projets.
Les pratiques de suivi et d'évaluation permettent également
aux organisations et aux volontaires de vérifier qu'ils aident effectivement
les communautés avec lesquelles ils travaillent et, dans certains cas, de
résoudre tout problème avant la fin du projet.
Le S&E est donc conçu pour vous aider à apprendre, à
assurer la responsabilité et à démontrer l'efficacité ainsi que l'efficience.
Qu'est-ce que le suivi ?
Le suivi est "la collecte et l'analyse régulières
d'informations pour suivre les progrès par rapport aux plans établis et
vérifier la conformité aux normes établies" (FICR). Il s'agit en fait d'un
processus de vérification au fur et à mesure que vous avancez, pour vous assurer
que vous n'êtes pas en retard, que vous ne vous écartez pas du chemin ou que
vous ne faites pas de mal.
La bonne nouvelle, c'est que vous êtes certainement déjà
engagé dans le Suivi, même si vous ne le faites pas de manière formelle.
Vous effectuez probablement déjà des visites régulières sur
le terrain et avez des contacts réguliers par téléphone, Skype ou e-mail avec
vos partenaires. Vous pouvez utiliser ces visites et ces conversations pour
garder un œil sur le déroulement du processus de Suivi.
Comme vous pouvez le constater, il existe de nombreux types
de suivi. Mais vous ne devez pas vous préoccuper des distinctions entre les
formes de suivi et vous concentrer sur ce qui peut être utilement suivi.
Il y a deux principaux pièges à éviter :
- Le premier consiste à ne pas surveiller du tout ou à le faire d'une manière qui dépend entièrement de la mémoire à court terme et qui n'est donc jamais enregistrée.
- Le deuxième danger est de tout enregistrer et de finir par rassembler de vastes rames de données qui ne vous diront pas si vous atteignez ou non vos objectifs et faites une différence.
Lors de la conception de votre projet, essayez de réfléchir
à vos objectifs et à la manière de mesurer les progrès accomplis vers ces
objectifs. C'est ce progrès, ou l'absence de progrès, que vous surveillez.
Par exemple, lors de votre suivi, vous constatez que seuls
80 des 150 nourrissons prévus ont été vaccinés à la fin de la première année de
votre projet de trois ans. Cela devrait être un signal d'alarme mais, grâce à votre
processus de suivi, vous avez peut-être encore le temps de remettre votre
programme de vaccination sur les rails ou d'ajuster les attentes de votre
bailleur de fonds.
Types de
D'après la FICR, le suivi peut prendre différentes formes :
- Le suivi des résultats, qui permet de déterminer si un projet est sur la bonne voie pour atteindre les résultats escomptés (produits, effets, impact), par exemple, tous les enfants d'une communauté cible ont-ils été vaccinés ?
- Le suivi des processus (activités) permet de déterminer si les intrants et les ressources ont été utilisés efficacement. Par exemple, les bons médicaments ont-ils été livrés dans les délais à la bonne unité médicale ?
- Le contrôle de conformité vérifie le respect des réglementations, des exigences contractuelles, des lois et des normes éthiques. Par exemple, les équipements électriques donnés ont-ils été correctement testés ?
- Le contrôle du contexte (situation) permet de suivre l'environnement dans lequel le projet opère, en particulier dans la mesure où il présente un risque pour le projet. Par exemple, comment les troubles civils dans un village voisin peuvent-ils avoir un impact sur les résultats de votre projet ou vous amener à modifier les hypothèses sur lesquelles il est basé ?
- Le suivi financier se concentre sur les coûts et garantit que la mise en œuvre respecte le budget. Les uniformes scolaires ont-ils été achetés et livrés au prix prévu ?
- Le suivi organisationnel permet de suivre les aspects institutionnels de la mise en œuvre d'un projet : comment les partenaires du projet ont-ils travaillé ensemble et communiqué les uns avec les autres ?
- Le suivi des bénéficiaires permet de suivre la perception qu'ont les bénéficiaires d'un projet. Il comprend la satisfaction ou les plaintes à l'égard du projet et des partenaires. Quel bénéfice ont-ils perçu du creusement d'un puits dans le village ?
Qu'est-ce que l'Evaluation ?
Pour l'OCDE, l'évaluation est "une appréciation, aussi
systématique et objective que possible, d'un projet, d'un programme ou d'une
politique, en cours ou achevé, de sa conception, de sa mise en œuvre et de ses
résultats".
Le but est de déterminer la pertinence et la réalisation des
objectifs, l'efficience du développement, l'efficacité, l'impact et la
durabilité ".
Pour la FICR, il s'agit d'un "processus structuré
d'évaluation du succès d'un projet dans la réalisation de ses objectifs et de
réflexion sur les leçons apprises".
Pour nos besoins, l'Evaluation sera considérée comme
signifiant simplement : vérifier que vous faites (avez fait) la bonne chose et
que vous la faites (avez fait) correctement".
Une Evaluation est périodique, rétrospective et peut être
menée en interne ou par des évaluateurs externes indépendants.
Une distinction essentielle est faite entre les Evaluations formatives et sommatives. Les premières ont souvent lieu à mi-parcours d'un
projet/programme. Les secondes sont généralement menées à la fin d'un
projet/programme.
Lorsque le cuisinier goûte la soupe, c'est une évaluation
formative.
Quand les invités goûtent la soupe, c'est une évaluation
sommative.
Une Evaluation formative/à mi-parcours/de progrès cherche
donc à mesurer les progrès accomplis dans la réalisation des objectifs du
programme/projet. Les données peuvent aider à affiner le projet et contribuer à
une future évaluation sommative qui évalue le succès d'un projet mature à
atteindre ses objectifs déclarés. L'Evaluation sommative pose souvent les mêmes
questions que l'évaluation des progrès, mais elle a lieu à la fin du projet/programme.
Types d'évaluation
Selon la FICR, il existe plusieurs types d'évaluation :
1. Les Evaluations de processus complètent et vont au-delà du Suivi de routine. Elles
améliorent la compréhension du processus de mise en œuvre du projet et sont
souvent menées au début d'un projet pour savoir pourquoi les produits et les
résultats directs prévus ne sont pas atteints ou lorsqu'il y a des
préoccupations opérationnelles spécifiques. Elles s'appuient sur les dossiers
du projet, les groupes de discussion, les entretiens et l'observation des
participants.
2. Les Evaluations d'impact mesurent les effets causaux d'une intervention, y compris
les effets involontaires, positifs ou négatifs, sur les bénéficiaires ciblés ou
d'autres groupes. Elles évaluent également les coûts de l'intervention par
rapport à ses effets (son rapport coût-efficacité). Les donateurs, comme
l'Agence française de développement, utilisent ces évaluations pour déterminer
si, par exemple, tous les programmes de microfinance des donateurs dans un pays
bénéficiaire cible ont un impact cumulatif. Ces Evaluations ne sont pas à
prendre à la légère et sont coûteuses à entreprendre.
3. Les Evaluations thématiques et sectorielles se concentrent sur des thèmes
particuliers (par exemple, le genre ou l'environnement) ou sur des groupes ou
secteurs (par exemple, la santé) et évaluent la performance d'un certain nombre
de projets dans ces thèmes ou secteurs. Il s'agit d'évaluations à grande
échelle qu'il vaut mieux laisser aux gouvernements donateurs et aux grandes
ONG.
4. Les Evaluations en temps réel sont entreprises pendant la mise en œuvre du
projet/programme afin de fournir un retour d'information instantané pour des
modifications visant à améliorer la mise en œuvre en cours. L'accent est mis
sur l'apprentissage immédiat des leçons plutôt que sur l'évaluation de l'impact
ou la responsabilité. Elles sont particulièrement utiles lors des opérations
d'urgence (FICR).
5. Les
auto-évaluations ou auto-appréciation par lesquelles le personnel des ONG
évalue les programmes/projets et soumet des rapports à la direction générale.
L'auto-évaluation est beaucoup moins chère à mettre en œuvre que l'embauche
d'un consultant indépendant. Elle peut également encourager l'apprentissage et
le sentiment d'appartenance du personnel au processus d'évaluation (BOND). Le
personnel des ONG peut également être mieux placé qu'un évaluateur externe pour
comprendre les complexités d'un projet ou d'un programme. Cependant, les
auto-évaluations peuvent être difficiles à mener efficacement, et les
évaluateurs internes peuvent passer à côté de certaines choses qu'un
observateur extérieur remarquerait. Ils n'ont pas non plus de garantie
d'impartialité/de crédibilité (BOND). Demandez l'avis de votre financeur avant
de vous lancer dans une telle évaluation. Votre argument pourrait être que
c'est votre façon de vous lancer dans l'évaluation et que vous n'avez pas le
budget pour entreprendre une évaluation indépendante à grande échelle.
6. Les
évaluations conjointes (ou évaluation par les pairs) impliquent que le
personnel d'une ou plusieurs organisations homologues mène l'évaluation. Les
coûts restent ainsi relativement bas et l'évaluation peut être plus perspicace
et plus crédible.
Comme les évaluateurs proviennent d'organisations
similaires, ils sont bien informés des défis du secteur. Le principal problème
est qu'il faut un haut niveau de confiance entre les ONG, afin que
l'organisation évaluée puisse être ouverte et honnête pendant l'évaluation.
Lorsqu'il existe une forte concurrence pour l'obtention de fonds, par exemple,
les ONG peuvent être réticentes à laisser une organisation rivale potentielle
examiner leurs opérations, au cas où les informations seraient utilisées
ultérieurement contre elles.
7. Les
"Evaluations accompagnées", où les ONG sont accompagnées par un
expert/évaluateur indépendant, sont un bon moyen pour les ONG et les
organisations de volontaires de commencer à s'engager dans le Suivi et
l'Evaluation. Cette technique peut offrir des perspectives, une expertise et un
apprentissage inestimables. Le défi consiste toutefois à trouver un
collaborateur volontaire. Dans le secteur des ONG, l'organisme financé par le
gouvernement et les ONG fournit de bons évaluateurs à un coût très faible.
La valeur du Suivi et de l'Evaluation (S&E) est désormais
largement reconnue dans les milieux du développement international. La plupart
des organisations non gouvernementales (ONG) et des organisations de
volontaires (VO) sont censées s'engager dans le Suivi-Evaluation, en
particulier lorsqu'elles reçoivent des fonds des organismes de financement
publics.
Il existe de nombreuses raisons pour lesquelles les ONG
devraient adopter le S&E, notamment parce qu'une attitude tiède à l'égard
de l'évaluation a un impact négatif sur la capacité des ONG à apprendre, à
stocker et à diffuser des leçons formelles.
Malgré les nombreux avantages du S&E, il est souvent
négligé par les ONG, en partie parce qu'il est perçu comme trop difficile et
coûteux. N'oubliez pas que l'évaluation
ne consiste pas à tout savoir sur un projet ou un programme, mais à identifier
certains marqueurs clés de réussite ou d'échec.
Le S&E peut être bénéfique:
Pour vos bénéficiaires
- Il peut faire partie d'un processus participatif qui vous oblige à écouter l'opinion des partenaires et des bénéficiaires locaux.
Pour vous-même
- Elle évalue comment et où un projet a atteint ses objectifs, comment et où il ne les a pas atteints et comment et où il pourrait être amélioré.
- Il identifie l'efficacité avec laquelle le projet a converti (ou pourrait convertir) les ressources (financières et en nature) en activités, objectifs et buts.
- Il met en évidence la durabilité et la signification du projet pour les participants.
Pour votre donateur
- Il vous aide à répondre aux exigences de l'organisation en matière de rapports et de donateurs.
- Il peut aider à montrer la valeur de l'argent à un moment où la presse et d'autres organismes examinent et critiquent le financement des ONG par les donateurs.
- Il peut ouvrir la porte à de futurs financements de la part d'organismes publics.
Derniers points à retenir :
- L'évaluation peut être réalisée une seule fois, à la fin d'un projet, ou peut être une étude continue.
- Dans tous les cas, l'évaluation est un moyen d'apprendre de ce qui s'est passé, de l'examiner objectivement et d'utiliser ces connaissances pour prendre des décisions éclairées sur l'avenir de votre travail.
- L'évaluation ne consiste pas seulement à démontrer le succès, mais aussi à apprendre pourquoi les choses ne fonctionnent pas. En tant que telle, l'identification et l'apprentissage des erreurs est l'un des éléments clés de l'évaluation.