L’évaluation : moyen de contrôle
ou outil d’évolution ?

Corentin Crutzen, décembre 2024

Entre peurs, comptes à rendre, souhait d’amélioration et manque de temps, faisons le point sur l’évaluation en ErE, dans ses dimensions entre autres politiques, pour mieux comprendre ses particularités, les difficultés, les tensions qu’elle engendre et dégager des recommandations pour le secteur.

L’évaluation, chacun·e en a sa représentation, sa définition, son expérience. Chez certain·es, cela évoque de mauvais souvenirs liés à la scolarité, pour d’autres une manière de s’améliorer, de prendre du recul sur sa pratique professionnelle.
À cela s’ajoute un constat, qui réinterroge la pratique évaluative : nous sommes dans une société du culte de la performance (Hamant, 2023) où la culture managériale s’impose jusque dans le secteur non marchand et exige toujours plus d’efficience. La rationalisation des finances publiques s’intensifie et les professionnel·les de l’Éducation relative à l’Environnement (ErE) sont dès lors incité·es à évaluer davantage leurs pratiques, que ce soit pour mesurer les effets de leurs activités¹ ou pour justifier l’argent public qu’ils et elles reçoivent. Le ministre wallon de l'environnement Yves Coppieters nous le rappelait récemment² : « Je n'aime pas dire qu'on est dans la culture de l'évaluation d'impact. Néanmoins, je pense qu'on doit avoir le courage de s'auto-évaluer ou de se faire évaluer avec de vrais indicateurs, et de se dire peut-être que certaines actions sont moins pertinentes, parce qu'on est dans un cadre de diminution budgétaire. »

L’évaluation : une notion polysémique

En amont de la Journée de l’Accord de Coopération³ du 14 octobre 2024 intitulée « L’évaluation de mes pratiques professionnelles, ses apports et ses limites⁴ », le Réseau IDée a sondé la soixantaine de participant·es. À quels mots associaient-ils l’évaluation ? Feedback, progression, impact, objectifs, indicateurs, rétrospective, adaptation, jugement… Pour plus de la moitié d’entre elles et eux, l’évaluation fait référence à l’amélioration et à l’évolution. Loin derrière (avec seulement 11% de récurrence), on retrouve la notion de contrôle. En effet, jusqu’à présent, et comparativement à d’autres secteurs éducatifs, les associations d’ErE ont été globalement épargnées par « l’évaluation-sanction », « l’évaluation-rationalisation » ou « l’évaluation-contrôle ». Mais cela ne risque-t-il pas de changer, dans un cadre d’austérité budgétaire et de droitisation des politiques publiques ?

Tentons d’abord d’éclaircir ce qui se cache derrière le mot « évaluation » et de le définir.
La littérature regorge de définitions diverses et variées mais, agissant dans le domaine éducatif, nous avons retenu celle du Dictionnaire actuel de l’éducation (Legendre, 2005), qui définit l’évaluation comme l’« opération qui consiste à estimer, à apprécier, à porter un jugement de valeur (…) à partir d’informations qualitatives et/ou quantitatives et de critères précis en vue d’une décision ». Voilà une définition assez vague, vous en conviendrez. Tentons de préciser.

Cette « opération » peut se faire sous diverses approches, modes et formes : qualitative/quantitative ; interne, externe, auto-évaluation ; évaluation de la pertinence, de l’efficacité, de l’efficience⁵. Celle-ci se passe difficilement de la mesure de données observables, quantifiables ou comparables (des indicateurs) afin de tenter d’être la plus objective possible. La construction et le choix de ces indicateurs est primordiale dans l’orientation que l’on donne à l’évaluation.

Lors de la journée d'échange sur l'évaluation, les participant·es ont du se prêter au jeu du "Marshmallow challenge", consistant à réaliser la tour la plus haute (au-dessus de laquelle on place un marshmallow) à l'aide de matériel limité (spaghettis, cordes, ciseaux, ruban adhésif…). Chaque groupe était ensuite invité à évaluer leur réalisation selon des angles précis (réussite, efficacité, processus, coopération, créativité…) mettant en avant la diversité des modes et objectifs d'évaluation.

Du choix des indicateurs

Contrairement à ce que l’on pourrait croire, ces indicateurs ne sont pas neutres, et donc l’évaluation n’est jamais totalement objective. Demander à une association de quantifier le nombre des participant·es à une activité ne repose pas sur les mêmes idéologies et objectifs que de demander à des animateur·ices de vérifier s'ils et elles ont atteint leurs objectifs d’apprentissages. Or, à des fins d’analyse statistique et pour en faciliter le traitement – et demain peut-être la comparaison entre structures – bien souvent, les indicateurs sont standardisés, alors que les contextes éducatifs sont divers et mouvants. En effet, il semble compliqué (voire impossible) d’analyser les impacts des activités d’ErE et de les comparer car de nombreux facteurs externes entrent en jeu. L'éducation relative à l'environnement n'étant pas isolée, l'éducation, la culture, le milieu social et familial, le milieu de vie, les évènements, les médias, ont une influence sur chaque individu, ce qui complexifie la mesure des effets d'une action éducative⁶. Et Dominique Cottereau (2000) d’ajouter : « dans le champ de l’éducation relative à l’environnement, on est bien dans cette situation délicate de devoir évaluer non seulement une transmission de savoirs, mais aussi des savoir-faire, des attitudes, et même des valeurs » (p.1).
On observe que certaines pratiques fonctionnent mieux que d'autres, mais on n’en maîtrise pas les résultats. Par exemple, depuis plusieurs années, la pratique de l’« école du dehors » se démocratise et se développe dans les écoles grâce notamment aux professionnel·les de l’ErE. De nombreuses études ont démontré les bienfaits de telles pratiques⁷. Il semble toutefois compliqué d’évaluer précisément à quel point les enfants ont, grâce à cela, développé une meilleure connexion à la nature ainsi que des comportements respectueux de l’environnement sur le long terme, car de nombreux autres facteurs (contexte familial, social, parcours et représentations initiales, etc.) entrent en compte, dont aussi le facteur temporel. On sait que ce n’est pas après seulement quelques sorties dans la nature que l’on fait évoluer le rapport à la nature, cela prend du temps. Et le choix de certains indicateurs va d’office invisibiliser d’autres aspects. Comment juger de l’émancipation d’une personne, comment évaluer si cette pratique a augmenté sa capacité de résilience ou si ses acquis tiendront dans le temps ?
Le choix des indicateurs et de l’objectif de l’évaluation influence donc tout le processus, tant sur le fond (valeurs, intentions…) que sur la forme (modes, approches…). Et celui-ci est éminemment idéologique.

On le voit donc, la notion d’évaluation est polysémique et « il paraît hasardeux, voire illusoire, de penser à une définition claire et univoque de l’évaluation. En effet, l’évaluation renvoie aussi bien à un champ de savoirs et de méthodes qu’à un contrôle administratif ou technocratique » (Bégin et al., 1999, p.265).

Le sens de l’évaluation

Outre la formulation d’un jugement de valeur et l’aide à la décision, Figari et Rémaud (2014) ont identifié une troisième finalité possible à l’évaluation : l’attribution de sens, c’est-à-dire « rechercher la réponse à une question et, par conséquent, trouver ou éclairer le sens d’un phénomène. » (ibid, p.45) D’ailleurs, lors de la journée d’échanges du 14 octobre, bon nombre de participant·es ont manifesté leurs questionnements quant au sens que revêt l’évaluation qui leur est demandée, dans la plupart des cas pour les rapports remis à l’administration en vue de justifier l’argent public que les associations reçoivent. Cette obligation administrative se manifeste de plus en plus sous la forme d’une évaluation statistique, tant des activités réalisées que des publics touchés et du temps de travail fourni. Bien que les services administratifs compétents complètent ces rapports chiffrés par des entretiens qualitatifs, ces évaluations sont parfois ressenties par les associations comme déconnectées des réalités de terrain et une charge de travail supplémentaire. Une participante à la journée d’échange témoigne à ce propos : « C’est difficile de devoir parler en chiffres sur des actions de terrain qui se vivent et s’expérimentent de manière qualitative ».

Pour André Geay (2006), « toute évaluation est jugement et interprétation et c'est en dépassant la logique du simple contrôle qu'elle devient source de sens » (p.1).
Comment dépasser cette simple logique de contrôle pour en faire de réelles évaluations qui ont du sens ? Pour apporter des pistes de réponse à cette question, analysons les rôles et l’intérêt de l’évaluation, pour en dégager certaines tensions.

Évaluation ou contrôle ?

Dans une analyse de 2010, Jean-Pierre Nossent plaidait pour une différenciation radicale entre le contrôle et l’évaluation. Selon lui, « l’évaluation vise à identifier la valeur (et la non-valeur) d’une expérience singulière et à produire du savoir sur cette dernière : elle se méfie donc des discours généraux pour se centrer plus sur la singularité de chaque expérience. Elle implique un questionnement sur le cheminement, sur son déroulement et sur son sens [...] » (Nossent, 2010, p.2). Il propose d’ailleurs une grille schématique comparative permettant une distinction claire entre ces deux notions qui ont des pratiques et une temporalité différentes (ibid, p.3).

Lorsqu’elle se limite à une mesure des activités – donc à un contrôle – l’évaluation est parfois amalgamée à des procédures qui ne consistent qu’en une série de chiffres, de « cases à cocher », de rapports à remplir dans un format standardisé. C’est un formatage de l’information contraignant le réel, invisibilisant parfois l’essence et le sens des activités éducatives et provoquant ainsi souvent un alignement de celle-ci aux attendus de l’administration.

En outre, lorsque l’évaluation est demandée et définie par un « agent contrôlant » , elle peut se réduire à une mise en conformité par rapport à des normes préétablies par ce dernier, c’est-à-dire un simple contrôle. Ce qui peut alors induire un rapport « mensonger » à l’évaluation, parfois déjà expérimenté dans notre parcours scolaire. Lors la Journée de l’Accord de coopération, Gaëlle Jeanmart, docteure en philosophie, nous rappelait qu’à l’école, nous avons appris à tricher et à mentir pour répondre aux attentes des enseignant·es. « Quand on est évalué régulièrement, il faut toujours qu’on fasse comme si on savait et ça crée une habitude de se demander quelle est l’attente du prof et non le sens de l’activité », précise-t-elle.
Dans les rapports remis à l’administration, nous avons tendance également à tomber dans ces mêmes pièges en tentant de répondre à ses attentes, en utilisant le vocabulaire de l’administration, quitte parfois à nous désolidariser du sens de nos actions. Ce type de rapport à l’évaluation est « problématique car, dès qu’on est pris là-dedans, on ne peut plus coller à ce qu’on fait, comment on le fait et comment ça a du sens pour nous », poursuit-elle dans son intervention.

Gaëlle Jeanmart intervenant pendant la table ronde lors de la Journée de l'Accord de Coopération 2024.

Benoît Galand intervenant pendant la table ronde lors de la Journée de l'Accord de Coopération 2024.

Gare aux dérives

Bien que cette standardisation des rapports à compléter aide l'administration régionale dans son besoin d’analyse globale, statistique et stratégique des politiques d’ErE – ce qui est actuellement encore peu exploité – on peut se poser la question de l’impact que cela pourrait avoir à terme sur les missions et les pratiques éducatives des acteurs et actrices de l’ErE. La tendance institutionnelle grandissante d’une culture du résultat par la mesure de la performance, issue de la culture managériale et introduite par la nouvelle gestion publique dans les différentes réformes des administrations publiques depuis la fin des années 1990 en Europe, crée des dérives, constatée dans d’autres secteurs. « Ça devient un monstre bureaucratique où on fabrique du chiffre, demandant énormément de ressources et d’énergie de la part des acteurs et actrices, qu’ils ne consacrent plus à leurs missions premières. Ces chiffres, ils sont soit dans un rapport d’activités, soit envoyés à l’administration et on se demande bien à quoi ça sert, c'est-à-dire en quoi ça améliore ce qu’on fait », alerte Benoît Galand, docteur en psychologie et chercheur en sciences de l’éducation à l’UCLouvain, dans son intervention lors de la Journée de l’Accord de Coopération⁴.

Dans ce contexte général, il est difficile pour les associations de se questionner sur leurs pratiques en vue de les améliorer. En effet, « il existe une grosse tension entre justifier ce qu’on fait [dans les rapports, NDLR], et améliorer ses pratiques », explique Benoît Galand. Car, pour améliorer ses pratiques, « les feedbacks sont importants (…) pour sortir de ses propres croyances, son propre point de vue et de sa propre perspective. (…) C’est un des facteurs les plus efficaces dans l’apprentissage ». Or, les rapports ne sont pas construits de manière à ce que les associations puissent avoir ces feedbacks nécessaires.

Christophe Vermonden, coordinateur du département Éducation de Bruxelles Environnement, différencie d’ailleurs l’évaluation des comptes à rendre. La première vise à discuter avec l’association de ses pratiques, pour les améliorer et les ajuster à une stratégie régionale, les seconds – jugés moins importants à ses yeux – se limitent à la justification des subsides. Le réseau français FRENE le rejoint : « Évaluer, c’est questionner la stratégie globale du projet et ce n’est pas seulement chercher à rendre des comptes à des financeurs. […] L’évaluation est une action de prise de recul et de réflexion sur un programme, un individu, un objet, un système afin d’en comprendre et/ou d’en améliorer les développements », explique-t-il dans le Guide pratique d'éducation à l'environnement : entre humanisme et écologie (2010, p.169).
Cette vision réflexive de l’évaluation est défendue par les associations d’ErE, qui souhaitent constamment faire évoluer leurs pratiques afin de répondre au mieux aux besoins des bénéficiaires et rester au plus proche de leurs réalités mouvantes en ces temps de crises multiples (sociales, environnementales, économiques…). C’est l’un des éléments marquants qui est ressorti, de la part des participant·es, lors de la journée du 14 octobre 2024. L’un d’entre eux témoigne d’ailleurs avec une métaphore : « l’atout majeur de l’évaluation est de permettre de descendre du vélo, de sortir la tête du guidon pour faire le point sur l’état général des choses ».
En outre, l’évaluation administrative peut présenter divers bénéfices. Outre la légitimation de l’octroi des subventions, l’administration peut construire, grâce aux rapports qu’elle reçoit, une vision globale du secteur et faciliter ainsi le réseautage. Cela lui permet également de défendre le secteur auprès du politique en amenant des chiffres qui sont souvent plus parlants que de la prose. Cependant, ce processus réflexif nécessite de la méthode (souvent méconnue), prend du temps (et donc de l’argent), dont ni les associations ni l’administration ne disposent.

Manque de temps et de méthode

Du côté de l’évaluation « réflexive », un des apports les plus évoqués est qu’elle permet de prendre du recul, de porter un regard critique et de questionner le sens de ses pratiques. Cependant, évaluer et faire évoluer les pratiques, cela demande du temps. Temps que peu d’associations ont, étant généralement contraintes à remplir leurs agendas d’activités pour tenter de maintenir leurs finances à l’équilibre. Cette limite liée au manque de temps est également pointée par la littérature (Stokking et al., 1999 ; Tchouba, 2014). En effet, Stokking et al. (1999) alertaient déjà contre trois principales limites à l'évaluation interne dans le secteur : le manque de temps, le manque de financement et le manque d'expertise. Dans son mémoire de fin d’étude, Tchouba (2014) confirmait cela auprès de plusieurs associations du secteur de l’ErE francophone : « le manque de temps touche aussi bien les animateur·ices dans l'élaboration et la conception de cette étape [l’évaluation], que les participant·es, notamment les enseignant·es qui doivent remplir les questionnaires » (p.68). Les associations, soucieuses de tout de même avoir un feedback sur leurs activités, sont nombreuses à faire usage de questionnaires ou d'enquêtes de satisfaction auprès de leurs publics (enseignant·es, élèves, adultes…). Mais les réponses sont souvent peu nombreuses, les empêchant ainsi d’effectuer une évaluation complète et significative.

Le manque de ressources et de financement pour évaluer est une autre limite soulevée par le secteur. En 2014 déjà, le faible financement du secteur et l'austérité économique empêchaient les ASBL d'accorder un temps de réflexion à l'évaluation de leurs projets (Tchouba, 2014). « Si on veut clairement faire une bonne évaluation de projet, il faut environ [y consacrer NDLR] 20-25% du budget, et 10-15% de son temps de travail », affirmait Thierno Ndiaye, secrétaire général de Coren, dans un entretien avec Lyzy Tchouba (2014, p.69).
Au-delà du manque de temps et de financement, les associations ne se sentent pas toujours compétentes et outillées pour évaluer elles-mêmes leurs projets. Et faire appel à un prestataire d’évaluation externe représente une charge financière qu’elles ne peuvent se permettre. Suite à la journée d’échange sur l’évaluation, une majorité des participant·es ont estimé ne pas se sentir assez outillé·es pour mettre en place une démarche d’évaluation de leurs pratiques professionnelles. Il ressort du sondage réalisé en marge de la journée d’échange que l’évaluation s’apparente à une démarche complexe pour trois quarts des participant·es. Effectivement, les animateur·ices n’ont pas de formation spécifique dans ce domaine et sont désireux et désireuses d’avoir plus d’outils à leur disposition.
Au regard de ces constats, on peut s’apercevoir que l’évaluation des pratiques en ErE reste peu systématisée et consiste le plus souvent en une évaluation « basique », de l’ordre du suivi. Comme le confirme le FRENE (2010), « longtemps les démarches globales d'évaluation ont été le maillon faible des projets d'éducation à l'environnement » (p.170).

Développer une culture de l’évaluation en ErE

Malgré l’usage répandu de l’évaluation dans le secteur éducatif, en particulier dans le milieu scolaire, les études attestant de son application concrète aux programmes et activités en ErE sont rares (Ballantyne et al., 2005). On s’aperçoit que le secteur de l’ErE, bien que plein de bonnes intentions et de volonté, est soumis à des contraintes qui l’ont empêché jusqu’à présent de développer une culture de l’évaluation. Par « culture de l’évaluation », nous entendons une démarche évaluative considérée comme une activité courante et systématique des ASBL, adaptée à chaque contexte et intervention spécifiques.

L’évaluation sur le long terme demande un temps et des ressources dont les associations ne disposent pas et que les administrations ne financent pas. Le développement d’une culture de l’évaluation dans le secteur de l’ErE demanderait donc des ressources supplémentaires, qu’elles soient humaines, financières ou matérielles. En effet, il n’existe que très peu d’outils d’évaluation adaptés aux spécificités de l’ErE.

Si vous voulez en savoir plus sur les impacts des activités d'ErE, nous vous recommandons l'étude de Charlotte Préat intitulée "Quels sont les effets éducatifs des interventions d'Education relative à l'Environnement (ErE) - ce que nous dit, ou pas, la littérature scientifique", à découvrir ici.

1. Voir l’étude Quels sont les effets éducatifs des interventions d’Éducation relative à l’environnement (ErE) ? Ce que nous dit, ou pas, la littérature scientifique (2024) par Charlotte Préat : www.reseau-idee.be/fr/effets-ErE
2. Rencontre avec Yves Coppieters, qu'en retenir ? Lire l'article.
3. Pour en savoir plus : http://accordcooperation.blogspot.com/
4. www.reseau-idee.be/fr/journee-accord-cooperation/2024
5. Pour plus de détails, voir l’étude, pp.8-10 : www.reseau-idee.be/fr/effets-ErE
6. ibid
7. Voir l’article "Des bienfaits pour la tête et le corps", paru dans Symbioses N°136 Dehors pour apprendre : www.reseau-idee.be/fr/symbioses/des-bienfaits-pour-la-tete-et-le-corps
8. Intervention à (ré)écouter ici : https://www.reseau-idee.be/fr/journee-accord-cooperation/2024
9. En Belgique, c’est le plan Copernic sous le gouvernement Verhofstadt I qui introduisit, dès 1999, ce changement au sein de l’administration :
https://journals.openedition.org/pyramides/2008
10. Voir art.1 § 1er du Décret EP : https://educationpermanente.cfwb.be/fileadmin/sites/edu_perm/uploads/Document/Textes_reglementaires/DecretEP_Modifie270821_VersionCoordonnee.pdf
11. https://environnement.brussels/enseignement
12. www.coren.be

Bibliographie

. Ballantyne, R., Packer, J., & Everett, M. (2005). Measuring environmental education program impacts and learning in the field : using an action research cycle to develop a tool for use with young students. Australian Journal of Environmental Education, 21, 1-16.
. Bégin, C., Joubert, P., & Turgeon, J. (1999). L’évaluation dans le domaine de la santé : conceptions, courants de pensée et mise en œuvre. Dans Le système de santé québécois. Un modèle en transformation (pp. 265-281). Presses de l’Université de Montréal.
. Bonniol, J.-J., & Vial, M. (1997). Les modèles de l'évaluation : textes fondateurs avec commentaires. De Boeck Université.
. Réseau École et Nature [devenu FRENE]. (2010). Guide pratique d'éducation à l'environnement : entre humanisme et écologie. Yves Michel.
. Cottereau, D. (2000). Évaluer la mise en forme du lien éco-logique. Éducation Relative à l'Environnement : Regards - Recherche - Réflexion, Volume 2, 173-181.
. Figari, G., & Remaud, D. (2014). Méthodologie d'évaluation en éducation et formation : Ou l'enquête évaluative. De Boeck Supérieur.
. Geay, A. (2006). L'évaluation au service des actions. Fiche thématique 22 - L’Évaluation dans l’Éducation à l’Environnement. Ifrée.
. Hamant, O. (2023). Antidote au culte de la performance : la robustesse du vivant. Gallimard.
. Heimlich, J. E. (2010). Environmental education evaluation : Reinterpreting education as a strategy for meeting mission. Evaluation and Program Planning, 33(2), 180-185. ScienceDirect.
. Legendre, R. (2005). Dictionnaire actuel de l'Éducation. Guérin.
. Nossent, J.-P. (2010). Evaluation ou contrôle : repère pour l'éducation permanente. IHOES.
. Stokking, K., Van Aert, L., Meijberg, W., & Kaskens, A. (1999). Evaluating Environmental Education. Commission on Education and Communication, IUCN.
. Tchouba, L. B. (2014). Évaluation en Éducation relative à l'Environnement : particularités et difficultés de la question [Mémoire de fin d'étude]. Université Libre de Bruxelles.