
Les populations autochtones du Nord du Canada sont, depuis de nombreuses années, confrontées à des problèmes socio-économiques qui entravent leur développement. Dans le courant des années ‘90, le rapport de la Commission royale sur les peuples autochtones (1996) a conclu qu'il était important d'intégrer les peuples autochtones dans la gestion des politiques publiques les concernant et de favoriser leur autonomie. Afin de produire une évaluation de qualité et utile dans divers contextes culturels, des mesures ont été développées afin de s'assurer que l'évaluation prenne en considération la sensibilité culturelle tout en intégrant les acteurs locaux dans le processus d'évaluation. Cette étude, qui s’appuie sur l'analyse détaillée d'un échantillon non probabiliste de 27 rapports d'évaluation de programmes, présente les pratiques d'évaluation dans les contextes autochtones. Elle cherche également à déterminer dans quelle mesure une approche culturellement sensible et participative a été appliquée dans ces processus d’évaluation. Il en ressort que la notion de sensibilité culturelle est de plus en plus présente dans la conduite des évaluations de programmes autochtones. Enfin, les approches participatives sont employées à quelques occasion dans les processus d’évaluation sans que ce ne soit une tendance très développée ni systématique. Les approches traditionnelles et de natures « technocratiques » demeurent celles qui sont les plus fréquemment employées.
Jacob, S. and Desautels, G. (2013). Evaluation of Aboriginal Programs: What Place is Given to Participation and Cultural Sensitivity? The International Indigenous Policy Journal, 4(2).
Lire l'article: http://ir.lib.uwo.ca/iipj/vol4/iss2/1
La méta-évaluation est un instrument privilégié de la recherche en évaluation : elle va au delà d’une analyse des résultats mais porte sur la qualité des pratiques, les méthodes, les logiques théoriques, et aussi et surtout sur le caractère utilisable des évaluations. La méta-évaluation renvoie au processus de la formation d’un jugement de valeur sur une ou plusieurs évaluations réalisées sur une thématique, un projet ou une politique donnée en s’intéressant non pas aux seuls critères de qualité vu par les standards professionnels mais en interrogeant la question de l’utilité de l’évaluation du point de vue des utilisateurs, et de la société en général. La qualité d'une évaluation ne se résume pas à sa seule validité scientifique mais il importe également de prendre en compte les finalités sociales de l'évaluation. En méta-évaluation, il y va de "la qualité de la connaissance utile à l'action publique". La définition la plus simple est proposée par Scriven (1969) : "Metaevaluation is the evaluation of evaluation"(Scriven, 1969).
L’objectif de ce séminaire est double. La matinée sera consacrée à revenir au plan théorique sur le concept de méta-évaluation, pour en clarifier les contours à partir d’une relecture des principaux auteurs de la littérature. La question du caractère utilisable et capitalisable de la méta-évaluation des évaluations sera au centre de la matinée. L’après-midi sera consacrée à la présentation de trois études de cas de méta-évaluation.
4ème séminaire du RCEPP – 18 avril 2013 – AgroParisTech
stephanie.breton@sfe-asso.fr
Le Réseau des Chercheurs en Evaluation des Politiques Publiques de la Société Française d’Évaluation vous convie à un séminaire de recherche gratuit sur : Les méthodes de synthèses de connaissances, le 10 décembre 2012 à l’Université de Paris Dauphine, Amphithéâtre 11. (Plan d'accès)
La promotion des politiques publiques basées sur la preuve par un nombre croissant des gouvernements nationaux et d’organisations internationales soulève les questions de l’identification de connaissances disponibles sur les impacts des interventions publiques, de l’appréciation de leur crédibilité et finalement de leur synthèse pour éclairer la décision publique. A ce jour, deux méthodes reconnues ont émergé. La première emprunte aux outils de la « médecine des preuves » : revue systématique et la méta-analyse. La seconde, appelée synthèse réaliste, est inspirée des méthodologies des sciences sociales.
Le séminaire de recherche, organisé avec l’aide de plusieurs partenaires, proposera une présentation et une discussion des méthodes disponibles. Merci de noter que les présentations et échanges se feront exclusivement en anglais afin de faciliter le dialogue entre participants de différents pays.
Merci de confirmer dès que possible votre participation à ce séminaire l’aide du bulletin d’inscription ci-dessous et de le renvoyer à accueil@sfe-asso.fr car le nombre de places est limité. Ce séminaire étant gratuit, nous souhaitons vous préciser que le repas du midi est à la charge de chacun.
Le réseau des chercheurs en évaluation des politiques publiques.
Mbaï-Hadji Mbaïrewaye & Steve Jacob, « Cultural Dimensions of the African Evaluation Guidelines », dans Jean-Claude Barbier & Penny Hawkins (eds), Evaluation Cultures Sense-making in Complex Times, New Brunswick, N.J.: Transaction Publishers, 2012, pp. 205-237.
Résumé du chapitre : Les standards d’évaluation favorisent la prise en compte de dimensions culturelles dans la pratique évaluative. Les standards contiennent des aspects techniques qui visent l’amélioration de la qualité et de l’utilisation de l’évaluation. Ils contribuent également à la professionnalisation de la pratique en fournissant un cadre de conduite et de socialisation aux évaluateurs. Au-delà des aspects techniques, les standards véhiculent des valeurs qui orientent la conduite d’une démarche évaluative telles que la responsabilisation, la crédibilité, la confidentialité, la réduction des nuisances, etc.
En étudiant les standards de l’Association africaine d’évaluation (AfrEA), ce chapitre étudie l’influence du contexte culturel lors de l’adoption et de l’adaptation des standards. La question de recherche à laquelle nous répondons est : « Les modifications apportées par l’AfrEA aux standards d’évaluation résultent-elles de considérations culturelles? ».
Geoffroy Desautels & Steve Jacob, « The Ethical Sensitivity of Evaluators: A Qualitative Study Using a Vignette Design », dans Evaluation. The International Journal of Theory, Research and Practice, vol. 18, n° 4, 2012
Résumé: Evaluation occurs in a context fraught with ethical issues. Evaluators are regularly faced with ethical tensions that are likely to influence the quality of their work. By developing an analytical model that categorizes evaluators along an altruistic-corporatist axis, we sought to understand which factors influence the ethical sensitivity of evaluators. To this end, utilizing a qualitative research design using vignettes, we exposed a dozen Canadian evaluators to ethically problematic situations to examine their ability to identify the ethical issues within the scenarios. The ensuing results allowed us to conclude that an evaluator’s ethical sensitivity is partially explained by the altruistic or corporatist nature of that evaluator; it also depends on other factors such as knowledge of the prescriptive norms in ethical matters, experience conducting evaluations, and the milieu and the working conditions within which the evaluators operate.
La participation à l’évaluation : du concept à la mesure
La popularité croissante des approches participatives représente une tendance lourde dans le champ de l’évaluation des politiques. La prolifération des définitions et des termes utilisés pour désigner la participation génère cependant beaucoup de confusion chez les chercheurs et praticiens du domaine. Il n’existe en outre aucun instrument de mesure adéquat de la participation, ce qui freine l’avancement des connaissances. Trois questions de recherche structurent cette thèse : 1) Qu’est-ce que la participation à l’évaluation?; 2) Comment traduire ce concept en un instrument de mesure opérationnel?; et 3) Est-ce que cet instrument mesure la participation de manière fidèle et valide?
Une conceptualisation cohérente de l’évaluation participative s’inscrivant dans la foulée des travaux de Cousins et Whitmore (1998) est d’abord proposée. Cette conceptualisation, fondée sur la logique des conditions nécessaires et suffisantes, est opérationnalisée en un instrument de mesure de la participation.
L’instrument (Participatory Evaluation Measurement Instrument – PEMI) fait ensuite l’objet d’une validation empirique à partir d’un échantillon de 40 cas d’évaluation tirés de la littérature et d’un sondage auprès de leurs auteurs. Trois éléments sont appréciés quantitativement : 1) la fidélité intercodeur; 2) la convergence des scores des codeurs et des auteurs sur le PEMI; et 3) la convergence des scores des auteurs sur le PEMI et un instrument de mesure alternatif. De manière générale, cette étude suggère que le PEMI génère des scores dont la fidélité et la validité sont d’un niveau acceptable.
Troisièmement, une étude de validation du PEMI combinant méthodes qualitatives et quantitatives est présentée. Le recours aux méthodes mixtes a généré un cycle inattendu – mais bénéfique – de révision de l’instrument et de validation quantitative supplémentaire. Les résultats de validation suggèrent que la version révisée du PEMI, désormais fondée sur une structure conceptuelle hybride, est plus en phase avec l’opinion des répondants quant au niveau de participation des cas d’évaluation. La valeur ajoutée des méthodes mixtes à des fins de validation est également discutée. Une réflexion sur le potentiel scientifique de l’instrument de mesure, en particulier dans le cadre de recherches empiriques sur la relation entre participation et utilisation de l’évaluation, vient conclure cette thèse.
Steve Jacob, Louis M. Imbeau & Jean-François Bélanger, « La nouvelle gestion publique et l’accroissement des marges de manœuvre. Un terreau propice au développement de l’éthique? », Administration publique du Canada, vol. 54, n° 2, 2011, pp. 189-215.
Résumé : La discrétion administrative des fonctionnaires est un sujet central dans la littérature en administration publique. Pour certains auteurs, elle est nécessaire et bienfaisante, alors que pour d'autres chercheurs, elle est la source de nombreux abus. Or, les réformes inspirées de la nouvelle gestion publique ayant cours dans de nombreuses administrations publiques promeuvent l'augmentation de la marge de manœuvre des gestionnaires. Parallèlement à ces initiatives de modernisation de l'administration, les scandales ne cessent de rythmer la vie politico-administrative et l'importance accordée aux enjeux éthiques occupe une place de plus en plus importante dans la conduite de l'action publique. C'est dans ce contexte que nous questionnons la relation qui unit l'accroissement du pouvoir discrétionnaire des gestionnaires et le développement d'une infrastructure éthique. Quelles sont les zones à risques? Est-ce que l'éthique permet de surmonter les éventuels abus de pouvoir? Quelle est la perception des gestionnaires quant à leurs marges de manœuvre et la place qu'occupe l'éthique dans leur travail? Comment sont mises en œuvre les exigences éthiques édictées dans divers documents normatifs? Ce sont les principales questions abordées dans cet article qui présente les résultats d'une étude de cas qualitative conduite à l'intérieur d'un ministère québécois en 2008–2009. Nos résultats démontrent que, contrairement à ce que postulent les promoteurs de la NGP, les gestionnaires ont peu, voire aucun pouvoir discrétionnaire en matière de gestion financière. Leurs actions et décisions sont strictement encadrées par des mécanismes de contrôle hiérarchiques ou via un système informatique. Cet état de fait explique en partie que l'appropriation des principes généraux et que la construction d'une infrastructure d'éthique demeurent formelles.
Lire l’article
Pierre-Marc Daigneault est récipiendaire d’une bourse postdoctorale du Fonds québécois de recherche sur la société et la culture (FQRSC). Pierre-Marc entend mener ses recherches postdoctorales sous la supervision de Daniel Béland, titulaire d’une Chaire de recherche du Canada sur les politiques publiques, à la Johnson-Shoyama Graduate School of Public Policy de l’Université de Saskatchewan. Son projet de recherche examinera les politiques d’aide sociale « actives » (c.-à-d. qui incitent les prestataires à retourner sur le marché du travail) sous l’angle de leur théorie programmatique. Pierre-Marc poursuit actuellement la rédaction de sa thèse de doctorat en science politique qui porte sur l’évaluation participative et l’utilisation de l’évaluation de programme.
Steve Jacob (dir.), L’évaluation face aux défis de la professionnalisation et de l’éthique, Cahiers de la performance et de l’évaluation, n° 3, Québec, 2011.
Les évaluateurs, à travers les sociétés nationales d’évaluation, s’engagent de plus en plus dans des processus de professionnalisation qui visent à donner plus de visibilité, de respectabilité et de crédibilité à la pratique évaluative. Comme le révèle ce numéro, l’éthique professionnelle occupe bien souvent une place marginale dans ces réflexions. L’objectif de ce numéro est d’étudier les processus professionnalisation et de développement d’une culture éthique au sein de la pratique évaluative.Les trois chapitres qui constituent ce numéro s’intéressent au lien théorique et empirique qui unit la professionnalisation et l’éthique. À partir d’une revue de littérature, le premier chapitre (M. Mbaïrewaye) dresse un portrait de la recherche en éthique évaluative, recense les problèmes éthiques auxquels sont confrontés les évaluateurs et présente les énoncés prescriptifs qui sont adoptés pour éviter ou surmonter les problèmes éthiques. Les deuxième et troisième chapitres, plus empiriques, étudient la dynamique de professionnalisation au Canada et au Québec. À travers l’expérience de la professionnalisation, non aboutie, de la Société québécoise d’évaluation de programme (SQEP), le deuxième chapitre (S. Jacob) illustre la place secondaire dévolue à l’éthique et les difficultés que génère une entreprise de professionnalisation pour une société d’évaluation. Enfin, en s’appuyant sur le vécu et l’imaginaire des évaluateurs canadiens, le troisième chapitre (S. Jacob) cerne les caractéristiques attendues d’un « professionnel » de l’évaluation y compris en ce qui a trait à la compétence éthique. Cette enquête met en évidence le fait que la plupart des répondants reconnaissent avoir été confrontés à des problèmes éthiques lors de la réalisation d’une évaluation.
Pierre-Marc Daigneault (dir.), Les approches théoriques en évaluation, Cahiers de la performance et de l’évaluation, n° 4, Québec, 2011.
D’orientation prescriptive et pratique, les théories évaluatives guident l’évaluateur en ce qui a trait la conception et de l’organisation de l’évaluation. Elles mettent ainsi de l’avant certaines valeurs et façons de faire concernant la pertinence de l’évaluation, ses visées, ses méthodes ainsi que le rôle de l’évaluateur et des parties prenantes. Or, à bien des égards, la théorie en évaluation semble souffrir de négligence « bénigne » de la part de ceux qui pratiquent l’évaluation des programmes publics. Si les évaluateurs mobilisent un coffre à outils impressionnant qui comprend moult devis, méthodes, instruments et techniques, les approches théoriques censées guider la pratique de l’évaluation ne semblent pas toujours en faire partie. L’évaluation ne se résume pourtant pas à l’application mécanique de méthodes. Ce numéro vise à pallier ce manque, en offrant de stimulantes contributions en français plus que bienvenues sur le thème des approches théoriques en évaluation.Un bref état de la question sur la nature et le rôle de la théorie en évaluation est d’abord présenté (P.-M. Daigneault). Suivent trois contributions présentant chacune une approche évaluative offrant des perspectives différentes sur la pratique de l’évaluation : l’évaluation habilitative ou empowerment evaluation (J.-F. Bélanger), l’évaluation affranchie des objectifs ou goal-free evaluation (H. A. Rabearivelo et J. Lamouri) et l’évaluation démocratique délibérative (F. Théberge). Dans « Des théories pour comprendre et agir », une praticienne chevronnée de l’évaluation partage ses réflexions sur le rôle et la valeur de la théorie en évaluation (A. Dignard).
Pearl Eliadis, Jan-Eric Furubo & Steve Jacob (eds), Evaluation: Seeking Truth or Power, New Brunswick, N.J.: Transaction Publishers, 2011, 240 pages.
Ce livre étudie les relations de pouvoir qui peuvent surgir dans le cadre d’une démarche d’évaluation. Les auteurs cherchent à comprendre dans quelle mesure les évaluateurs recherchent le pouvoir pour leurs propres intérêts en s’appuyant sur le postulat que « si vous êtes en possession d’un attribut qui procure du pouvoir, pourquoi ne pas l’utiliser? ».
http://www.transactionpub.com/title/Evaluation-978-1-4128-1141-5.html
Table des matières
1. Evaluation: For Public Good or Professional Power?
Jan-Eric Furubo and Ove Karlsson Vestman
Section I: “Do unto Ourselves….”
2. Policy and Evaluation: Many Powers, Many Truths
Andrew Gray and Bill Jenkins
3. Sharing Power among Evaluation Players: Mission Possible?
Steve Jacob
4. Taking One’s Own Medicine? The Self-Evaluation of the Danish Evaluation Institute
Peter Dahler-Larsen
Section II: Game Frontiers: Political and Administrative Players
5. PART: Program Assessment or Power Grab?
Jonathan D. Breul
6. Co-Ordination of Social Policies at the EU Level: An Ambiguous Relationship between Evaluation and Politics
Jean-Claude Barbier
7. The Power of Illusion: Evaluative Information and Political Steering in Valais
Katia Horber-Papazian
8. Peer Evaluation—The Powerful Peer?
Sandra Speer
Section III: To Have and to Hold … Power
9. Using Their Discretion: How State Audit Institutions Determine Which Performance Audits to Undertake
Jeremy Lonsdale
10. Power Asymmetries and Performance Audits: The Canadian Human Rights Commission and the Auditor General of Canada
Pearl Eliadis
Postscript
Evaluators in the Land of Oz-Dealing with Hard and Soft Power
Ray C. Rist
Dans le dernier numéro de la revue Evaluation, Steve Jacob et Yves Boisvert recensent les avantages, inconvénients et défis de la professionnalisation de l’évaluation. Cet article présente également à travers une étude de cas les tentatives entreprises par la Société québécoise d’évaluation de programmes.
Résumé de l’article. Les débats et réflexions sur la professionnalisation de l’évaluation alimentent de nombreuses discussions et polémiques. La littérature sur le sujet présente les points de vues divergents de ceux qui encouragent ou s’opposent à l’élaboration de procédures limitant l’accès à la profession ou de mécanismes de contrôle de la qualité. Cet article étudie les objectifs poursuivis (ex. institutionnalisation, amélioration de la qualité et pratiques éthiques) et les difficultés rencontrées par les promoteurs de la professionnalisation de l’évaluation. Il présente les mécanismes et procédures que la Société québécoise d’évaluation de programme (SQEP) a tenté de développer au Canada. Les mécanismes et procédures envisagés inclus la rédaction d’une charte de l’évaluation, la création ou l’adhésion à un ordre professionnel et la certification des évaluateurs. Cet article s’appuie sur une revue de la littérature, une recherche documentaire et des entrevues semi-dirigées qui ont été réalisées auprès de membres ou d’anciens membres de la SQEP et de son conseil d’administration. Les résultats contribuent au débat sur la professionnalisation de l’évaluation qui apparaît dans la plupart des pays où l’évaluation atteint un certain niveau de maturité de la pratique.
Deux étudiants du laboratoire PerfEval contribuent au dernier numéro du Bulletin de la Société Québécoise d’Évaluation de Programme (SQÉP). Jean-François Bélanger présente la nouvelle politique sur l’évaluation du gouvernement fédéral. Mbaï-Hadji Mbaïrewaye analyse la place qu’occupe l’éthique dans la pratique évaluative.
Les finalités de cette université d’été sont les suivantes :
1. Elle offrira l’opportunité aux chercheurs ayant un intérêt commun autour de l’évaluation de se rencontrer, d’échanger autour de leurs travaux et de se former à de nouvelles méthodologies ;
2. Elle présente pour les jeunes chercheurs ¬– qui se heurtent à la difficulté d’explorer un champ de recherche mal balisé et éclaté, tout en faisant allégeance à leur discipline de rattachement – l’opportunité de bénéficier du transfert d’expérience lié à un dialogue intergénérationnel afin d’appréhender l’évaluation à partir de bases communes.
3. Cette université d’été constituera une étape importante dans la construction de la légitimité d’un champ propre de la recherche en évaluation. C’est une priorité de la SFE que de soutenir la construction d’un pôle recherche fort pour poursuivre et améliorer les apports mutuels entre les chercheurs et les praticiens de l’évaluation dans une perspective commune de développement des pratiques.
4. Enfin, une politique internationale de partenariat scientifique sera mise en œuvre afin de bénéficier des expériences étrangères en matière de recherche en évaluation et diffuser les expériences françaises. Ceci est un moyen important d’améliorer la portée et la qualité des travaux scientifiques.
Pour en savoir plus : http://www.sfe-asso.fr/sfe-evaluation.php?menu_id=473
Un article sur la conceptualisation et la mesure de l’évaluation participative rédigé par deux membres de l’équipe de recherche PerfEval a récemment été publié : Daigneault, P.-M. et Jacob, S. (2009), Toward Accurate Measurement of Participation: Rethinking the Conceptualization and Operationalization of Participatory Evaluation », American Journal of Evaluation, vol. 30, no 3, pp. 330-348.
Pierre-Marc Daigneault, un doctorant membre du laboratoire de recherche PerfEval, a reçu une bourse d’excellence du Département de science politique pour participer à l’Institute for Qualitative and Multi-Method Research qui aura lieu du 26 mai au 10 juin, à la Maxwell School de l’Université de Syracuse, dans l’État de New York. L’école d’été, qui est organisée par le Consortium of Qualitative Research Methods, rassemble des étudiants et de jeunes professeurs d’universités du monde entier pour des cours intensifs sur la méthodologie qualitative. Parmi les distingués professeurs qui enseigneront à l’Institut, mentionnons David Collier, Colin Elman, John Gerring Gary Goertz et Gary King, notamment.
L’évaluation de politiques ou de programmes s’est enracinée dans les pratiques de la gestion publique contemporaine. Dans le présent article, nous décrivons les multiples finalités poursuivies par l’évaluation (ex. : production d’information, amélioration des programmes, alimentation du débat démocratique) et les principaux débats qui animent la communauté des évaluateurs. Parmi ces débats, celui sur le courant de la décision fondée sur des données probantes est l’un des plus récents et des plus vifs. Les principales tensions portent sur la hiérarchisation des connaissances évaluatives, l’utilisation contrainte des connaissances et la volonté d’homogénéiser la pratique évaluative. En observant ces développements, nous constatons également une résurgence de la rationalisation des processus de prise de décisions et des principes de gestion publique qui semblent être en décalage avec les aspirations de la population à plus de participation et de transparence. Dans le présent article, nous présentons également les défis auxquels sont confrontés les décideurs et les gestionnaires publiques face à la réinvention de l’État rationnel.
Lire l'articleLe laboratoire de recherche PerƒEval de l'Université Laval offre des bourses de recherche de maîtrise et de doctorat à d'excellents étudiants démontrant un intérêt pour la recherche sur le Nord.
Pour plus d'informations, veuillez consulter la fiche descriptive des bourses proposées:
Obtention d’une subvention de recherche – Le laboratoire PerƒEval a obtenu une subvention de trois ans du Conseil de recherches en sciences humaines du Canada (CRSH) dans le cadre de son programme « Les communautés du Nord … vers une prospérité sociale et économique ». La recherche dirigée par Steve Jacob et Thierry Rodon va s’intéresser à la gouvernance participative dans les Territoires du Nord-Ouest et au Nunavut.