Évaluation provisoire de la politique d'évaluation du Conseil du Trésor\nCentre d'excellence en Ã©valuation\nConseil du TrÃ©sor du Canada\n1.1 PORTÃ‰E DE L'Ã‰VALUATION PROVISOIRE\n1.2 QUESTIONS EXAMINÃ‰ES LORS DE L'Ã‰VALUATION\n1.3 MÃ‰THODOLOGIE D'Ã‰VALUATION\n2.0 LA POLITIQUE D'Ã‰VALUATION\n2.1 EXIGENCES DE LA POLITIQUE\n2.3 RESPONSABILITÃ‰S DE LA MISE EN OEUVRE DE LA POLITIQUE\n3.0 RÃ‰SULTATS DE L'Ã‰VALUATION PROVISOIRE\n3.1 PROGRÃˆS AU NIVEAU DE LA MISE EN OEUVRE\n3.2 LACUNES TOUCHANT LA MISE EN OEUVRE INTÃ‰GRALE\n3.3 DIFFICULTÃ‰S RATTACHÃ‰ES Ã€ LA MISE EN OEUVRE\n3.4 RÃ”LES ET RESPONSABILITÃ‰S DU CEE\n4.1 PROGRÃˆS RÃ‰ALISÃ‰S DANS LA MISE EN OEUVRE\n4.2 DIFFICULTÃ‰S ET OBSTACLES CONCERNANT LA MISE EN OEUVRE\n4.3 RÃ”LES ET RESPONSABILITÃ‰S DU CEE\nL'Ã©valuation provisoire vise Ã faire le point sur les progrÃ¨s rÃ©alisÃ©s jusqu'Ã prÃ©sent dans la mise en oeuvre de la nouvelle politique d'Ã©valuation (la politique). ParallÃ¨lement Ã l'approbation de la politique, le Conseil du TrÃ©sor a financÃ© les deux premiÃ¨res annÃ©es du programme Ã©talÃ© sur quatre ans, le financement des troisiÃ¨me et quatriÃ¨me annÃ©es Ã©tant tributaire des rÃ©sultats de l'Ã©valuation provisoire. L'Ã©valuation provisoire a Ã©tÃ© rÃ©alisÃ©e au cours des premiÃ¨res Ã©tapes du processus de mise en oeuvre, le travail sur le terrain s'Ã©tant dÃ©roulÃ© dans les 12 Ã 18 mois suivant le dÃ©but du processus. Selon les normes Ã©tablies, cette Ã©valuation provisoire a Ã©tÃ© effectuÃ©e relativement tÃ´t dans la vie de la politique d'Ã©valuation rÃ©visÃ©e. Par consÃ©quent, elle est nÃ©cessairement centrÃ©e sur les questions de mise en oeuvre plutÃ´t que sur les rÃ©percussions de la politique.\nL'Ã©tude a Ã©tÃ© rÃ©alisÃ©e par des conseil-experts de l'extÃ©rieur et est fondÃ©e sur les mÃ©thodes dÃ©crites dans le cadre de gestion et de responsabilisation axÃ©es sur les rÃ©sultats (CGRR) mis au point pour la politique (c.-Ã -d., enquÃªte auprÃ¨s des ministÃ¨res, Ã©tudes de cas et entrevues avec les reprÃ©sentants des ministÃ¨res, les intervenants des organisations externes et les secteurs des programmes du SCT). Le CGRR a Ã©tÃ© mis au point conjointement par le Centre d'excellence en Ã©valuation (CEE), le bureau du SecrÃ©tariat du Conseil du TrÃ©sor mis sur pied pour faciliter la mise en oeuvre de la politique, et la collectivitÃ© d'Ã©valuation du gouvernement fÃ©dÃ©ral, reprÃ©sentÃ©e par un groupe de travail composÃ© de chefs de l'Ã©valuation.\nLes principales questions examinÃ©es pour l'Ã©valuation provisoire ont Ã©tÃ© les suivantes :\nQuestion no 1 : Quelle est l'ampleur des progrÃ¨s rÃ©alisÃ©s dans la mise en oeuvre?\nQuestion no 2 : Que reste-t-il Ã accomplir pour parvenir Ã la mise en oeuvre complÃ¨te?\nQuestion no 3 : Quelles sont les difficultÃ©s particuliÃ¨res posÃ©es par la mise en oeuvre de la politique Ã court et Ã long terme?\nQuestion no 4 : Quel(s) est(sont) le(s) rÃ´le(s) pertinent(s) du CEE dans la mise en oeuvre de la politique?\nConstatations relatives aux progrÃ¨s rÃ©alisÃ©s et aux lacunes en matiÃ¨re de mise en oeuvre (questions nos 1 et 2)\nLes rÃ©sultats de l'Ã©valuation indiquent d'abord que la mise en oeuvre comme telle de la politique varie considÃ©rablement selon les ministÃ¨res et organismes. Bon nombre de petits organismes dÃ©clarent disposer d'une fonction d'Ã©valuation trÃ¨s limitÃ©e, voire inexistante. Parmi les ministÃ¨res de taille moyenne et de grande taille, certains ne font que commencer Ã mettre en oeuvre la nouvelle politique, tandis que d'autres considÃ¨rent Ãªtre encore loin du point mÃ©dian du processus. Comme on peut s'y attendre, les progrÃ¨s les plus importants ont Ã©tÃ© accomplis dans les ministÃ¨res qui disposaient d'une fonction plus mature avant l'adoption de la politique rÃ©visÃ©e.\nLes rÃ©sultats d'Ã©valuation indiquent par ailleurs que :\nTrente-neuf (soit 93 %) des 42 ministÃ¨res et organismes dotÃ©s d'une fonction d'Ã©valuation ont un comitÃ© actif de vÃ©rification et d'Ã©valuation, dont 33 (85 %) sont prÃ©sidÃ©s par des sous-ministres ou des fonctionnaires de niveau Ã©quivalent.\nLa moitiÃ© des ministÃ¨res et organismes ayant rÃ©pondu Ã l'enquÃªte ont un plan d'Ã©valuation approuvÃ© pour 2002-2003 (hausse de 23 % par rapport Ã 2001-2002).\nAu cours des deux derniÃ¨res annÃ©es, 27 % des Ã©tudes d'Ã©valuation (reprÃ©sentant 54 % des grands ministÃ¨res/organismes) ont dÃ©passÃ© les domaines de programme traditionnels pour s'appliquer aux politiques et initiatives plus vastes du gouvernement.\nLa productivitÃ© en matiÃ¨re de CGRR et d'Ã©tudes d'Ã©valuation a augmentÃ© de faÃ§on significative au cours des deux derniÃ¨res annÃ©es.\nLe nombre d'Ã©tudes sur la mesure du rendement est en hausse. En raison de la mise en application des CGRR, on prÃ©voit un accroissement du niveau d'intÃ©gration de la mesure du rendement et de l'Ã©valuation.\nAvant l'Ã©tablissement de la politique, on a reconnu la prÃ©sence de lacunes au niveau de la capacitÃ© d'Ã©valuation dans bon nombre de ministÃ¨res et d'organismes. L'Ã©valuation provisoire montre que les ministÃ¨res investissent dans la fonction d'Ã©valuation et, malgrÃ© l'augmentation des ETP, dont le nombre est passÃ© de 230 Ã 286, on est encore aux prises avec une pÃ©nurie importante d'Ã©valuateurs professionnels (105 ETP) qui sont nÃ©cessaires pour parvenir Ã une fonction d'Ã©valuation mature dans les ministÃ¨res, et pour rÃ©pondre aux exigences de la politique d'Ã©valuation. Les rÃ©sultats d'Ã©valuation indiquent par ailleurs que :\nDans certains grands ministÃ¨res, la capacitÃ© d'Ã©valuation demeure minimale, tandis que les petits organismes ne disposent gÃ©nÃ©ralement pas de ressources pour l'Ã©valuation.\nIl existe des problÃ¨mes au niveau du calendrier et du rÃ´le accordÃ© aux Ã©valuations, ce qui empÃªche leur utilisation dans le processus dÃ©cisionnel pour les prÃ©sentations au CT.\nÃ‰tant donnÃ© que la politique d'Ã©valuation rÃ©visÃ©e est en vigueur depuis avril 2001, il est trop tÃ´t pour dÃ©terminer si les CGRR sont adÃ©quatement mis en application et s'ils amÃ©liorent effectivement la qualitÃ© du travail d'Ã©valuation et de mesure du rendement.\nLes exigences du travail d'Ã©valuation des gestionnaires de programme des ministÃ¨res dÃ©passent parfois la capacitÃ© du secteur de l'Ã©valuation, tel qu'il est dotÃ© actuellement.\nDans le cas des ministÃ¨res de taille moyenne et de grande taille, il faudra beaucoup de temps pour Ã©valuer tous les programmes, politiques et initiatives couverts par la politique d'Ã©valuation. Par exemple, alors que 11 des 24 ministÃ¨res de taille moyenne et de grande taille indiquent qu'il faudrait moins de six ans pour effectuer l'Ã©valuation de tous les programmes, politiques et initiatives visÃ©s par la politique, 13 des 24 estiment qu'il faudrait compter de six Ã dix ans.\nÃ‰tant donnÃ© que l'Ã©valuation provisoire a Ã©tÃ© menÃ©e peu de temps aprÃ¨s l'entrÃ©e en vigueur de la politique d'Ã©valuation, on a rÃ©alisÃ© des progrÃ¨s satisfaisants quant Ã la mise en oeuvre de la politique, et ce, en dÃ©pit de diverses difficultÃ©s Ã©prouvÃ©es, telles que :\nle remaniement ou la redÃ©finition nÃ©cessaires de la fonction au sein de nombreux ministÃ¨res;\nune pÃ©nurie importante d'Ã©valuateurs qualifiÃ©s travaillant actuellement au sein du gouvernement fÃ©dÃ©ral.\nDe surcroÃ®t, les petits organismes, dont la plupart sont dotÃ©s d'une capacitÃ© d'Ã©valuation restreinte ou inexistante, accusent un retard au niveau de la mise en oeuvre de la politique. Jusqu'Ã prÃ©sent, les progrÃ¨s rÃ©alisÃ©s dans la mise en oeuvre concernent principalement les ministÃ¨res de taille moyenne et de grande taille qui, dÃ©jÃ , possÃ©daient une certaine capacitÃ© d'Ã©valuation avant l'entrÃ©e en vigueur de la politique. Les petits organismes ne sont toujours pas en mesure de rÃ©pondre aux exigences de la nouvelle politique. On devrait prendre des mesures pour s'assurer que ces organismes connaissent la politique, le CEE et ses produits et services, et qu'ils disposent du soutien nÃ©cessaire pour mettre en oeuvre les aspects pertinents de la politique, compte tenu de leurs besoins opÃ©rationnels particuliers.\nConstatations relatives aux difficultÃ©s que soulÃ¨ve la mise en oeuvre intÃ©grale (question no 3)\nCertaines des difficultÃ©s importantes que soulÃ¨ve la mise en oeuvre de la nouvelle politique sont les suivantes :\nDe nombreux ministÃ¨res procÃ¨dent actuellement Ã l'Ã©tablissement ou au remaniement de leur fonction d'Ã©valuation de faÃ§on qu'elle soit convenablement dotÃ©e.\nLe nombre de professionnels de l'Ã©valuation au sein du gouvernement fÃ©dÃ©ral et la demande d'Ã©valuateurs qualifiÃ©s ont eu de fortes rÃ©percussions sur les efforts dÃ©ployÃ©s pour le recrutement, ainsi que sur la crÃ©ation et le maintien des capacitÃ©s.\nCompte tenu de la taille relativement petite de la collectivitÃ© de l'Ã©valuation, les mÃ©thodes traditionnelles de recrutement, de formation et de perfectionnement professionnel du gouvernement fÃ©dÃ©ral ne sont vraisemblablement pas adaptÃ©es ou efficaces.\nPour parvenir Ã la mise en oeuvre intÃ©grale de la politique d'Ã©valuation, il faudra un Â« changement de mentalitÃ© Â» au sein de nombreux ministÃ¨res, notamment une Ã©volution des rÃ´les des gestionnaires de programme, de la fonction d'Ã©valuation et des cadres supÃ©rieurs. La crÃ©ation d'une nouvelle culture d'entreprise exigera du temps, des ressources et du soutien des cadres supÃ©rieurs.\nLe contexte de Â« gestion axÃ©e sur les rÃ©sultats Â», conjuguÃ© aux exigences de la politique sur les paiements de transfert, crÃ©e une demande importante d'Ã©valuateurs dont l'expertise est nÃ©cessaire pour mesurer le rendement et Ã©laborer un cadre d'Ã©valuation afin d'aider les gestionnaires de programmes.\nConclusions relatives aux difficultÃ©s que soulÃ¨ve la mise en oeuvre intÃ©grale (question no 3)\nL'augmentation du niveau de productivitÃ© de la fonction au cours des 18 derniers mois, dÃ©crite dans la prÃ©sente Ã©valuation provisoire, risque de ne pas Ãªtre durable si on ne prend pas des mesures vigoureuses pour combler les lacunes actuelles en matiÃ¨re de budget et de ressources humaines.\nLes prÃ©visions de volume de travail sont Ã©tablies en fonction d'un taux d'augmentation d'environ 200 % pour les deux prochaines annÃ©es alors qu'on a prÃ©vu une augmentation de l'effectif de 20 Ã 30 % seulement au cours de la mÃªme pÃ©riode. Cette demande accrue de productivitÃ© de la fonction aprÃ¨s la mise en oeuvre des diverses politiques (principalement la politique d'Ã©valuation mÃªme et la politique sur les paiements de transfert) et les mÃ©thodes de mesure des rÃ©sultats exigeront une augmentation proportionnelle tant du budget que du personnel afin d'assurer le maintien de la productivitÃ©. Lors de la mise en valeur des ressources d'Ã©valuation Ã l'Ã©chelle du gouvernement, il est important que les ministÃ¨res soutiennent la fonction d'Ã©valuation aprÃ¨s la mise en oeuvre intÃ©grale de la politique.\nAfin de rÃ©gler les questions de perfectionnement de la collectivitÃ©, telles que le maintien en poste, la formation et le perfectionnement professionnel, il faudra faire preuve de crÃ©ativitÃ© pour trouver une solution de rechange Ã la mÃ©thode traditionnelle de recrutement et de formation professionnelle actuellement adoptÃ©e par le gouvernement fÃ©dÃ©ral. Compte tenu de la taille relativement modeste de la collectivitÃ©, il faudra Ã©tablir et maintenir des partenariats et des rÃ©seaux avec les associations professionnelles externes et les groupes internes du secteur de l'Ã©valuation. Bien que cette mÃ©thode exige au dÃ©part des ressources importantes, elle rÃ©glera vraisemblablement plus rapidement ces questions que les mÃ©thodes traditionnelles adoptÃ©es par le gouvernement pour le recrutement et le perfectionnement de professionnels.\nConstatations relatives aux rÃ´les et responsabilitÃ©s du CEE\n(question no 4)\nIl est impÃ©ratif d'Ã©tablir dans l'immÃ©diat une organisation d'experts-conseils et de coordination telle que le CEE, afin de soutenir et d'orienter la mise en oeuvre de la politique, Ã©tant donnÃ© que la collectivitÃ© de l'Ã©valuation est confrontÃ©e Ã un certain nombre de problÃ¨mes.\nDans de nombreux ministÃ¨res, la mise en oeuvre intÃ©grale de la politique exigera un changement culturel afin de crÃ©er un environnement dans lequel les gestionnaires prennent l'initiative d'intÃ©grer la pratique d'Ã©valuation Ã leur travail. Le CEE peut jouer un rÃ´le de direction en aidant les ministÃ¨res Ã amorcer ce changement culturel, en reconnaissant qu'un changement fondamental de cette nature exigera du temps, des ressources et du soutien des cadres supÃ©rieurs.\nLes rÃ´les dÃ©finis par les ministÃ¨res et les organismes durant le processus d'Ã©valuation provisoire sont les suivants :\njouer un rÃ´le de direction et de porte-parole de la collectivitÃ© de l'Ã©valuation au sein du gouvernement du Canada;\nprodiguer des conseils et formuler des avis pour la mise en oeuvre de la politique;\ndÃ©velopper la capacitÃ© d'Ã©valuation des ministÃ¨res et des organismes.\nParmi les intervenants Ã l'extÃ©rieur des groupes d'Ã©valuation au sein des ministÃ¨res et organismes (p. ex. secteurs des programmes du SCT, Bureau du vÃ©rificateur gÃ©nÃ©ral, associations professionnelles d'Ã©valuateurs), on appuie massivement la participation accrue du CEE Ã :\nla surveillance et la communication de rapports sur la capacitÃ© d'Ã©valuation et la mise en oeuvre de la politique au sein du gouvernement fÃ©dÃ©ral;\nl'examen des rapports d'Ã©valuation au titre des prÃ©sentations au CT;\nle soutien du rÃ´le du service du budget du SCT.\nConclusions relatives aux rÃ´les et responsabilitÃ©s du CEE\nIl est nÃ©cessaire que le CEE continue d'assumer un rÃ´le de direction afin d'aider la collectivitÃ© de l'Ã©valuation Ã mettre en oeuvre la politique. Jusqu'Ã prÃ©sent, le CEE a rÃ©ussi dans ce rÃ´le, compte tenu des nombreuses difficultÃ©s Ã©prouvÃ©es au cours des 18 derniers mois. Selon l'enquÃªte rÃ©alisÃ©e dans le cadre de l'Ã©valuation provisoire, il est clair que pour accomplir des progrÃ¨s complÃ©mentaires dans la mise en oeuvre de la politique, la collectivitÃ© de l'Ã©valuation cherche un organe de direction centralisÃ©, assumant un rÃ´le semblable Ã celui du CEE, aux premiÃ¨res Ã©tapes de la mise en oeuvre. Ce rÃ´le de direction sera nÃ©cessaire en permanence afin de promouvoir l'importance de l'Ã©valuation auprÃ¨s des cadres supÃ©rieurs, d'apporter un soutien continu au dÃ©veloppement des capacitÃ©s Ã l'Ã©chelle du systÃ¨me, la formation, les outils et les guides destinÃ©s Ã faciliter la mise en oeuvre de la politique, de relever des pratiques exemplaires pour diffusion au sein de la collectivitÃ©.\nParmi les rÃ´les importants que le CEE devra assumer au cours des deux prochaines annÃ©es, citons son soutien au SecrÃ©tariat dans l'utilisation des rÃ©sultats d'Ã©valuation pour le processus dÃ©cisionnel. Les entrevues menÃ©es auprÃ¨s des principales personnes interrogÃ©es des secteurs des programmes du SecrÃ©tariat soulignent que le CEE devrait participer davantage Ã l'analyse des CGRR et aux Ã©valuations au titre des prÃ©sentations. Compte tenu du nombre accru d'Ã©tudes d'Ã©valuation prÃ©vues durant la pÃ©riode et du renforcement du rÃ´le du service du budget du SecrÃ©tariat, ce besoin sera probablement plus criant au cours des deux prochaines annÃ©es.\nLe prÃ©sent rapport vise Ã prÃ©senter un rÃ©sumÃ© des constatations de l'Ã©valuation provisoire de la politique d'Ã©valuation du Conseil du TrÃ©sor, entrÃ©e en vigueur en avril 2001. La prÃ©sente section dÃ©crit le contexte de l'Ã©valuation, y compris la portÃ©e, les questions et les mÃ©thodes utilisÃ©es pour l'Ã©valuation. La section 2.0 porte sur le contexte de la politique d'Ã©valuation. Les constatations de l'Ã©valuation provisoire sont prÃ©sentÃ©es Ã la section 3.0. Enfin, les conclusions de l'Ã©tude sont exposÃ©es Ã la section 4.0.\n1.1 PortÃ©e de l'Ã©valuation provisoire\nL'Ã©valuation provisoire vise Ã faire le point sur les progrÃ¨s rÃ©alisÃ©s jusqu'Ã prÃ©sent dans la mise en oeuvre de la nouvelle politique d'Ã©valuation (la politique) dans 87 ministÃ¨res et organismes assujettis Ã la politique. Afin de faciliter la mise en oeuvre de la politique, le Conseil du TrÃ©sor a financÃ© les deux premiÃ¨res annÃ©es d'un programme Ã©talÃ© sur quatre ans, le financement des troisiÃ¨me et quatriÃ¨me annÃ©es Ã©tant tributaire des rÃ©sultats d'une Ã©valuation provisoire. Les ministres du Conseil du TrÃ©sor ont Ã©tabli un Centre d'excellence en Ã©valuation (CEE) destinÃ© Ã aider la mise en oeuvre de la politique, en particulier le dÃ©veloppement des capacitÃ©s. Ã‰tant donnÃ© que cette Ã©valuation provisoire a Ã©tÃ© rÃ©alisÃ©e au cours des premiers stades du processus de mise en oeuvre, elle est davantage centrÃ©e sur les questions de mise en oeuvre plutÃ´t que sur les rÃ©percussions de la politique. Comme il est Ã©noncÃ© dans le cadre de gestion et de responsabilisation axÃ© sur les rÃ©sultats (CGRR) mis au point pour la politique :\nÂ« Il faut plus 18 mois pour mettre pleinement en oeuvre la politique d'Ã©valuation ou pour Ã©valuer ses rÃ©percussions. Cependant, comme on doit dÃ©terminer s'il faut prolonger le financement de l'analyse de rentabilisation aux troisiÃ¨me et quatriÃ¨me annÃ©es, il est nÃ©cessaire de procÃ©der Ã des Ã©valuations prÃ©liminaires Â» .(1)\nLa portÃ©e de l'Ã©valuation provisoire est l'Ã©valuation des progrÃ¨s accomplis jusqu'Ã prÃ©sent en matiÃ¨re de mise en oeuvre et de rÃ©sultats prÃ©vus de la politique.\n1.2 Questions examinÃ©es lors de l'Ã©valuation\nLes principaux problÃ¨mes d'Ã©valuation traitÃ©s dans l'Ã©valuation provisoire sont dÃ©crits dans le CGRR pour la politique. Ici Ã©galement, compte tenu de la pÃ©riode choisie pour l'Ã©valuation, la prÃ©sente Ã©tude est centrÃ©e sur l'Ã©tendue des progrÃ¨s rÃ©alisÃ©s jusqu'Ã prÃ©sent en regard des objectifs de dÃ©marrage ou de mise en oeuvre. Les questions d'Ã©valuation sont prÃ©sentÃ©es au tableau 1 ci-dessous.\nTableau 1 - Questions et sous questions examinÃ©es lors de l'Ã©valuation provisoire\nQuel est l'Ã©tat actuel de la mise en oeuvre de la politique d'Ã©valuation?\nLes ministÃ¨res ont-ils rÃ©alisÃ© des progrÃ¨s en ce qui concerne la mise en application d'un mÃ©canisme de mesure du rendement continu?\nQuelles sont les pratiques actuelles d'Ã©valuation des ministÃ¨res?\nLes ministÃ¨res sont-ils dotÃ©s d'une capacitÃ© d'Ã©valuation adÃ©quate?\nLa fonction d'Ã©valuation produit-elle des renseignements et des rÃ©sultats qui sont intÃ©grÃ©s au processus dÃ©cisionnel des ministÃ¨res?\nLa politique a-t-elle permis d'amÃ©liorer l'Ã©laboration, la mise en oeuvre et le renouvellement des programmes, des politiques et des initiatives?\nLes organismes externes utilisent-ils les rÃ©sultats des Ã©valuations et de la mesure du rendement dans le processus dÃ©cisionnel?\nQuestion no 2 : Que reste-t-il Ã accomplir pour parvenir Ã la mise en oeuvre intÃ©grale?\nQuestion no 3 : Quels sont les dÃ©fis particuliers que pose la mise en oeuvre de la politique Ã court et Ã long terme?\n1.3 MÃ©thodologie d'Ã©valuation\nLa mÃ©thodologie utilisÃ©e pour l'Ã©valuation provisoire a intÃ©grÃ© trois sources de donnÃ©es Ã©noncÃ©es dans le CGRR pour la politique. Ces sources de donnÃ©es ont consistÃ© en une enquÃªte auprÃ¨s de la collectivitÃ© de l'Ã©valuation, des entrevues avec les principales personnes interrogÃ©es et des Ã©tudes de cas. Chaque mÃ©thode a Ã©tÃ© conÃ§ue et mise en oeuvre par un consultant externe.\n1.3.1 EnquÃªte auprÃ¨s de la collectivitÃ© de l'Ã©valuation(2)\nPour collecter les donnÃ©es dÃ©taillÃ©es sur l'Ã©tat actuel des fonctions d'Ã©valuation au sein des ministÃ¨res et organismes fÃ©dÃ©raux, on a procÃ©dÃ© Ã une enquÃªte auprÃ¨s de la collectivitÃ© de l'Ã©valuation durant les mois de juin et de juillet 2002. Un questionnaire portant sur une vaste gamme de questions rattachÃ©es aux fonctions d'Ã©valuation des organisations individuelles et du CEE a Ã©tÃ© envoyÃ© par la poste Ã chacun des 87 ministÃ¨res et organismes fÃ©dÃ©raux assujettis Ã la politique. On a utilisÃ© deux versions diffÃ©rentes de l'enquÃªte, selon la taille de l'organisation et sa capacitÃ© d'Ã©valuation. Le questionnaire le plus long (appelÃ© le modÃ¨le standard) a Ã©tÃ© envoyÃ© Ã 44 ministÃ¨res de grande taille et de taille moyenne dotÃ©s d'une certaine capacitÃ© d'Ã©valuation au moment de l'administration de l'enquÃªte. On a fait parvenir un questionnaire plus court (appelÃ© le modÃ¨le pour les petits organismes) Ã 43 petits organismes considÃ©rÃ©s Ãªtre dotÃ©s d'une capacitÃ© d'Ã©valuation limitÃ©e ou inexistante au moment de l'administration de l'enquÃªte. Pour catÃ©goriser les ministÃ¨res et organismes aux fins de l'enquÃªte, on s'est fondÃ© sur les renseignements relatifs Ã la collectivitÃ© de l'Ã©valuation gÃ©rÃ©s par le CEE. La version la plus courte a Ã©tÃ© conÃ§ue de faÃ§on Ã tenir compte de la taille, des besoins et du contexte propres aux petits organismes, tout en limitant les exigences en matiÃ¨re de rapport. Dans le cas des ministÃ¨res et organismes qui ont reÃ§u le questionnaire plus long, on a invitÃ© les chefs de l'Ã©valuation Ã rÃ©pondre Ã l'enquÃªte. Ce fut Ã©galement le cas des petits organismes au sein desquels un chef de l'Ã©valuation Ã©tait clairement identifiÃ©; lorsque le poste n'existait pas, on a fait parvenir le questionnaire Ã l'agent financier supÃ©rieur qui a Ã©tÃ© priÃ© de le remplir au nom de l'organisme.\nOn a obtenu un taux de rÃ©ponse global de 72 %, soit un taux de rÃ©ponse de 93 % des ministÃ¨res de grande taille et de taille moyenne (41 questionnaires retournÃ©s) et de 51 % des petits organismes (22 questionnaires retournÃ©s).\n1.3.2 Entrevues avec les principales personnes interrogÃ©es(3)\nOn a effectuÃ© ces entrevues avec des reprÃ©sentants de 16 ministÃ¨res et organismes, des secteurs des programmes du SecrÃ©tariat du Conseil du TrÃ©sor (SCT), du Bureau du vÃ©rificateur gÃ©nÃ©ral (BVG) et de la SociÃ©tÃ© canadienne d'Ã©valuation (SCE). Cette mÃ©thode a Ã©tÃ© jugÃ©e essentielle pour obtenir de l'information sur la mise en oeuvre de la politique et sur la capacitÃ© d'Ã©valuation afin de soutenir le processus dÃ©cisionnel dans le contexte de la gestion axÃ©e sur les rÃ©sultats. Au total, 61 personnes ont participÃ© aux entrevues.\nOn a rÃ©alisÃ© les entrevues Ã l'aide d'un guide d'entrevue semi-structurÃ©, fondÃ© sur les questions d'Ã©valuation. On a remis au prÃ©alable aux principales personnes interrogÃ©es une copie du guide d'entrevue afin qu'elles prÃ©parent leurs rÃ©ponses. Les entrevues ont Ã©tÃ© rÃ©alisÃ©es de juillet Ã octobre 2002.\nLes ministÃ¨res choisis pour les entrevues formaient un groupe reprÃ©sentatif de ministÃ¨res et d'organismes de grande, moyenne et petite taille et dont la capacitÃ© d'Ã©valuation variait considÃ©rablement (minimale Ã solide). Dans chaque ministÃ¨re ou organisme sÃ©lectionnÃ©, l'Ã©quipe d'Ã©valuation s'est efforcÃ©e de s'entretenir avec le directeur d'Ã©valuation, le directeur gÃ©nÃ©ral responsable de l'Ã©valuation et le sous-ministre ou les sous-ministres adjoints/dÃ©lÃ©guÃ©s. Au total, 44 reprÃ©sentants ministÃ©riels ont participÃ© aux entrevues avec les principales personnes interrogÃ©es : 19 directeurs de l'Ã©valuation ou gestionnaires de l'Ã©valuation, 12 directeurs gÃ©nÃ©raux responsables de la fonction d'Ã©valuation et 13 cadres supÃ©rieurs du niveau de sous-ministre, sous-ministre dÃ©lÃ©guÃ© ou sous-ministre adjoint.\nOn a Ã©galement rÃ©alisÃ© des entrevues avec des reprÃ©sentants des secteurs des programmes du SCT, du BVG et de la SCE.\n1.3.3 Ã‰tudes de cas (4)\nAfin de fournir des renseignements qualitatifs plus dÃ©taillÃ©s sur des questions telles que le recours Ã l'Ã©valuation par les gestionnaires de programme et la qualitÃ© des rapports d'Ã©valuation, huit Ã©tudes de cas ont Ã©tÃ© menÃ©es auprÃ¨s de ministÃ¨res de taille moyenne et de grande taille. Les critÃ¨res de sÃ©lection des ministÃ¨res devant participer Ã ces Ã©tudes de cas dans le cadre de l'Ã©valuation provisoire ont Ã©tÃ© les suivants :\nune fonction assez bien Ã©tablie pour permettre l'analyse des produits d'Ã©valuation Ã©laborÃ©s par le ministÃ¨re;\nun groupe reprÃ©sentatif d'organismes centrÃ©s sur les politiques ainsi que sur l'exÃ©cution des programmes;\nun groupe reprÃ©sentatif de ministÃ¨res participant aux politiques et programmes scientifiques, sociaux, culturels et ceux concernant l'administration de la justice;\ndans la mesure du possible, des ministÃ¨res et organismes importants, c'est-Ã -dire de taille moyenne ou de grande taille.\nPour chaque Ã©tude de cas, on a demandÃ© au ministÃ¨re participant de fournir jusqu'Ã trois Ã©tudes d'Ã©valuation ou CGRR, rÃ©alisÃ©s au cours du dernier exercice. L'Ã©quipe responsable des Ã©tudes de cas a examinÃ© ces rapports, et a rÃ©alisÃ© des entrevues avec les gestionnaires de programme et les directeurs d'Ã©valuation ayant participÃ© aux Ã©tudes sÃ©lectionnÃ©es.\n2.0 La politique d'Ã©valuation\nLe 1er avril 2001, le Conseil du TrÃ©sor a adoptÃ© de nouvelles politiques rÃ©visÃ©es pour les fonctions d'Ã©valuation et de vÃ©rification interne au sein du gouvernement fÃ©dÃ©ral. Ces politiques remplaÃ§aient la politique d'examen des programmes du SCT, qui avait servi prÃ©cÃ©demment d'orientation stratÃ©gique pour les deux fonctions. En approuvant la politique rÃ©visÃ©e d'Ã©valuation (la politique), les ministres du Conseil du TrÃ©sor ont Ã©laborÃ© une stratÃ©gie de mise en oeuvre sur quatre ans et ont assurÃ© le financement des deux premiÃ¨res annÃ©es. Les ministres ont Ã©galement Ã©tabli un Centre d'excellence en Ã©valuation (CEE) au sein du SecrÃ©tariat, chargÃ© de soutenir et surveiller la rÃ©ussite de la mise en oeuvre de la politique Ã l'Ã©chelle du gouvernement. Alors qu'une partie du financement des deux premiÃ¨res annÃ©es (2,8 millions de dollars a servi Ã l'Ã©tablissement du CEE, la majoritÃ© des ressources (8,6 millions de dollars a Ã©tÃ© allouÃ©e aux ministÃ¨res et organismes assujettis Ã la politique (voir tableau 2 ci-dessous). Les ministres du Conseil du TrÃ©sor ont Ã©galement demandÃ© une Ã©valuation prÃ©liminaire des deux politiques rÃ©visÃ©es aprÃ¨s une pÃ©riode de 18 mois (automne 2002), et une Ã©valuation complÃ¨te Ã la fin du cinquiÃ¨me exercice (2005-2006). Les dÃ©cisions relatives au financement pour les troisiÃ¨me et quatriÃ¨me annÃ©es de la stratÃ©gie de mise en oeuvre seraient tributaires des rÃ©sultats de l'Ã©valuation prÃ©liminaire de la politique sur une pÃ©riode 18 mois.\nTableau 2 - Financement des deux premiÃ¨res annÃ©es de mise en oeuvre de la politique\nL'objectif de la politique rÃ©visÃ©e consiste Ã Â« s'assurer que le gouvernement dispose de renseignements Ã jour axÃ©s sur les points stratÃ©giques, fondÃ©s sur les objectifs et les preuves sur le rendement de ses politiques, programmes et initiatives pour produire de meilleurs rÃ©sultats pour les Canadiens. Â»\nPour appuyer cet objectif, les principales exigences de la politique rÃ©visÃ©e sont :\nCapacitÃ© requise, associÃ©e aux cadres supÃ©rieurs. Les administrateurs gÃ©nÃ©raux doivent Ã©tablir une capacitÃ© d'Ã©valuation appropriÃ©e. Pour ce faire, ils doivent nommer un chef principal de l'Ã©valuation, et Ã©tablir un comitÃ© d'Ã©valuation prÃ©sidÃ© par un haut fonctionnaire du ministÃ¨re. Les ministÃ¨res/organismes ont toujours la possibilitÃ© de regrouper les fonctions d'Ã©valuation et de vÃ©rification dans une seule direction.\nPortÃ©e accrue. Les Ã©valuations doivent maintenant Ãªtre appliquÃ©es aux politiques, programmes et initiatives, au lieu de se limiter aux domaines de programme traditionnels. Elles doivent Ã©galement couvrir tous les programmes exÃ©cutÃ©s par l'entremise de partenariats (interministÃ©riels, intergouvernementaux, etc.).\nAccent mis sur le contrÃ´le du rendement et sur les premiers rÃ©sultats. Les ministÃ¨res doivent intÃ©grer l'Ã©valuation dans le cycle de vie des programmes, politiques et initiatives pour :\nÃ©laborer des cadres de gestion et de responsabilisation axÃ©s sur les rÃ©sultats (CGRR) visant les politiques, initiatives et programmes, nouveaux ou renouvelÃ©s;\nÃ©tablir des pratiques continues de mesure et de surveillance du rendement;\nÃ©valuer les questions reliÃ©es Ã la mise en oeuvre rapide et Ã l'administration de la politique, du programme ou de l'initiative;\nÃ©valuer les questions reliÃ©es Ã la pertinence, aux rÃ©sultats et Ã la rentabilitÃ©.\nÃ€ cette fin, les chefs de l'Ã©valuation doivent collaborer avec les gestionnaires afin de les aider Ã amÃ©liorer la conception, l'exÃ©cution et la mesure du rendement.\nPlanification stratÃ©gique de l'Ã©valuation. Afin d'assurer l'Ã©quilibre du travail d'Ã©valuation et de mieux rÃ©pondre aux prioritÃ©s du ministÃ¨re et du gouvernement, les ministÃ¨res/organismes devraient Ã©tablir un plan d'Ã©valuation axÃ© sur des points stratÃ©giques.\nIntÃ©gration au processus dÃ©cisionnel stratÃ©gique et Ã la gestion. La politique dÃ©finit les facteurs contribuant au succÃ¨s de l'Ã©valuation, notamment l'Ã©tablissement d'un cadre propice dans lequel les gestionnaires intÃ¨grent la pratique d'Ã©valuation Ã leur travail; et le recours Ã l'Ã©valuation en synergie avec les autres outils de gestion afin d'amÃ©liorer le processus dÃ©cisionnel. Les chefs de l'Ã©valuation doivent veiller Ã ce que la pratique d'une saine Ã©valuation dans leur organisation soit faite au regard de ces facteurs. Ã€ cette fin, on doit mettre l'accent sur l'objectivitÃ© de la fonction d'Ã©valuation, et non sur l'indÃ©pendance.\nNormes rÃ©visÃ©es de pratique. La politique comporte un ensemble de lignes directrices simplifiÃ©es et fusionnÃ©es pour la pratique professionnelle en Ã©valuation.\nL'adoption de la nouvelle politique d'Ã©valuation est survenue dans un climat de renouvellement de la fonction publique fÃ©dÃ©rale. Â« Les politiques rÃ©visÃ©es de vÃ©rification interne et d'Ã©valuation font partie de l'engagement permanent du gouvernement en vue de l'amÃ©lioration continue de la gestion et de la responsabilisation Â» (communiquÃ© de presse du 14 fÃ©vrier de la ministre Robillard). Ces changements rÃ©sultaient d'examens parallÃ¨les des deux politiques, effectuÃ©s en 2000, qui incluaient des consultations auprÃ¨s des secteurs public et privÃ©.\n2.2.2 Accent mis sur la gestion axÃ©e sur les rÃ©sultats\nL'amÃ©lioration de la vÃ©rification interne et de l'Ã©valuation appuie le programme de gestion moderne, comme il est indiquÃ© dans Des rÃ©sultats pour les Canadiens et les Canadiennes : Un cadre de gestion pour le gouvernement du Canada(5) .\nLa politique rÃ©visÃ©e d'Ã©valuation accorde un rÃ´le central Ã la fonction d'Ã©valuation pour la gestion axÃ©e sur les rÃ©sultats dans la mesure oÃ¹ elle soutient les efforts dÃ©ployÃ©s par les gestionnaires de programme pour assurer le suivi du rendement rÃ©el et aider les dÃ©cideurs Ã Ã©valuer objectivement les rÃ©sultats des politiques, programmes et initiatives. Elle accorde ainsi Ã l'Ã©valuation un rÃ´le distinct de la vÃ©rification interne, qui vise Ã fournir des assurances quant Ã la stratÃ©gie de gestion des risques, les cadres de contrÃ´le de gestion et de l'information, tant financiÃ¨re que non financiÃ¨re, d'un ministÃ¨re ou d'un organisme.\n2.2.3 Lacunes reconnues en matiÃ¨re de capacitÃ©\nÃ€ l'instar des autres collectivitÃ©s fonctionnelles de l'administration publique fÃ©dÃ©rale, la fonction d'Ã©valuation Ã©prouve des difficultÃ©s Ã se renouveler. Le nombre d'Ã©valuateurs et le niveau des ressources financiÃ¨res consacrÃ©es Ã l'Ã©valuation ont baissÃ© considÃ©rablement depuis le dÃ©but des annÃ©es 1990. L'Ã©tude du SCT rÃ©alisÃ©e en 2000, qui a menÃ© Ã l'adoption de la nouvelle politique, a montrÃ© que la capacitÃ© n'Ã©tait qu'Ã 56 % du niveau nÃ©cessaire pour la mise en oeuvre intÃ©grale des exigences de la politique proposÃ©e(6). Par ailleurs, il faut tenir compte du vieillissement des effectifs de la fonction publique, reflÃ©tÃ© dans la collectivitÃ© de l'Ã©valuation, et reliÃ© au taux Ã©levÃ© de dÃ©parts prÃ©vus parmi le personnel expÃ©rimentÃ© du secteur de l'Ã©valuation.\nCompte tenu de la capacitÃ© rÃ©duite reconnue du secteur d'Ã©valuation, la politique rÃ©visÃ©e exige Ã©galement que le secteur Ã©largisse la portÃ©e de l'activitÃ©.\n2.2.4 Pression des politiques connexes\nParmi les autres facteurs contextuels importants entrant en jeu pour la mise en oeuvre de la politique rÃ©visÃ©e, citons les pressions sur la capacitÃ© dÃ©coulant des autres politiques connexes rattachÃ©es Ã la gestion des risques et Ã la gestion axÃ©e sur les rÃ©sultats. Deux politiques en particulier ont eu des rÃ©percussions importantes.\nLa politique sur les paiements de transfert (PPT) adoptÃ©e rÃ©cemment par le Conseil du TrÃ©sor exige l'Ã©laboration d'un cadre de gestion et de responsabilisation axÃ© sur les rÃ©sultats (CGRR) pour l'approbation de tous les programmes de contributions et de subventions de tous les ministÃ¨res/organismes. Dans de nombreux ministÃ¨res et organismes, aider Ã l'Ã©laboration du CGRR est maintenant un aspect relativement nouveau et fondamental de la fonction d'Ã©valuation. Ã‰tant donnÃ© que chaque CGRR dÃ©finit les exigences pour les rapports futurs sur les rÃ©sultats, la PPT a entraÃ®nÃ© une augmentation du volume de travail futur reliÃ© Ã la surveillance du rendement et Ã l'Ã©valuation de ces programmes.\nPolitique de surveillance active\nÃ€ titre de composante clÃ© de l'initiative Des rÃ©sultats pour les Canadiens et les Canadiennes, la politique de surveillance active exige que les ministÃ¨res surveillent les pratiques et mÃ©canismes de contrÃ´le de la gestion, adoptÃ©s pour exÃ©cuter les programmes. Il s'agit avant tout de se doter de mÃ©canismes d'alerte rapide et de contrÃ´le efficaces, sans revenir Ã l'approche directive et de surveillance des derniÃ¨res annÃ©es. Pour ce faire, il faut attribuer un rÃ´le prÃ©dominant Ã la fonction d'Ã©valuation au sein des ministÃ¨res.\n2.3 ResponsabilitÃ©s de la mise en oeuvre de la politique\nLa responsabilitÃ© de la mise en oeuvre de la politique d'Ã©valuation est partagÃ©e par tous les intervenants. C'est un partenariat entre le SecrÃ©tariat du Conseil du TrÃ©sor et les ministÃ¨res et organismes. Au sein des ministÃ¨res, la rÃ©ussite ne repose pas seulement sur les chefs de l'Ã©valuation - les cadres supÃ©rieurs et les gestionnaires de programme des ministÃ¨res jouent tous un rÃ´le important, qui consiste Ã assurer un cadre propice Â« dans lequel les gestionnaires intÃ¨grent l'Ã©valuation Ã leur travail Â» et Â« oÃ¹ l'Ã©valuation est utilisÃ©e en synergie avec les autres outils de gestion pour amÃ©liorer le processus dÃ©cisionnel Â». Au sein du Conseil du TrÃ©sor, le CEE et les autres secteurs du SCT doivent collaborer pour appuyer la collectivitÃ© de l'Ã©valuation dans Â« l'utilisation des produits d'Ã©valuation pour appuyer le processus dÃ©cisionnel au centre Â»(7). Ce partenariat fait Ã©galement partie intÃ©grante des efforts communs dÃ©ployÃ©s pour mettre en oeuvre la surveillance active des programmes, politiques et initiatives au gouvernement fÃ©dÃ©ral.\n2.3.1 Centre d'excellence pour l'Ã©valuation (CEE)\nLe CEE a Ã©tÃ© Ã©tabli en vue de jouer un rÃ´le de direction pour la fonction d'Ã©valuation au sein du gouvernement fÃ©dÃ©ral; de prendre des initiatives pour rÃ©gler les difficultÃ©s communes dans la collectivitÃ©, p. ex. Ã©laborer un cadre de gestion des ressources humaines afin de rÃ©pondre aux besoins Ã long terme en matiÃ¨re de recrutement, de formation et de perfectionnement, et assurer le soutien Ã la mise en valeur des ressources, l'amÃ©lioration des pratiques et au renforcement de la collectivitÃ© d'Ã©valuation au sein de l'administration publique fÃ©dÃ©rale.\nLe mandat et le rÃ´le du CEE dÃ©coulent des Ã©noncÃ©s d'orientation gÃ©nÃ©rale de la politique rÃ©visÃ©e. Les activitÃ©s du CEE sont axÃ©es principalement Ã l'externe en ce qui a trait au dÃ©veloppement de la capacitÃ© d'Ã©valuation dans tout le systÃ¨me et le repositionnement de la fonction d'Ã©valuation. Le CEE a dÃ©terminÃ© un certain nombre d'activitÃ©s pour les deux premiÃ¨res annÃ©es de mise en oeuvre de la politique, qu'il a dÃ©finies dans son plan stratÃ©gique et opÃ©rationnel (novembre 2001). Ce plan dÃ©finit Ã©galement les cinq secteurs stratÃ©giques qui serviront de fondement aux activitÃ©s du Centre. Ces secteurs clÃ©s portent sur la mise en oeuvre de la politique, la surveillance, le dÃ©veloppement des capacitÃ©s, les avis stratÃ©giques ainsi que la communication et le rÃ©seautage.\nÃ€ l'instar de l'Ã©valuation globale, l'Ã©valuation du CEE consistera Ã examiner les progrÃ¨s rÃ©alisÃ©s jusqu'Ã prÃ©sent par le Centre par rapport Ã ses objectifs de mise en oeuvre Ã long terme. Cette Ã©valuation porte sur les 18 premiers mois d'activitÃ©s.\n3.0 RÃ©sultats de l'Ã©valuation provisoire\nLes rÃ©sultats de l'Ã©valuation sont prÃ©sentÃ©s dans cette section, en fonction des principales questions traitÃ©es, Ã savoir :\nprogrÃ¨s rÃ©alisÃ©s dans la mise en oeuvre de la politique;\nlacunes qui empÃªchent la mise en oeuvre intÃ©grale;\ndifficultÃ©s que soulÃ¨ve la mise en oeuvre;\nrÃ´les et responsabilitÃ©s pertinents pour le CEE.\n3.1 ProgrÃ¨s au niveau de la mise en oeuvre\nL'Ã©valuation provisoire est centrÃ©e sur les progrÃ¨s rÃ©alisÃ©s au cours des 18 premiers mois de la mise en oeuvre de la politique. Plus prÃ©cisÃ©ment, elle quantifie la mesure dans laquelle les ministÃ¨res et organismes ont progressÃ© pour satisfaire aux principales exigences de la politique, Ã savoir : redÃ©finition de la fonction d'Ã©valuation au sein de l'organisation de faÃ§on qu'elle soit perÃ§ue comme une capacitÃ© requise, intÃ©grÃ©e par les cadres supÃ©rieurs; Ã©largissement de la portÃ©e des Ã©valuations; accent mis davantage sur la surveillance du rendement et les premiers rÃ©sultats; planification stratÃ©gique de l'Ã©valuation; intÃ©gration de l'Ã©valuation Ã la gestion et au processus dÃ©cisionnel stratÃ©gique et maintien de normes de pratiques dans les Ã©valuations.\n3.1.1 Ã‰tat actuel de la mise en oeuvre de la politique\nL'Ã©tat actuel de la mise en oeuvre varie considÃ©rablement d'un ministÃ¨re ou organisme Ã l'autre. Bon nombre de petits organismes dÃ©clarent avoir une fonction d'Ã©valuation trÃ¨s limitÃ©e ou inexistante. Parmi les ministÃ¨res de taille moyenne et de grande taille, certains ne font que commencer Ã mettre en oeuvre la nouvelle politique, tandis que d'autres dÃ©clarent d'avoir parcouru plus que la moitiÃ© du chemin du processus de mise en oeuvre.\nDans le cadre de l'enquÃªte, des entrevues avec les principales personnes interrogÃ©es et des Ã©tudes de cas, on a posÃ© un certain nombre de questions aux ministÃ¨res et organismes afin de mesurer l'Ã©tat de l'infrastructure et la capacitÃ© de l'Ã©valuation. Pour se doter d'une infrastructure d'Ã©valuation solide, il faut que la politique d'Ã©valuation du Conseil du TrÃ©sor soit intÃ©gralement mise en oeuvre et bien comprise, non seulement par les Ã©valuateurs professionnels mais Ã©galement par les gestionnaires de programme de l'ensemble du gouvernement fÃ©dÃ©ral. Il faut Ã©galement se doter de structures de responsabilisation au sein du ministÃ¨re ou de l'organisme, telles qu'un comitÃ© de vÃ©rification interne et d'Ã©valuation, ainsi qu'un plan d'Ã©valuation approuvÃ© qui soit pertinent et mis en application (mise Ã jour rÃ©guliÃ¨re des objectifs et suivi des recommandations approuvÃ©es dans les rapports d'Ã©valuation). Enfin, il faut que les administrateurs gÃ©nÃ©raux s'engagent Ã assurer des niveaux appropriÃ©s de ressources pour la fonction afin de s'assurer que l'Ã©valuation est enchÃ¢ssÃ©e dans la culture de gestion, et que les employÃ©s fonctionnels sont convenablement formÃ©s pour faciliter la mise en oeuvre de la politique.\nLes rÃ©sultats de l'Ã©tude montrent qu'environ la moitiÃ© des ministÃ¨res et organismes assujettis Ã la politique possÃ¨dent une fonction d'Ã©valuation active. D'aprÃ¨s les donnÃ©es de l'enquÃªte, 42 des 87 ministÃ¨res et organismes interrogÃ©s ont une fonction d'Ã©valuation active et disposent de ressources d'Ã©valuation sous forme d'un budget et d'ETP rÃ©servÃ©s Ã l'Ã©valuation.\nParmi les organisations qui dÃ©clarent avoir une fonction d'Ã©valuation, la capacitÃ© d'Ã©valuation varie considÃ©rablement dans l'Ã©ventail de niveaux. Comme il est illustrÃ© Ã la figure 1 ci-dessous, selon les indicateurs de l'enquÃªte auprÃ¨s de la collectivitÃ© de l'Ã©valuation, seul un ministÃ¨re peut Ãªtre classÃ© comme ayant une capacitÃ© d'Ã©valuation adÃ©quate pour la mise en oeuvre intÃ©grale de la politique. Seize autres ministÃ¨res disposent d'une capacitÃ© modÃ©rÃ©e, mais indiquent qu'ils ont encore besoin de ressources supplÃ©mentaires importantes pour atteindre un niveau stable d'Ã©valuation qui correspondrait Ã la mise en oeuvre complÃ¨te de la politique. Vingt-cinq autres organisations partent d'une position faible Ã minimale mais travaillent en vue de renforcer leur capacitÃ© et auront besoin d'une somme considÃ©rable de soutien et de temps pour parvenir Ã la mise en oeuvre complÃ¨te de la politique. Les petits organismes (n=21) ont indiquÃ© n'avoir pas ou pratiquement pas de fonction d'Ã©valuation. On peut prÃ©sumer que le reste de la collectivitÃ© de l'Ã©valuation (24 non rÃ©pondants parmi les petits organismes) n'ont pas ou ont peu de capacitÃ© d'Ã©valuation.\nFigure 1 - CapacitÃ© d'Ã©valuation Ã©valuÃ©e (source : donnÃ©es de l'enquÃªte)\nNota : Â« CapacitÃ© faible ou inexistante Â» comprend Ã la fois les rÃ©pondants (n=21) et les non-rÃ©pondants (n=24).\nSelon les rÃ©sultats des entrevues, la maturitÃ© de la fonction d'Ã©valuation avant l'Ã©tablissement de la nouvelle politique constitue le principal facteur distinctif, en vertu duquel les ministÃ¨res ou organismes dÃ©finissent leur position Ã l'Ã©gard de la mise en oeuvre. Les ministÃ¨res dotÃ©s d'une fonction d'Ã©valuation relativement mature avant l'Ã©tablissement de la politique dÃ©clarent qu'elle demeure stable et que leur capacitÃ© se renforce, selon les diffÃ©rentes Ã©tapes de mise en oeuvre de la politique. Par contre, les ministÃ¨res qui dÃ©clarent en Ãªtre aux premiÃ¨res Ã©tapes de la mise en oeuvre indiquent en gÃ©nÃ©ral que leur fonction d'Ã©valuation Ã©tait sous-dÃ©veloppÃ©e avant la mise en oeuvre de la politique, ou qu'elle a subi des transformations majeures au cours des deux derniÃ¨res annÃ©es grÃ¢ce, notamment, Ã sa restructuration et Ã sa redÃ©finition au sein du ministÃ¨re.\nEn rÃ¨gle gÃ©nÃ©rale, les constatations des Ã©tudes de cas corroborent l'information recueillie durant les entrevues avec les principales personnes interrogÃ©es et lors de l'enquÃªte. Les Ã©tudes de cas Ã©taient axÃ©es sur les ministÃ¨res qui, pour la plupart, Ã©taient dotÃ©s d'une fonction d'Ã©valuation relativement mÃ»re avant la mise en oeuvre de la politique. Parmi les huit ministÃ¨res de taille moyenne et de grande taille ayant participÃ© aux Ã©tudes de cas, on a constatÃ© que la mise en oeuvre Ã©tait relativement avancÃ©e, bon nombre des objectifs de la politique ayant Ã©tÃ© atteints dans le rÃ©cent travail d'Ã©valuation prÃ©sentÃ© Ã l'Ã©quipe de l'Ã©tude pour examen. Dans chaque ministÃ¨re, on a constatÃ© que la fonction d'Ã©valuation produisait des rÃ©sultats d'Ã©valuation crÃ©dibles qui satisfont aux normes du Conseil du TrÃ©sor, et qui facilitent ou faciliteront la gestion axÃ©e sur les rÃ©sultats. Selon les Ã©tudes de cas, on a rÃ©alisÃ© d'importants progrÃ¨s dans l'atteinte de nombreux objectifs de la politique au sein des huit ministÃ¨res.\n3.1.2 PortÃ©e de l'Ã©valuation\nUne exigence de la nouvelle politique consiste Ã Ã©tendre la portÃ©e de l'Ã©valuation au-delÃ des domaines de programme traditionnels afin de traiter des politiques, programmes et initiatives, ce qui s'est concrÃ©tisÃ© selon les rÃ©sultats du sondage et des entrevues avec les principales personnes interrogÃ©es. Selon l'enquÃªte, cette composante de la politique a Ã©tÃ© mise en oeuvre par environ la moitiÃ© des ministÃ¨res de taille moyenne et de grande taille. D'aprÃ¨s les modÃ¨les de collecte des donnÃ©es, 54 % de ces ministÃ¨res ont effectuÃ© des Ã©valuations des politiques ou des initiatives, reprÃ©sentant 27 % des Ã©valuations menÃ©es au sein des grands ministÃ¨res. Dans les entrevues avec les principales personnes interrogÃ©es, certains ministÃ¨res ont indiquÃ© qu'ils en Ã©taient encore au stade de dÃ©finir le domaine et le cadre d'Ã©valuation de leur organisation. Les Ã©tudes de cas ne collectaient pas directement l'information sur l'Ã©volution de la portÃ©e de l'Ã©valuation.\n3.1.3 CapacitÃ© de la fonction d'Ã©valuation\nAvant l'Ã©tablissement de la politique, on avait reconnu qu'on manquait de ressources et d'Ã©valuateurs professionnels dans le secteur d'Ã©valuation de bon nombre de ministÃ¨res et organismes. Les ressources affectÃ©es Ã la mise en oeuvre de la politique Ã©taient destinÃ©es en partie Ã rÃ©gler la pÃ©nurie manifeste de personnel dans de nombreuses organisations. Il est nÃ©cessaire d'Ã©tablir et de maintenir un budget d'Ã©valuation suffisant et des effectifs d'Ã©valuation adÃ©quats pour rÃ©pondre aux principales exigences de la politique. L'Ã©valuation provisoire a montrÃ© que les ministÃ¨res investissent davantage dans la fonction d'Ã©valuation par rapport aux niveaux de 2000 et, malgrÃ© la hausse du nombre d'ETP, le nombre d'Ã©valuateurs engagÃ©s demeure insuffisant. MalgrÃ© ces difficultÃ©s, le nombre d'Ã©tudes d'Ã©valuation et sur la mesure du rendement a augmentÃ© progressivement et, selon les prÃ©visions, il devrait monter en flÃ¨che au cours des deux prochaines annÃ©es. On prÃ©voit toutefois une croissance nettement moins rapide des ETP par rapport Ã la productivitÃ© escomptÃ©e de la fonction au cours des deux prochaines annÃ©es.\nD'aprÃ¨s les rÃ©ponses Ã l'enquÃªte, le montant total des crÃ©dits consacrÃ©s Ã l'Ã©valuation en 2002-2003 dans l'ensemble de la collectivitÃ© de l'Ã©valuation s'Ã©lÃ¨ve Ã 42,4 millions de dollars. Cela reprÃ©sente une hausse de 9,4 millions de dollars (soit 28 %) par rapport au budget d'Ã©valuation estimÃ© prÃ©cÃ©dent Ã©tabli Ã 33 millions de dollars selon l'Ã©tude(8) menÃ©e en 2000 par le SecrÃ©tariat, juste avant la mise en oeuvre de la politique. Les ministÃ¨res de grande taille et de taille moyenne reÃ§oivent la majoritÃ© des crÃ©dits budgÃ©taires, 65 % (soit 27,4 millions de dollars) du total Ã©tant concentrÃ© au sein de seulement onze organisations.\nSeulement qu'un faible pourcentage du budget total consacrÃ© Ã l'Ã©valuation au sein du gouvernement s'applique aux petits organismes. Seulement trois des rÃ©pondants des petits organismes ont indiquÃ© qu'ils disposaient d'un budget total d'Ã©valuation de plus de 50 000 $. De toute Ã©vidence, les petits organismes possÃ¨dent une trÃ¨s faible capacitÃ© et peu de ressources consacrÃ©es Ã l'Ã©valuation.\nEn 2002-2003, les ministÃ¨res ont investi prÃ¨s de 4 millions de dollars pour la fonction en plus des 5,4 millions de dollars attribuÃ©s par le Conseil du TrÃ©sor dans le cadre de la stratÃ©gie de mise en oeuvre de la politique d'Ã©valuation. Cela indique que, mÃªme s'ils peuvent faire mieux, les ministÃ¨res ont pris des mesures pour remanier la fonction. La somme de 4 millions de dollars est rÃ©partie de faÃ§on relativement uniforme entre les ministÃ¨res de taille moyenne et de grande taille, 29 ministÃ¨res ayant dÃ©clarÃ© avoir investi davantage au cours de la prÃ©sente annÃ©e financiÃ¨re.\nEffectifs de l'Ã©valuation\nComme il est indiquÃ© Ã la figure 2, selon les estimations d'une Ã©tude rÃ©alisÃ©e en 2000(9) , Ã la demande du SecrÃ©tariat, les ETP sont passÃ©s de 230 Ã©valuateurs Ã environ 286 selon les indications des rÃ©pondants Ã l'Ã©valuation provisoire, soit une hausse de 24 % du personnel chargÃ© de l'Ã©valuation sur une pÃ©riode de deux ans. Toutefois, selon les ministÃ¨res, il reste une pÃ©nurie importante d'environ 40 %, soit 105 ETP, nÃ©cessaires pour soutenir la mise en oeuvre de la politique.\nFigure 2 - Effectifs d'Ã©valuation\nLe tableau 3 illustre la rÃ©partition des Ã©valuateurs actuels selon la classification et le niveau. Sur le nombre actuel de 286 Ã©valuateurs, 62 % sont affectÃ©s dans dix grands ministÃ¨res. Environ 19 % des Ã©valuateurs de divers niveaux et classifications sont considÃ©rÃ©s Ãªtre de niveau subalterne, 33 % de niveau d'analyste, 28 % sont des analystes principaux et 6 % des cadres supÃ©rieurs.\nTable 3 - RÃ©partition des Ã©valuateurs actuels (ETP)\n% du total des ETP\nAS04-05, C001-02, ES04-05\nAS06-08, C003-04, ES06-07\nToutes les autres classifications\nUn nombre important de ministÃ¨res et organismes comptent engager du personnel au cours des trois prochaines annÃ©es, ce qui montre clairement que la collectivitÃ© prend des mesures pour accroÃ®tre sa capacitÃ©. Comme il est indiquÃ© au tableau 4, les rÃ©pondants ont dÃ©clarÃ© qu'ils comptaient engager environ 84 Ã©valuateurs au cours des trois prochaines annÃ©es, dont 52 occuperont de nouveaux postes et 32 remplaceront d'autres employÃ©s.\nTableau 4 - Mesures de dotation (ETP) pour 2002-2005\nDÃ©part Ã la retraite\nEn dÃ©pit de ces embauches prÃ©vues, la collectivitÃ© de l'Ã©valuation s'attend Ã une hausse de 26 Ã©valuateurs seulement au cours des trois prochaines annÃ©es. La collectivitÃ© atteindra un sommet de 319 Ã©valuateurs en 2003-2004 et subira une lÃ©gÃ¨re baisse de son effectif, ramenÃ© Ã 312, d'ici 2004-2005. Ce phÃ©nomÃ¨ne est principalement attribuable au nombre important de dÃ©parts prÃ©vus, incluant le roulement de personnel (43) et les dÃ©parts Ã la retraite (32) au cours des trois prochaines annÃ©es. On ne connaÃ®t pas la proportion du roulement du personnel qui consistera en mutations entre ministÃ¨res (c.-Ã -d. que l'Ã©valuateur demeure dans la collectivitÃ© de l'Ã©valuation), et la proportion du roulement du personnel qui reprÃ©sentera effectivement des dÃ©parts de personnes quittant la collectivitÃ©. De toute faÃ§on, le roulement du personnel et les dÃ©parts Ã la retraite auront un effet Ã©quilibrant sur les embauches prÃ©vues au cours de la mÃªme pÃ©riode.\nLa figure 3 montre que le rÃ©sultat net de cette activitÃ© se traduira nÃ©anmoins par une pÃ©nurie considÃ©rable de quelque 79 Ã©valuateurs sur les 391 nÃ©cessaires pour que le secteur d'Ã©valuation atteigne un niveau stable, comme l'ont indiquÃ© les rÃ©pondants. Il demeurera toujours difficile de surmonter cette pÃ©nurie Ã©tant donnÃ© que la demande d'Ã©valuateurs qualifiÃ©s et expÃ©rimentÃ©s dÃ©passe l'offre actuelle.\nFigure 3 - PrÃ©vision de la tendance en ETP pour 2002 - 2005\nLa plupart des principales personnes interrogÃ©es du niveau de gestionnaire, directeur ou directeur gÃ©nÃ©ral de la fonction d'Ã©valuation reconnaissent que le dÃ©veloppement de la capacitÃ© d'Ã©valuation au sein des ministÃ¨res sera un long processus qui soulÃ¨vera des difficultÃ©s importantes, compte tenu de l'effectif actuel de la collectivitÃ© de l'Ã©valuation au sein du gouvernement fÃ©dÃ©ral et de la demande Ã©levÃ©e d'Ã©valuateurs.\nEn dÃ©pit de ces problÃ¨mes de capacitÃ© qui ont Ã©tÃ© dÃ©celÃ©s lors de l'enquÃªte et des entrevues avec les principales personnes interrogÃ©es, les Ã©tudes de cas ont dÃ©terminÃ© que le personnel d'Ã©valuation a jouÃ© des rÃ´les clÃ©s dans chacune des Ã©tudes d'Ã©valuation et les CGRR. Les rÃ´les ont consistÃ© notamment Ã diriger les projets et Ã offrir de l'aide et du soutien aux gestionnaires de programme. Dans quelques projets, le personnel chargÃ© de l'Ã©valuation a Ã©tÃ© en mesure de prendre la relÃ¨ve pour la direction d'un projet lorsque les gestionnaires de programme ne possÃ©daient pas suffisamment d'expertise ou avaient des contraintes de temps importantes.\nProductivitÃ© - Ã‰tudes d'Ã©valuation, CGRR et Ã©tudes sur la mesure du rendement\nComme l'indique le tableau 5, on prÃ©voit une hausse significative de la productivitÃ© au sein de la collectivitÃ© entre 2001-2002 et 2002-2003. Par exemple, on a planifiÃ© une augmentation des CGRR, qui devraient passer de 57 Ã 181 (hausse de 218 %)(10), et des Ã©tudes d'Ã©valuation de 85 Ã 315 (hausse de 272 %)(11). Les Ã©tudes sur la mesure du rendement augmenteront Ã©galement de faÃ§on significative, de 45 Ã 92 (hausse de 112 %)(12). Cette hausse marquÃ©e de la productivitÃ© est proportionnellement beaucoup plus importante que la hausse estimative des ETP pour la mÃªme pÃ©riode. Cela pose des problÃ¨mes au niveau de la durabilitÃ© de la hausse de productivitÃ©.\nTableau 5 - Travail d'Ã©valuation de 2001-2002 Ã 2002-2003 (Tous les rÃ©pondants)\nRapports d'Ã©valuation (approuvÃ©s)\nRapports d'Ã©valuation (pas encore approuvÃ©s)\nÃ‰tudes sur la mesure du rendement\nAutres Ã©tudes de fond\n3.1.4 Accent mis sur la mesure du rendement et les premiers rÃ©sultats\nUne des exigences de la nouvelle politique consiste Ã mettre davantage l'accent sur la surveillance de la mesure du rendement et l'analyse rapide de la conception et mise en oeuvre des programmes/politiques/initiatives. Tous les ministÃ¨res dont les principales personnes interrogÃ©es ont participÃ© aux entrevues ont indiquÃ© avoir rÃ©alisÃ© des progrÃ¨s dans ce domaine. Cependant, ces personnes ont Ã©galement indiquÃ© que la fonction de mesure du rendement du ministÃ¨re n'est pas suffisamment mature pour fournir de l'information fondÃ©e sur des donnÃ©es validÃ©es de haute qualitÃ© en rapport avec les coÃ»ts.\nLa plupart des ministÃ¨res ont dÃ©clarÃ© dans les entrevues avec les principales personnes interrogÃ©es que la surveillance du rendement sera un domaine prioritaire pour le perfectionnement de la fonction au cours des prochaines annÃ©es. Ã€ titre d'exemple de progrÃ¨s rÃ©alisÃ©s Ã ce chapitre, citons l'augmentation significative du nombre d'Ã©tudes sur la mesure du rendement, dont 45 signalÃ©es en 2000-2001, 58 en 2001-2002 et 92 planifiÃ©es en 2002-2003.\nCompte tenu du rÃ´le de la fonction d'Ã©valuation consistant Ã aider Ã l'Ã©tablissement de CGRR dans la plupart des ministÃ¨res, de nombreux ministÃ¨res prÃ©voient une plus forte intÃ©gration de la mesure du rendement et des Ã©valuations que prÃ©cÃ©demment. Cela est attribuable au fait que le CGRR exige l'Ã©laboration d'une mÃ©thode de mesure du rendement, en plus d'une stratÃ©gie d'Ã©valuation et de communication des rÃ©sultats, afin que les gestionnaires soient en mesure de prÃ©senter les rÃ©sultats des programmes/politiques/initiatives.\nDurant les entrevues, bon nombre des principales personnes interrogÃ©es ont dÃ©clarÃ© qu'il est trop tÃ´t pour dÃ©terminer la mesure dans laquelle les gestionnaires de programme se sont effectivement Â« ralliÃ©s Â» Ã cette exigence de la politique, en particulier en ce qui a trait Ã leur responsabilitÃ© de gÃ©rer en permanence la mesure du rendement. Qui plus est, les principales personnes interrogÃ©es ont Ã©galement indiquÃ© qu'il ne s'Ã©tait pas Ã©coulÃ© suffisamment de temps pour dÃ©terminer l'Ã©tendue de la mise en application des CGRR. La plupart ont indiquÃ© que l'on pourra vÃ©ritablement Ã©valuer la portÃ©e de l'intÃ©gration de la mesure du rendement et de l'Ã©valuation durant la premiÃ¨re sÃ©rie d'Ã©valuations rattachÃ©es aux exigences des CGRR.\nL'information dÃ©coulant des Ã©tudes de cas montre que si les CGRR Ã©tudiÃ©s semblaient pouvoir Ãªtre mis en application, on s'interroge en revanche sur l'efficacitÃ© de la mise en oeuvre s'est. Dans certains cas, on a Ã©prouvÃ© d'Ã©normes difficultÃ©s Ã rallier les nombreux intervenants participant au CGRR alors que, dans d'autres, on s'est demandÃ© si le CGRR contenait suffisamment de renseignements dÃ©taillÃ©s sur les stratÃ©gies de collecte des donnÃ©es et d'Ã©tablissement de rapports. De mÃªme, les directeurs de programme interviewÃ©s estiment que les CGRR sont davantage un exercice administratif qu'un outil de gestion utile.\nLes principales personnes interrogÃ©es ont mentionnÃ© que le lien entre la mesure du rendement et l'Ã©valuation exige un renforcement de la capacitÃ© parmi les gestionnaires de programme pour que l'intÃ©gration soit un outil de gestion utile. Dans certains ministÃ¨res, cette capacitÃ© est Ã©vidente parmi les gestionnaires. En rÃ¨gle gÃ©nÃ©rale, les Ã©tudes de cas ont montrÃ© que si les gestionnaires de programme participants n'Ã©taient peut-Ãªtre pas pleinement au courant de la politique, ils considÃ©raient nÃ©anmoins l'Ã©valuation comme un outil de gestion intÃ©grÃ© utile.\n3.1.5 Planification de l'Ã©valuation\nLa planification stratÃ©gique de l'Ã©valuation aide Ã maintenir un bon Ã©quilibre dans le travail d'Ã©valuation et respecter les prioritÃ©s du ministÃ¨re et du gouvernement. On a dÃ©couvert que, dans l'ensemble, des progrÃ¨s avaient Ã©tÃ© rÃ©alisÃ©s dans les ministÃ¨res et organismes qui avaient mis sur pied un mÃ©canisme de planification routinier du processus d'Ã©valuation. Cependant, cet aspect des exigences de la nouvelle politique n'est pas encore pleinement implantÃ© dans bon nombre de petits organismes. Environ la moitiÃ© des ministÃ¨res et organismes (49 %) ont dÃ©clarÃ© qu'ils avaient un plan d'Ã©valuation approuvÃ© pour 2002-2003. Il s'agit d'une augmentation de 23 % par rapport au nombre de plans approuvÃ©s en 2001-2002.\nSoixante et onze pour cent (71 %) des ministÃ¨res de taille moyenne et de grande taille ont dÃ©clarÃ© avoir des plans approuvÃ©s en 2000-2001 et 88 % en 2002-2003. Les petits organismes n'ont indiquÃ© aucun changement Ã ce chapitre, avec deux plans approuvÃ©s en 2000-2001 et en 2002-2003. Dans l'ensemble, cela indiquerait que la collectivitÃ© fait des progrÃ¨s en ce qui concerne la planification stratÃ©gique accrue au moyen de plans d'Ã©valuation approuvÃ©s - mais seulement dans les ministÃ¨res de taille moyenne et de grande taille.\nSelon les Ã©tudes de cas, la vaste majoritÃ© des Ã©tudes d'Ã©valuation et les CGRR prÃ©sentÃ©s pour examen ont Ã©tÃ© menÃ©es en raison des exigences du SCT plutÃ´t que dans le cadre de la planification stratÃ©gique et des prioritÃ©s du ministÃ¨re.\nLors des entrevues, certains rÃ©pondants ont dÃ©clarÃ© qu'ils reliaient le plan d'Ã©valuation Ã la planification stratÃ©gique et aux prioritÃ©s du ministÃ¨re. Par contre, quelques-uns ont indiquÃ© que, mÃªme s'ils Ã©tablissaient des plans d'Ã©valuation, ils avaient tendance Ã rÃ©pondre davantage aux demandes immÃ©diates et actuelles plutÃ´t qu'Ã relier l'Ã©valuation Ã la planification stratÃ©gique et aux prioritÃ©s du ministÃ¨re. Cependant, ces ministÃ¨res ont l'intention de relier les plans Ã la planification stratÃ©gique du ministÃ¨re pour les prochaines annÃ©es.\nDurant les entrevues, quelques ministÃ¨res se sont dÃ©clarÃ©s prÃ©occupÃ©s par le fait que le processus des CGRR Â« prescrira Â» la planification de l'Ã©valuation, laissant moins de possibilitÃ©s et de ressources pour relier la planification de l'Ã©valuation Ã la planification stratÃ©gique et aux prioritÃ©s globales du ministÃ¨re.\n3.1.6 IntÃ©gration au processus dÃ©cisionnel des cadres supÃ©rieurs\nParmi les exigences de la nouvelle politique, l'Ã©valuation doit Ãªtre considÃ©rÃ©e comme une capacitÃ© Ã intÃ©grer obligatoirement aux outils de gestion afin d'aider les cadres supÃ©rieurs dans le processus dÃ©cisionnel. Pour ce faire, on peut, entre autres, Ã©tablir un comitÃ© d'Ã©valuation prÃ©sidÃ© par un cadre supÃ©rieur du ministÃ¨re. En Ã©tablissant un comitÃ© auquel les cadres supÃ©rieurs peuvent participer activement, ces derniers ont la possibilitÃ© de s'informer des rÃ©sultats d'Ã©valuation, et s'en serviront probablement davantage dans le processus dÃ©cisionnel au sein de leur organisation.\nLes rÃ©ponses Ã l'enquÃªte montrent que 39 (soit 93 %) des 42 ministÃ¨res/organismes ayant une fonction d'Ã©valuation (rÃ©pondants au modÃ¨le standard) ont un comitÃ© d'Ã©valuation actif, dont 33 (85 %) sont prÃ©sidÃ©s par des chefs d'organismes. La plupart ont indiquÃ© que le comitÃ© est actif et qu'il se rÃ©unit rÃ©guliÃ¨rement. Par contre, seulement deux des petits organismes ont indiquÃ© avoir un comitÃ© d'Ã©valuation actif.\nCes rÃ©sultats laissent entendre que la majoritÃ© des ministÃ¨res et organismes actuellement dotÃ©s d'une capacitÃ© d'Ã©valuation ont des comitÃ©s d'Ã©valuation, et dÃ©ploient des efforts concertÃ©s pour les utiliser rÃ©guliÃ¨rement. Cependant, de nombreux petits organismes ne sont pas encore dotÃ©s de cette infrastructure de base, sans doute Ã cause de leurs ressources limitÃ©es, ou de leur taille qui ne justifie pas un comitÃ© consacrÃ© Ã la fonction d'Ã©valuation.\nLa plupart des principales personnes interrogÃ©es ont indiquÃ© que les rÃ©sultats d'Ã©valuation sont utilisÃ©s d'une certaine maniÃ¨re dans la prise des dÃ©cisions stratÃ©giques au sein de leur ministÃ¨re. Les personnes interviewÃ©es ont soulignÃ© plus frÃ©quemment une augmentation de la participation des cadres supÃ©rieurs aux comitÃ©s d'Ã©valuation au cours des deux derniÃ¨res annÃ©es. Cette participation accrue s'est traduite par une plus grande prise de conscience des rÃ©sultats d'Ã©valuation par les cadres supÃ©rieurs. De la mÃªme faÃ§on, les Ã©tudes de cas ont montrÃ© que les cadres supÃ©rieurs, par l'entremise des comitÃ©s, ont examinÃ© les rÃ©sultats d'Ã©valuation et les ont utilisÃ©s pour la prise de dÃ©cisions concernant les programmes/politiques/initiatives. Les principales personnes interrogÃ©es au niveau des chefs, directeurs ou directeurs gÃ©nÃ©raux de l'Ã©valuation ont mentionnÃ© un autre indicateur important de la fonction pour le processus dÃ©cisionnel des cadres supÃ©rieurs : le financement accru affectÃ© Ã la fonction, par la rÃ©affectation interne. De surcroÃ®t, ces cadres supÃ©rieurs interviewÃ©s ont indiquÃ© qu'ils connaissent les rÃ©sultats des Ã©valuations, et qu'ils les utilisent souvent pour prendre des dÃ©cisions, considÃ©rant l'Ã©valuation comme une composante essentielle de la gestion axÃ©e sur les rÃ©sultats.\nSelon les Ã©tudes de cas, les constatations des Ã©tudes d'Ã©valuation ont Ã©tÃ© prÃ©sentÃ©es aux cadres supÃ©rieurs (du niveau de SMA ou de SM) et approuvÃ©es par ces derniers. Les CGRR n'Ã©taient pas nÃ©cessaires pour passer par ce processus d'approbation.\nLes reprÃ©sentants des secteurs des programmes du SCT et du BVG ont Ã©galement indiquÃ© que la fonction d'Ã©valuation est essentielle pour travailler dans le contexte actuel de gestion axÃ©e sur les rÃ©sultats. Durant ces entrevues, on s'est dÃ©clarÃ© prÃ©occupÃ© par l'utilitÃ© de certaines Ã©valuations qui portaient principalement sur les questions de conception et d'exÃ©cution, et moins sur les questions plus difficiles de pertinence et de rÃ©percussions sur les programmes. Les rÃ©pondants considÃ©raient que ces types d'Ã©valuation Ã©taient d'une utilitÃ© limitÃ©e pour la prise de dÃ©cisions stratÃ©giques. Ce sous-groupe de principales personnes interrogÃ©es a Ã©galement mentionnÃ© qu'il Ã©tait essentiel de procÃ©der aux Ã©valuations au moment appropriÃ© pour qu'elles soient utiles au processus dÃ©cisionnel lors des prÃ©sentations au CT. Certains rÃ©pondants ont indiquÃ© que, Ã certaines occasions, la diffusion des rÃ©sultats d'Ã©valuation ne coÃ¯ncide pas avec le processus dÃ©cisionnel (p. ex. les rÃ©sultats d'Ã©valuation ne sont pas disponibles pour Ãªtre joints Ã une prÃ©sentation au Conseil du TrÃ©sor pour le renouvellement ou le remaniement de programmes).\n3.2 Lacunes touchant la mise en oeuvre intÃ©grale\nParmi les ministÃ¨res de taille moyenne et de grande taille, plus de la moitiÃ© (25 sur 42) tentent de mettre en oeuvre la politique Ã partir d'une position faible ou minimale. Dans nombre de cas, un renforcement considÃ©rable de la capacitÃ© s'impose dans un environnement qui est trÃ¨s compÃ©titif lorsqu'il s'agit d'attirer des Ã©valuateurs qualifiÃ©s. Si on tient compte de ces difficultÃ©s, on peut dire que des progrÃ¨s considÃ©rables ont Ã©tÃ© rÃ©alisÃ©s, en particulier dans les domaines de la productivitÃ©, les hausses les plus importantes Ã©tant le nombre des Ã©tudes d'Ã©valuation, de CGRR et d'Ã©tudes sur la mesure du rendement produites au cours des derniÃ¨res annÃ©es. En dÃ©pit de cette hausse de la productivitÃ©, un certain nombre de lacunes demeurent avant qu'on puisse considÃ©rer que la politique est intÃ©gralement mise en oeuvre par la collectivitÃ© de l'Ã©valuation.\nParmi les petits organismes, on a relevÃ© de nombreuses lacunes dont la plupart reposaient sur une fonction d'Ã©valuation limitÃ©e ou inexistante.\n3.2.1 Programmes, politiques et initiatives visÃ©s par les CGRR et les Ã©valuations\nSelon les principales personnes interrogÃ©es, le champ d'application varie considÃ©rablement d'un ministÃ¨re Ã l'autre selon les entrevues avec les reprÃ©sentants des ministÃ¨res et les reprÃ©sentants des secteurs des programmes du SCT. On a posÃ© aux rÃ©pondants une sÃ©rie de questions destinÃ©es Ã fournir une auto-Ã©valuation des lacunes en matiÃ¨re de capacitÃ©, Ã dÃ©celer les exigences pour combler ces lacunes et Ã dÃ©terminer toutes les autres ressources nÃ©cessaires.\nComme l'indique la figure 4, seulement neuf ministÃ¨res de grande taille et de taille moyenne ont indiquÃ© qu'ils respectent tous leurs engagements actuels en ce qui concerne les CGRR. De plus, dix ministÃ¨res ont dÃ©clarÃ© qu'au moins 25 % de leurs engagements n'Ã©taient pas respectÃ©s, et moins de 50 % dans le cas de trois ministÃ¨res parmi eux.\nFigure 4 - Pourcentage des engagements en ce qui concerne les CGRR ne pouvant Ãªtre respectÃ©s\nCes constatations laissent entendre que la politique sur les paiements de transfert du SCT a une incidence sur un grand nombre de ministÃ¨res et d'organismes et pourrait accroÃ®tre les lacunes en matiÃ¨re de capacitÃ© en crÃ©ant Â« un important arriÃ©rÃ© dans le travail d'Ã©valuation Â».\nLorsqu'on a demandÃ© quel Ã©tait le dÃ©lai nÃ©cessaire pour Ã©valuer tous les programmes, politiques et initiatives visÃ©s par la politique d'Ã©valuation, les ministÃ¨res de grande taille et de taille moyenne ont indiquÃ© qu'ils avaient encore besoin de beaucoup de temps (figure 5). Dix rÃ©pondants ont dÃ©clarÃ© qu'il leur faudrait au moins de trois Ã cinq ans Ã compter de maintenant, tandis que 13 autres rÃ©pondants ont indiquÃ© qu'il faudrait de six Ã dix ans.\nFigure 5 - DÃ©lai nÃ©cessaire pour effectuer l'Ã©valuation de tous les programmes, politiques et initiatives\nCes rÃ©sultats de l'enquÃªte sont corroborÃ©s par les renseignements recueillis durant les entrevues rÃ©alisÃ©es avec les principales personnes interrogÃ©es. Les reprÃ©sentants des ministÃ¨res et organismes interrogÃ©s indiquent que les demandes d'Ã©valuation des gestionnaires du ministÃ¨re (p. ex. Ã©tudes d'Ã©valuation, Ã©tablissement de CGRR) dÃ©passent parfois ce que la fonction est en mesure d'offrir compte tenu des ressources actuelles. Les entrevues avec les reprÃ©sentants des secteurs des programmes du SCT indiquent que l'Ã©valuation des principaux programmes, politiques et initiatives n'est pas encore terminÃ©e, en raison des problÃ¨mes de calendrier et de qualitÃ© des Ã©valuations et des CGRR dans la mesure oÃ¹ ils sont reliÃ©s aux prÃ©sentations au CT.\nCes rÃ©sultats montrent clairement que la collectivitÃ© de l'Ã©valuation n'est pas en mesure d'honorer tous ses engagements en vertu de la politique, et qu'elle a encore du chemin Ã faire pour atteindre un niveau de maturitÃ© et de stabilitÃ© convenable. Cette situation peut Ãªtre attribuable Ã plusieurs facteurs, y compris des budgets d'Ã©valuation insuffisants, l'Ã©tat de l'effectif actuel de la collectivitÃ© de l'Ã©valuation au sein du gouvernement fÃ©dÃ©ral, ainsi que la forte demande d'Ã©valuateurs dans l'ensemble du systÃ¨me, crÃ©Ã©e par la politique d'Ã©valuation ainsi que par la politique sur les paiements de transfert.\nLorsqu'on leur a demandÃ© de quels montants complÃ©mentaires ils auraient besoin pour combler les lacunes en matiÃ¨re de capacitÃ© afin de mettre en oeuvre intÃ©gralement la politique d'Ã©valuation, les rÃ©pondants ont indiquÃ© qu'ils auraient besoin de 13 millions de dollars de plus par rapport aux niveaux actuels, qui comprend les 5,4 millions de dollars de financement temporaire pour le deuxiÃ¨me exercice de la stratÃ©gie de mise en oeuvre. Les ministÃ¨res de grande taille et de taille moyenne ont dÃ©clarÃ© qu'ils auraient besoin de 11,9 millions de dollars (soit 92 % du total). Ce total reprÃ©sente une hausse de 31 % par rapport aux 42,4 millions de dollars actuels (37 millions de dollars en services votÃ©s + 5,4 millions de dollars attribuÃ©s par le SCT) du budget d'Ã©valuation. Comme il a Ã©tÃ© mentionnÃ© prÃ©cÃ©demment, les rÃ©pondants ont besoin de 105 ETP supplÃ©mentaires. Il est intÃ©ressant de noter que les petits organismes ont indiquÃ© 12 ETP seulement alors qu'ils ont Ã©galement dÃ©clarÃ© que la pÃ©nurie d'employÃ©s constitue le principal obstacle Ã la mise en oeuvre intÃ©grale de la politique.\nLorsqu'on leur a demandÃ© comment ces montants complÃ©mentaires seraient utilisÃ©s, 88 % de rÃ©pondants ont indiquÃ© qu'il fallait les consacrer Ã la mesure du rendement dans l'ensemble du ministÃ¨re/de l'organisme, 79 % Ã mener des Ã©tudes d'Ã©valuation et 58 % Ã Ã©tablir des CGRR. Parmi les autres rÃ©ponses, citons assurer le suivi et la surveillance des rÃ©sultats d'Ã©valuation et des recommandations, mener des Ã©tudes d'Ã©valuation et formuler des conseils stratÃ©giques, et effectuer de la recherche (par exemple, concevoir des modÃ¨les et des outils).\n3.2.2 Lacunes dans l'utilisation de l'Ã©valuation pour le processus dÃ©cisionnel et la responsabilisation\nDurant les entrevues, bon nombre de rÃ©pondants ont soulignÃ© que, Ã ce stade de la mise en oeuvre de la politique, il Ã©tait difficile de dÃ©terminer les lacunes dans l'utilisation actuelle de l'Ã©valuation pour le processus dÃ©cisionnel. On sera davantage en mesure d'Ã©valuer les lacunes une fois que l'on aura eu le temps nÃ©cessaire et la possibilitÃ© de concevoir des Ã©tudes d'Ã©valuation, en vertu de la politique, qui seront disponibles pour les gestionnaires.\n3.3 DifficultÃ©s rattachÃ©es Ã la mise en oeuvre\nDurant l'Ã©valuation, on a dÃ©celÃ© un certain nombre de difficultÃ©s soulevÃ©es par la mise en oeuvre de la politique, qui sont rÃ©sumÃ©es briÃ¨vement ci-aprÃ¨s.\n3.3.1 Mise en oeuvre de la politique durant l'Ã©tape de reconstitution de la fonction\nDurant les entrevues, les rÃ©pondants de nombreux ministÃ¨res ont indiquÃ© que l'une des principales difficultÃ©s Ã©prouvÃ©es dans la mise en oeuvre de la politique est la nÃ©cessitÃ© de reconstituer la fonction d'Ã©valuation afin de rÃ©pondre aux demandes actuelles. On devrait considÃ©rer cette difficultÃ© fondamentale Ã la lumiÃ¨re des autres problÃ¨mes dÃ©celÃ©s dans cette section.\n3.3.2 Travail prÃ©liminaire Ã la mise en oeuvre de la politique\nCette reconstitution a notamment exigÃ© de se concentrer sur la prÃ©paration du Â« travail prÃ©liminaire Â» touchant la mise en oeuvre de la nouvelle politique (p. ex. embauche de personnel, planification, Ã©laboration de mÃ©canismes de mesure du rendement). Selon les rÃ©ponses recueillies, la mise en oeuvre de la politique d'Ã©valuation exigera un Â« changement culturel Â» au sein de nombreux ministÃ¨res, notamment des rÃ´les Ã©volutifs pour les gestionnaires de programme, la fonction d'Ã©valuation et les cadres supÃ©rieurs. Ce changement exigera du temps, des ressources et du soutien de la part des cadres supÃ©rieurs.\nLes Ã©tudes de cas ont montrÃ© que le niveau de participation des gestionnaires de programme variait selon le ministÃ¨re, allant de la participation importante Ã tous les aspects et Ã©tapes du projet, Ã une participation plus restreinte, en particulier Ã cause des contraintes de temps. Quelques ministÃ¨res ont dÃ©clarÃ© qu'ils avaient dÃ©ployÃ© des efforts importants pour le dÃ©veloppement des capacitÃ©s d'Ã©valuation parmi les gestionnaires de faÃ§on Ã ce qu'il puissent participer davantage au processus d'Ã©valuation et d'Ã©laboration des CGRR.\n3.3.3 Restrictions en matiÃ¨re de crÃ©dits budgÃ©taires et de personnel\nComme il a Ã©tÃ© mentionnÃ© prÃ©cÃ©demment, il existe actuellement une pÃ©nurie importante d'Ã©valuateurs dans les ministÃ¨res qui, selon les estimations, se chiffrerait Ã environ 40 % au niveau des Ã©valuateurs dÃ©jÃ formÃ©s. Les entrevues avec les principales personnes interrogÃ©es ont indiquÃ© que l'effectif actuel et la demande croissante en Ã©valuateurs qualifiÃ©s ont eu des rÃ©percussions majeures sur leur rÃ©ussite en matiÃ¨re de recrutement et de dÃ©veloppement des capacitÃ©s.\nLes rÃ©pondants ont Ã©galement fait Ã©tat d'un vaste Ã©ventail d'enjeux et de restrictions liÃ©es aux obstacles Ã la mise en oeuvre de la politique d'Ã©valuation (figure 6). Cependant, pour la plupart des ministÃ¨res et organismes, les principaux obstacles sont rattachÃ©s aux exigences Ã©lÃ©mentaires en matiÃ¨re d'infrastructure.\nSoixante huit pour cent des rÃ©pondants des ministÃ¨res de grande taille et de taille moyenne ont indiquÃ© une pÃ©nurie d'employÃ©s et une absence de budget d'Ã©valuation comme principaux obstacles Ã la mise en oeuvre de la politique. Ils ont Ã©galement prÃ©cisÃ© que l'Ã©tendue des compÃ©tences de l'effectif actuel (54 %) et les nouveaux enjeux et prioritÃ©s au sein de leur organisation (51 %) demeuraient d'importantes difficultÃ©s. Par ailleurs, le roulement de personnel constitue un autre obstacle majeur dans les ministÃ¨res de grande taille et de taille moyenne.\nCes prÃ©occupations sont en rÃ©alitÃ© plus importantes parmi les petits organismes, 94 % des rÃ©pondants ayant Ã©galement indiquÃ© une pÃ©nurie de personnel et 89 % un manque de budget. L'Ã©tendue des compÃ©tences de l'effectif actuel (44 %) a Ã©galement Ã©tÃ© mentionnÃ©e comme constituant un obstacle majeur Ã la mise en oeuvre.\nFigure 6 - Obstacles Ã la mise en oeuvre de la politique\n3.3.4 DifficultÃ©s de recrutement, de formation et de perfectionnement\nLe dÃ©veloppement de la collectivitÃ© est particuliÃ¨rement difficile pour la collectivitÃ© de l'Ã©valuation, compte tenu de sa taille relativement petite. En d'autres termes, certaines mÃ©thodes traditionnelles de recrutement professionnel au sein du gouvernement fÃ©dÃ©ral ne sont pas adaptÃ©es ou efficaces pour cibler ce groupe professionnel spÃ©cialisÃ© relativement petit.\nPar ailleurs, la collectivitÃ© Ã©prouve manifestement des difficultÃ©s semblables dans le domaine de la formation et du perfectionnement professionnel. Dans ce domaine, les possibilitÃ©s pour les petits groupes sont relativement coÃ»teuses par comparaison Ã celles offertes aux groupes professionnels plus grands.\n3.3.5 Exigences de la politique sur les paiements de transfert\nPour les ministÃ¨res de grande taille et de taille moyenne, l'impact perÃ§u du volume de travail au titre des CGRR est mitigÃ©. Les rÃ©sultats de l'enquÃªte (tableau 6) montrent que 25 % (8/32) des rÃ©pondants ont accompli Â« beaucoup moins Â» dans au moins un domaine du travail d'Ã©valuation (mesure du rendement, Ã©valuations, conseils stratÃ©giques ou autres) et que 44 % (14/32) des rÃ©pondants avaient accompli Â« un peu moins Â» en 2000-2001 pour satisfaire aux exigences de la politique sur les paiements de transfert (PPT) du SCT. Seulement 7 % (2/27) des rÃ©pondants ont indiquÃ© qu'ils ont accompli Â« beaucoup moins Â» alors que 41 % (11/27) des rÃ©pondants ont estimÃ© avoir accompli Â« un peu moins Â» en 2001-2002.\nTableau 6 - Pourcentage de ministÃ¨res touchÃ©s par la politique sur les paiements de transfert du SCT en 2001-2002 et en 2002-2003\nÂ« Un peu moins Â»\nDans au moins un des domaines suivants : mesure du rendement, Ã©valuations, conseils stratÃ©giques ou autres afin de rÃ©pondre aux exigences de la politique sur les paiements de transfert\nDans au moins deux des domaines suivants : mesure du rendement, Ã©valuations, conseils stratÃ©giques ou autres\nDans au moins trois des domaines suivants : mesure du rendement, Ã©valuations, conseils stratÃ©giques ou autres\nDans au moins quatre des domaines suivants : mesure du rendement, Ã©valuations, conseils stratÃ©giques ou autres\nÂ« Beaucoup moins Â»\nDans au moins un des domaines suivants : mesure du rendement, Ã©valuations, conseils stratÃ©giques ou autres domaines pour rÃ©pondre aux exigences de la politique sur les paiements de transfert\nEn gÃ©nÃ©ral, ces rÃ©sultats peuvent sous-entendre que si la politique n'a pas eu beaucoup d'incidence sur la capacitÃ© de certains ministÃ¨res et organismes Ã fournir des services dans d'autres domaines de l'Ã©valuation, une portion importante des rÃ©pondants (69 %) accomplissent en rÃ©alitÃ© moins de travail dans au moins un domaine Ã cause de la politique.\nParmi les incidences de la mise en oeuvre de la PPT, selon de nombreux chefs de l'Ã©valuation et de reprÃ©sentants des secteurs des programmes du SCT, citons l'accent mis dans bon nombre de cas sur le processus au lieu du contenu par le gestionnaire. Cela pourrait donner lieu Ã l'Ã©laboration d'une mÃ©thode de style Â« liste de contrÃ´le Â» pour la mesure du rendement et l'Ã©valuation au lieu d'une vÃ©ritable reconnaissance du bien-fondÃ© et de l'utilitÃ© des fonctions. Par exemple, bon nombre de gestionnaires semblent davantage attachÃ©s Ã terminer le CGRR (une exigence de la PPT), sans porter une grande considÃ©ration aux avantages et difficultÃ©s de sa mise en oeuvre effective.\nCette prÃ©occupation ressort de certaines constatations des Ã©tudes de cas d'organismes dans lesquels les CGRR n'avaient pas encore Ã©tÃ© mis en oeuvre. Dans quelques cas, les gestionnaires de programme ont dÃ©clarÃ© qu'ils considÃ©raient la stratÃ©gie de mesure du rendement (dÃ©crite dans les CGRR) davantage comme un exercice administratif qu'un outil de gestion utile.\nCertains rÃ©pondants ont dÃ©clarÃ© qu'il fallait faire preuve de prudence lorsqu'on dÃ©termine jusqu'Ã quel point la mesure du rendement dans un ministÃ¨re est planifiÃ©e plutÃ´t que mise en oeuvre concrÃ¨tement. Selon les reprÃ©sentants des secteurs des programmes du SCT et des fonctions d'Ã©valuation des ministÃ¨res et organismes, il y aurait une portion importante de CGRR comportant des stratÃ©gies de mesure du rendement planifiÃ©es qui n'ont pas encore Ã©tÃ© mises en application.\n3.3.6 RÃ´le des gestionnaires de projet dans l'Ã©valuation\nParmi les difficultÃ©s mentionnÃ©es durant les entrevues, citons le rÃ´le du gestionnaire de programme dans l'Ã©valuation. Tant les reprÃ©sentants des secteurs des programmes du SCT que ceux des ministÃ¨res se sont dÃ©clarÃ©s prÃ©occupÃ©s par l'utilitÃ© des Ã©valuations pour la prise de dÃ©cisions stratÃ©giques si la responsabilitÃ© de la fonction continue de reposer sur le gestionnaire de programme. On a soulignÃ© qu'on aurait tendance Ã mettre davantage l'accent sur les questions d'exÃ©cution du programme ou du processus, et Ã Ã©viter de poser certaines questions susceptibles d'engendrer des constatations nÃ©gatives. Mettre l'accent sur les questions de conception et d'exÃ©cution reprÃ©sente un aspect crucial de l'Ã©valuation, en particulier si l'Ã©valuation doit servir d'outil aux gestionnaires de programme. Toutefois cet aspect, aux dÃ©pens des autres questions, pourrait avoir une incidence sur l'utilitÃ© des rÃ©sultats d'Ã©valuation pour les dÃ©cisions stratÃ©giques. Au sein des ministÃ¨res, il sera crucial de trouver un juste Ã©quilibre entre les besoins stratÃ©giques et opÃ©rationnels globaux (tels que la gestion en vue d'obtenir des rÃ©sultats stratÃ©giques ou de plus haut niveau) et le besoin d'Ã©valuation des programmes individuels. Les constatations des Ã©tudes de cas montrent que cet Ã©quilibre est atteint dans certaines Ã©tudes examinÃ©es. Dans certains cas, les Ã©valuations Ã©taient jugÃ©es trÃ¨s utiles par le gestionnaire de programme alors que, en mÃªme temps, le chef de l'Ã©valuation a dÃ©clarÃ© que les rÃ©sultats d'Ã©valuation Ã©taient utilisÃ©s par les cadres supÃ©rieurs.\nSelon les entrevues avec les principales personnes interrogÃ©es, il faut tenir compte de la connaissance de l'Ã©valuation par les gestionnaires de programme, en particulier Ã la lumiÃ¨re de l'exigence de la nouvelle politique selon laquelle les gestionnaires doivent intÃ©grer la pratique d'Ã©valuation Ã leur travail. Selon quelques rÃ©pondants, les gestionnaires de programme devront acquÃ©rir une meilleure comprÃ©hension de l'Ã©valuation, Ã©ventuellement par une formation, pour assurer la mise en oeuvre intÃ©grale de la politique.\nLes Ã©tudes de cas ont rÃ©vÃ©lÃ© que mÃªme si les gestionnaires de programme ne possÃ©daient pas une connaissance approfondie de la politique, ils connaissaient l'objet des Ã©valuations. Par ailleurs, les gestionnaires de programme de huit grands ministÃ¨res participaient activement Ã la planification et Ã la mise en oeuvre des Ã©tudes d'Ã©valuation, ainsi qu'aux rapports sur ces derniÃ¨res. De plus, les gestionnaires ont dÃ©clarÃ© qu'ils trouvaient, en gÃ©nÃ©ral, les rÃ©sultats utiles et qu'ils permettaient de formuler des recommandations applicables.\n3.4 RÃ´les et responsabilitÃ©s du CEE\nCette section contient une brÃ¨ve description de l'Ã©volution du mandat et des rÃ´les du CEE au cours des 18 premiers mois, prÃ©sente une Ã©valuation de rÃ©sultats obtenus par le Centre, et expose les commentaires des clients recueillis durant l'Ã©valuation, ainsi que d'autres Ã©tudes rÃ©centes.\n3.4.1 Ã‰volution du mandat et des rÃ´les du CEE\nAu cours des 18 premiers mois de mise en oeuvre de la politique, le CEE s'est attachÃ© principalement Ã expliquer la nouvelle politique et ses exigences, et Ã faciliter la mise en oeuvre de la politique dans les ministÃ¨res et organismes. Au fil des ans, la capacitÃ© d'Ã©valuation de bon nombre d'organisations a Ã©tÃ© affectÃ©e par des Ã©vÃ©nements tels que l'Examen des programmes. Par consÃ©quent, le CEE s'est engagÃ© dans une large mesure Ã aider les ministÃ¨res et organismes Ã renforcer leur capacitÃ© d'Ã©valuation par l'Ã©tablissement d'une stratÃ©gie et d'un plan de perfectionnement de la collectivitÃ©, comportant un vaste Ã©ventail d'activitÃ©s.\nAprÃ¨s sa premiÃ¨re annÃ©e d'activitÃ©, il est devenu Ã©vident pour le CEE qu'il existait un besoin interne croissant au sein du SCT, dont le catalyseur a Ã©tÃ© le Secteur des programmes du SCT. Ce dernier recherchait de l'aide et du soutien pour l'examen des CGRR, des Ã©valuations et la surveillance active. Ainsi, le CEE a consacrÃ© de plus en plus de ressources aux responsabilitÃ©s internes du SCT. Ce besoin interne est le fruit de l'incidence inattendue d'un certain nombre de facteurs :\nLa politique sur les paiements de transfert du SCT a imposÃ© des demandes importantes et immÃ©diates sur la collectivitÃ© de l'Ã©valuation et le CEE. Le Centre joue maintenant un rÃ´le clÃ© dans l'orientation sur les questions de CGRR.\nLa politique de surveillance active a crÃ©Ã© une charge de travail supplÃ©mentaire sur le Centre et ses ressources, c.-Ã -d. les Ã©quipes de portefeuille.\nPar suite de cette Ã©volution du mandat et des rÃ´les du CEE, le Centre s'est davantage centrÃ© sur l'encadrement du processus dÃ©cisionnel rattachÃ© au financement futur des nouveaux programmes. Plus prÃ©cisÃ©ment, le CEE joue un rÃ´le dans la surveillance, l'examen et l'Ã©valuation des Ã©valuations individuelles en guise de soutien aux prÃ©sentations au CT.\n3.4.3 RÃ©sultats provisoires du CEE\nLe CEE a axÃ© ses efforts Ã la fois Ã l'extÃ©rieur des ministÃ¨res et organismes, et Ã l'interne aux ministres du CT et au SCT, dans le but d'aider Ã la rÃ©alisation d'un certain nombre de rÃ©sultats clÃ©s (voir le tableau 7). Ces rÃ©sultats sont en gÃ©nÃ©ral atteints Ã plus long terme Ã l'Ã©chelle du systÃ¨me, ce qui reprÃ©sente un facteur important dans l'Ã©valuation du rendement sur une pÃ©riode de 18 mois.\nTableau 7 - RÃ©sultats dÃ©sirÃ©s du CEE\nMinistres du CT et SCT\nEffectif compÃ©tent et capacitÃ© suffisante\nPratiques d'Ã©valuation amÃ©liorÃ©es\nIntÃ©gration de l'Ã©valuation aux pratiques de gestion\nRapports d'Ã©valuation crÃ©dibles, opportuns et corroborÃ©s pour la prise de dÃ©cisions et la responsabilisation\nÃ‰valuer l'efficacitÃ© des programmes\nInformer sur les dÃ©cisions de financement touchant les programme et l'affectation des fonds\nPrÃ©senter les rÃ©sultats du rendement au Parlement et aux Canadiens\nDurant cette pÃ©riode, les quatre grands rÃ´les du CEE, Ã la lumiÃ¨re desquels il a dÃ©fini ses plans et activitÃ©s, sont les suivants :\norientation et soutien afin d'aider les ministÃ¨res Ã repositionner la fonction d'Ã©valuation;\nperfectionnement de la collectivitÃ© afin d'aider au dÃ©veloppement des capacitÃ©s;\nintÃ©gration des rÃ©sultats au processus dÃ©cisionnel;\ncentre d'expertise en Ã©valuation.\n3.4.3.1 Leadership et soutien afin d'aider les ministÃ¨res Ã repositionner la fonction\nEn 18 mois, le CEE a accompli des progrÃ¨s grÃ¢ce Ã un certain nombre de rÃ©alisations, notamment :\nattribution de 8,6 millions de dollars aux ministÃ¨res pour mettre en valeur et accroÃ®tre la capacitÃ© d'Ã©valuation; rÃ©tablissement de rÃ©seaux d'Ã©valuation au sein du gouvernement fÃ©dÃ©ral, et utilisation de ce rÃ©seau pour mettre en Ã©vidence le repositionnement de la fonction d'Ã©valuation dans les ministÃ¨res;rÃ©tablissement de la prÃ©sence de l'Ã©valuation sur le Web avec des sujets actuels et des conseils sur les pratiques d'Ã©valuation;orientation sur les CGRR pour les Ã©valuateurs et gestionnaires, y compris des ateliers, un Guide pour la rÃ©alisation des CGRR, une approche et une orientation stratÃ©giques, une compilation des pratiques exemplaires; Ã©laboration d'un CGRR pour la politique.\nOn a pu ainsi prÃ©parer le terrain pour continuer Ã rÃ©aliser des progrÃ¨s dans la mise en oeuvre de la politique au sein des ministÃ¨res.\n3.4.3.2 Perfectionnement de la collectivitÃ© pour aider au dÃ©veloppement des capacitÃ©s\nLe CEE a rÃ©alisÃ© des progrÃ¨s en matiÃ¨re d'obtention de rÃ©sultats dans le domaine de perfectionnement de la collectivitÃ© qui aideront Ã prÃ©parer le terrain pour le perfectionnement futur de la collectivitÃ© et le dÃ©veloppement des capacitÃ©s. Parmi les rÃ©sultats, citons :\nÃ©tablissement d'une stratÃ©gie de perfectionnement de la collectivitÃ© pour la collectivitÃ© d'Ã©valuation du gouvernement fÃ©dÃ©ral;\nÃ©laboration de profils dÃ©mographiques et de compÃ©tences pour les Ã©valuateurs professionnels au gouvernement fÃ©dÃ©ral;\ncoordination et soutien des mesures de recrutement d'Ã©valuateurs professionnels Ã l'Ã©chelle de la collectivitÃ©;\nÃ©laboration d'un programme de formation et de perfectionnement pour les Ã©valuateurs en exercice;\nÃ©tablissement d'un mÃ©canisme d'Ã‰change d'idÃ©es novatrices afin de favoriser l'Ã©change des pratiques exemplaires au sein de la collectivitÃ©.\n3.4.3.3 IntÃ©gration des rÃ©sultats au processus dÃ©cisionnel\nLes rÃ©sultats obtenus par le CEE durant les 18 premiers mois de mise en oeuvre de la politique comprennent :\nexamen, analyse et formulation de conseils aux analystes du SCT sur les CGRR appuyant la politique sur les paiements de transfert (plus de 360 CGRR);\nÃ©tablissement de bases de donnÃ©es afin de surveiller l'Ã©tat et le rendement de la fonction d'Ã©valuation dans les ministÃ¨res et organismes, et d'assurer le suivi des tendances et enjeux en matiÃ¨re d'Ã©valuation dans l'ensemble du systÃ¨me.\nCes rÃ©sultats faciliteront l'atteinte des objectifs finaux d'amÃ©lioration de la conception et du rendement des programmes de paiement de transfert, et l'usage accru des rÃ©sultats d'Ã©valuation au SCT et par les ministres du CT.\n3.4.3.4 Centre d'expertise en Ã©valuation\nLe Centre a jouÃ© un rÃ´le important dans la prestation de savoir-faire en matiÃ¨re d'Ã©valuation Ã de nombreux intervenants en dehors des ministÃ¨res et organismes. Les gouvernements Ã©trangers, par exemple, demandent rÃ©guliÃ¨rement des conseils sur la pratique d'Ã©valuation au Canada, en raison de la rÃ©putation dont jouit le Canada au sein des organes internationaux tels que l'OCDE. En gÃ©nÃ©ral, on prodigue des conseils et formule des avis sur la pratique d'Ã©valuation aux entitÃ©s suivantes :\nvisites de dÃ©lÃ©gations Ã©trangÃ¨res;\nquestions d'Ã©valuation de tous les secteurs du SCT;\nministres du CT;\ngouvernements provinciaux et autres paliers de gouvernement;\nrÃ©ponses au ComitÃ© des comptes publics, au Bureau du vÃ©rificateur gÃ©nÃ©ral et autres questions externes sur l'Ã©valuation.\n3.4.4 Commentaires des clients sur le CEE\nLes commentaires des clients sur le CEE ont Ã©tÃ© recueillis auprÃ¨s d'un certain nombre de sources, y compris lors de l'enquÃªte auprÃ¨s de la collectivitÃ© de l'Ã©valuation effectuÃ©e pour la prÃ©sente Ã©valuation, des entrevues avec les principales personnes interrogÃ©es, des Ã©tudes de cas, de l'enquÃªte pour Ã©valuer les besoins des utilisateurs auxquels on pourrait rÃ©pondre Ã l'aide des produits et services dans le cadre de la refonte du site Web du CEE, et une Ã©tude de l'effectif et du profil des compÃ©tences actuels de la collectivitÃ© de l'Ã©valuation. Ces constatations sont structurÃ©es en fonction du niveau de connaissances du CEE, de ses rÃ´les et responsabilitÃ©s ainsi que de ses produits et services.\n3.4.4.1 Niveau de satisfaction globale Ã l'Ã©gard du CEE\nLes rÃ©sultats montrent que les ministÃ¨res et organismes ayant une fonction d'Ã©valuation (n=42) ont indiquÃ© qu'ils sont globalement satisfaits du CEE. Cette constatation correspond Ã l'information recueillie durant les entrevues avec les principales personnes interrogÃ©es. Selon les rÃ©sultats de l'enquÃªte prÃ©sentÃ©s Ã la figure 7, 57 % se sont dÃ©clarÃ©s satisfaits du Centre, 20 % trÃ¨s satisfaits et seulement 6 % insatisfaits.\nFigure 7 - Niveau de satisfaction globale Ã l'Ã©gard du CEE\n3.4.4.2 Connaissance qu'ont les clients du CEE\nL'enquÃªte menÃ©e auprÃ¨s des ministÃ¨res et organismes indique que la collectivitÃ© de l'Ã©valuation connaÃ®t le Centre ainsi que ses produits et services. Soixante dix sept pour cent (77 %) des rÃ©pondants ont dÃ©clarÃ© qu'ils connaissaient Â« un peu Â» ou Â« trÃ¨s bien Â» le CEE. Cependant, les rÃ©ponses Ã©manant des ministÃ¨res de grande taille et de taille moyenne sont trÃ¨s diffÃ©rentes de celles des petits organismes qui n'ont qu'une fonction d'Ã©valuation limitÃ©e ou inexistante.\nComparÃ©s aux petits organismes, les ministÃ¨res plus importants connaissent mieux le CEE. Quarante six pour cent (46 %) indiquent le connaÃ®tre Â« un peu Â», tandis que 54 % de rÃ©pondants affirment le connaÃ®tre Â« trÃ¨s bien Â». Les petits organismes sont beaucoup moins familiers avec le CEE, 26 % des rÃ©pondants seulement ayant dÃ©clarÃ© le connaÃ®tre Â« un peu Â», et 69 % des rÃ©pondants ont indiquÃ© ne connaÃ®tre Â« pas du tout Â» le Centre.\nSelon les Ã©tudes de cas, les gestionnaires de programme connaissent peu le CEE; il est cependant important de noter que le principal contact que le CEE a avec les ministÃ¨res se situe au niveau du personnel de la fonction d'Ã©valuation. Les reprÃ©sentants du secteur de l'Ã©valuation des ministÃ¨res ont indiquÃ© que le CEE les avait soutenus en tant que conseiller pour bon nombre de leurs projets de CGRR prÃ©sentÃ©s pour examen dans le cadre des Ã©tudes de cas.\n3.4.4.2 RÃ´les et responsabilitÃ©s du CEE\nDans l'enquÃªte, on a Ã©galement demandÃ© aux ministÃ¨res et organismes d'indiquer le niveau d'importance et de satisfaction Ã l'Ã©gard des rÃ´les et responsabilitÃ©s actuels du CEE. Certaines de ces catÃ©gories comportent les points suivants : Â« rÃ´le de premier plan au sein de la collectivitÃ© de l'Ã©valuation Â», Â« porte-parole de la collectivitÃ© au sein du gouvernement du Canada Â» et Â« mise en valeur des ressources et du potentiel du ministÃ¨re ou de l'organisme Â». Ici Ã©galement, les rÃ©ponses des ministÃ¨res de grande taille et de taille moyenne et des petits organismes varient considÃ©rablement, les niveaux de satisfaction les plus faibles Ã©manant des petits organismes.\nComme il est indiquÃ© au tableau 8, les niveaux d'importance enregistrÃ©s auprÃ¨s des petits organismes vont de Â« neutre Â» Ã Â« important Â», et de Â« important Â» Ã Â« trÃ¨s important Â» dans les ministÃ¨res de grande taille et de taille moyenne. Cette diffÃ©rence de niveaux peut Ãªtre attribuable au plus faible niveau de connaissance du Centre et des Ã©changes avec ce dernier de la part des petits organismes. Dans les cas des ministÃ¨res et organismes connaissant bien le CEE, les niveaux de satisfaction oscillent entre Â« neutre Â» et Â« satisfait Â».\nDans certains cas, il existe un Ã©cart significatif entre le niveau d'importance et le niveau de satisfaction Ã l'Ã©gard des rÃ´les et responsabilitÃ©s particuliers du CEE. Dans ces cas, les rÃ©pondants y accordent gÃ©nÃ©ralement une grande importance, mais n'indiquent qu'un niveau de satisfaction moyen. Ces cas concernent le Â« dÃ©veloppement des capacitÃ©s du ministÃ¨re et de l'organisme Â», pour laquelle les rÃ©pondants ont indiquÃ©, en moyenne, y accorder une grande importance (4,3) mais Ãªtre neutres quant au niveau de satisfaction (3,4). Dans le cas des ministÃ¨res de grande taille et de taille moyenne, on a accordÃ© une trÃ¨s grande importance au Â« porte-parole de la collectivitÃ© au sein du gouvernement du Canada Â» (4,7), mais un niveau de satisfaction moyen seulement (3,5). Certains soutiennent que le CEE devrait accorder plus d'attention Ã ces secteurs afin d'accroÃ®tre le niveau de satisfaction dans les secteurs plus importants pour la collectivitÃ©.\nTableau 8 - Niveaux d'importance et de satisfaction\nRÃ´les et responsabilitÃ©s du CEE\nMinistÃ¨res de grande taille/de taille moyenne\nRÃ´le de leadership au sein de la collectivitÃ© de l'Ã©valuation\nPorte-parole de la collectivitÃ© au sein du gouvernement du Canada\nDÃ©veloppement des capacitÃ©s au sein des ministÃ¨res et organismes\nNiveau d'importance : 1= trÃ¨s peu important, 2=peu important, 3=neutre, 4=important, 5=trÃ¨s important\nNiveau de satisfaction : 1=trÃ¨s insatisfait, 2=insatisfait, 3=neutre, 4=satisfait, 5=trÃ¨s satisfait\nUn certain nombre de constatations sur les rÃ´les et responsabilitÃ©s du CEE ressortent des entrevues avec les principaux rÃ©pondants. Ã€ la lumiÃ¨re des difficultÃ©s actuelles de mise en oeuvre de la politique d'Ã©valuation, la plupart des personnes interrogÃ©es de la collectivitÃ© de l'Ã©valuation ont indiquÃ© la nÃ©cessitÃ© fondamentale de se doter d'une organisation chargÃ©e de la coordination et de l'expertise-conseil, comme le CEE. Des niveaux semblables de soutien Ã une telle organisation sont accordÃ©s par les intervenants de l'extÃ©rieur tels que le BVG et les associations professionnelles d'Ã©valuateurs (SociÃ©tÃ© canadienne d'Ã©valuation). Dans les entrevues menÃ©es au SCT, les reprÃ©sentants des secteurs des programmes ont indiquÃ© que le CEE devrait assumer un rÃ´le de soutien en se chargeant de l'examen des rapports d'Ã©valuation et de la coordination du travail d'Ã©valuation rattachÃ© aux initiatives horizontales.\n3.4.4.3 Produits et services du CEE\nOn a Ã©galement demandÃ© aux rÃ©pondants d'indiquer le niveau d'importance et le niveau de satisfaction accordÃ©s Ã un certain nombre de produits et services du CEE. Les donnÃ©es des organisations dotÃ©es d'une fonction d'Ã©valuation sont prÃ©sentÃ©es au tableau 9. Les rÃ©sultats montrent que la Â« distribution de CV Â» et les Â« salons de l'emploi Â» sont relativement moins importants comparÃ©s aux autres produits et services du CEE, ce qui montre qu'ils ne sont pas prioritaires pour la collectivitÃ©.\nUn certain nombre de produits et services ont reÃ§u une cote Ã©levÃ©e en matiÃ¨re d'importance accordÃ©e par la collectivitÃ© de l'Ã©valuation. Il s'agit des Â« rÃ©unions des chefs de l'Ã©valuation Â», des Â« conseils et orientation en guise de soutien Ã la mise en oeuvre de la politique Â», des Â« sÃ©ances de planification stratÃ©gique Â», du Â« guide pour la rÃ©alisation (ou la mise en valeur) des CGRR Â», le Â« site Web Â» et les Â« pratiques exemplaires dans le secteur de l'Ã©valuation Â». Ce sont les domaines oÃ¹ le CEE devrait continuer Ã oeuvrer.\nQuant aux rÃ´les et responsabilitÃ©s du CEE, le fossÃ© entre les niveaux d'importance et de satisfaction indique que le CEE devrait amÃ©liorer certains de ses produits et services, notamment les Â« pratiques exemplaires dans le secteur de l'Ã©valuation Â» et les questions rattachÃ©es au Â« site Web Â» dans le cas des ministÃ¨res de grande taille et de taille moyenne.\nTableau 9 - Niveaux d'importance et de satisfaction Ã l'Ã©gard des produits et services du CEE\nProduits et services du CEE\nRÃ©unions des chefs de l'Ã©valuation\nConseils et orientation en guise de soutien Ã la mise en oeuvre de la politique\nSÃ©ances de planification stratÃ©gique - chefs de l'Ã©valuation\nGuide pour la rÃ©alisation (ou la mise en valeur) des CGRR\nProviding best practices in evaluation\nExposÃ©s sur divers sujets portant sur l'Ã©valuation\nVision stratÃ©gique au titre des CGRR\nForum de perfectionnement de la collectivitÃ©\nÃ‰change d'idÃ©es novatrices\nCommunications par courrier Ã©lectronique\nParrainage de programmes de perfectionnement pour les Ã©valuateurs (p. ex., stages de perfectionnement)\nRÃ©unions du comitÃ© consultatif supÃ©rieur\nDistribution de CV\nNiveau d'Importance : 1=trÃ¨s peu important, 2=pas important, 3=neutre, 4=important, 5=trÃ¨s important\nLes entrevues avec les principales personnes interrogÃ©es indiquent qu'on est satisfait des produits et services fournis par le CEE, mais qu'on a besoin d'autres produits et services, ainsi que d'amÃ©liorations des produits et services actuels. Par exemple, on a besoin de plus de conseils stratÃ©giques et d'avis sur le contenu en plus des conseils axÃ©s sur le processus; l'Ã©laboration de meilleures pratiques et des exemples; une cohÃ©sion des messages et avis aux analystes du SCT et des ministÃ¨res; un calendrier et un volume important de renseignements dÃ©taillÃ©s dans l'examen des rapports d'Ã©valuation pour les analystes du SCT; la communication du mandat et des rÃ´les Ã la collectivitÃ© de l'Ã©valuation et aux intervenants externes, et une collaboration plus Ã©troite avec les analystes du SCT.\n3.4.4.5 Orientation et point de mire futurs\nUn certain nombre de sources procurent une orientation au CEE et lui indiquent le domaine vers lequel le CEE devrait orienter ses efforts Ã l'avenir. Dans une enquÃªte prÃ©cÃ©dente(14) auprÃ¨s des collectivitÃ©s de l'Ã©valuation et de la vÃ©rification interne, on a demandÃ© aux employÃ©s des 59 ministÃ¨res et organismes sur quels domaines le Centre d'excellence du SCT devrait, Ã leur avis, mettre l'accent. Ils ont rÃ©pondu que le CEE devrait jouer un rÃ´le de premier plan, Â« en exerÃ§ant une fonction centralisÃ©e dans l'Ã©tablissement de la capacitÃ© nÃ©cessaire, des normes, des politiques et mÃªme dans la prestation des services de formation et de perfectionnement Â». De plus, les rÃ©pondants ont indiquÃ© le besoin d'intÃ©grer dans la fonction centralisÃ©e l'Ã©ducation des rÃ´les des ministÃ¨res clients et la collectivitÃ© fonctionnelle de l'initiative d'Ã©valuation.\nComme il est indiquÃ© au tableau 10, l'enquÃªte rÃ©alisÃ©e auprÃ¨s de la collectivitÃ© de l'Ã©valuation dans le cadre de la prÃ©sente Ã©tude d'Ã©valuation indique que le point de mire du CEE devrait Ãªtre le perfectionnement de la collectivitÃ©, notamment le recrutement et l'aide Ã la gestion du personnel, en fournissant des pratiques exemplaires et de l'aide Ã la formation, et en offrant des ateliers et des outils.\nParmi les autres domaines clÃ©s dans lesquels le CEE devrait, de l'avis de la collectivitÃ©, jouer un rÃ´le, citons les suivants : faciliter les communications, Ã©tablir des rÃ©seaux et assurer la coordination entre les membres de la collectivitÃ© et les autres intervenants tels que les analystes du SCT, fournir l'orientation et des conseils stratÃ©giques sur les questions clÃ©s d'Ã©valuation, promouvoir le rÃ´le de Â« porte-parole Â» au nom de la collectivitÃ© et trouver du financement et des ressources complÃ©mentaires pour les ministÃ¨res et organismes.\nTableau 10 - Domaines d'orientation future\nCompte tenu de vos besoins, vers quoi le CEE devrait-il orienter ses efforts Ã l'avenir? (rÃ©ponses codÃ©es Ã une question ouverte; plusieurs rÃ©ponses possibles)\nDÃ©veloppement de la collectivitÃ© (recrutement, gestion du personnel, pratiques exemplaires, aide Ã la formation, ateliers et outils)\nCommunications, rÃ©seautage et coordination entre les membres de la collectivitÃ© et les autres intervenants (c. Ã -d. analystes du SCT)\nOrientation, conseils stratÃ©giques\nDÃ©veloppement des capacitÃ©s d'Ã©valuation\nObtenir du financement et des ressources complÃ©mentaires pour les ministÃ¨res\nAide aux petits organismes\nObtenir du financement complÃ©mentaires pour le CEE\nLes entrevues avec les principales personnes interrogÃ©es ont Ã©galement soulignÃ© un certain nombre de secteurs auxquels le CEE devrait participer davantage. Les principales personnes interrogÃ©es ont fait Ã©tat des ressources limitÃ©es du CEE, et bon nombre de rÃ©pondants ont Ã©tÃ© rÃ©ticents Ã s'exprimer sur les rÃ´les Ã©tendus au-delÃ des activitÃ©s actuelles. Les personnes interrogÃ©es ont reconnu que la mise en oeuvre intÃ©grale de la politique exigerait un changement culturel, afin de crÃ©er un environnement dans lequel les gestionnaires pourraient intÃ©grer la pratique d'Ã©valuation Ã leur travail. Bon nombre ont indiquÃ© que le CEE peut jouer un rÃ´le de premier plan en aidant les ministÃ¨res Ã instaurer ce changement culturel, tout en reconnaissant les difficultÃ©s Ã long terme, les ressources et le soutien des cadres supÃ©rieurs que cela exigerait.\nLes participants aux Ã©tudes de cas ont Ã©galement recommandÃ© certains secteurs sur lesquels le CEE devrait se pencher davantage Ã l'avenir, notamment fournir de l'orientation dans les secteurs suivants : Ã©tablissement des coÃ»ts des Ã©valuations, choix quant au niveau des Ã©valuations, attentes du SCT en matiÃ¨re d'Ã©valuation, domaines souples en Ã©valuation, Ã©laboration de CGRR et Ã©change des leÃ§ons tirÃ©es entre ministÃ¨res.\n4.1 ProgrÃ¨s rÃ©alisÃ©s dans la mise en oeuvre\nÃ‰tant donnÃ© qu'on se trouve au premier stade de la mise en oeuvre, on peut conclure qu'on a rÃ©alisÃ© des progrÃ¨s raisonnables dans la mise en oeuvre de la politique, et malgrÃ© les diverses difficultÃ©s contextuelles telles que :\nle remaniement et(ou) la redÃ©finition de la fonction au sein de nombreux ministÃ¨res;\nune pÃ©nurie importante d'Ã©valuateurs qualifiÃ©s au sein des secteurs.\nLes petits organismes accusent un retard en ce qui a trait aux progrÃ¨s rÃ©alisÃ©s dans la mise en oeuvre, bon nombre ayant une capacitÃ© d'Ã©valuation minimale ou inexistante. Jusqu'Ã prÃ©sent, la plupart des progrÃ¨s mesurÃ©s sur le plan de la mise en oeuvre de la politique ont Ã©tÃ© enregistrÃ©s dans les ministÃ¨res de grande taille et de taille moyenne qui Ã©taient dÃ©jÃ dotÃ©s d'une certaine capacitÃ© d'Ã©valuation avant la mise en oeuvre de la politique. Les petits organismes ne sont toujours pas en mesure de rÃ©pondre aux exigences de la nouvelle politique. On devrait prendre des mesures complÃ©mentaires pour s'assurer que ces organismes connaissent la politique ainsi que le CEE et ses produits et services, et qu'ils disposent du soutien nÃ©cessaire pour choisir et mettre en oeuvre les aspects pertinents de la politique compte tenu de leur contexte particulier.\n4.2 DifficultÃ©s et obstacles concernant la mise en oeuvre\nLe niveau de productivitÃ© accru de la fonction au cours des deux derniÃ¨res annÃ©es ne pourra se maintenir que si l'on dÃ©ploie des efforts importants pour combler les lacunes en matiÃ¨re de budget et de ressources humaines qui caractÃ©risent actuellement la fonction d'Ã©valuation.\nSelon les prÃ©visions, les volumes de travail devraient subir une augmentation d'environ 200 % au cours des deux prochaines annÃ©es, alors que le nombre d'employÃ©s chargÃ©s de l'Ã©valuation ne devrait augmenter que de 20 Ã 30 % seulement au cours de la mÃªme pÃ©riode. Pour soutenir la demande accrue de productivitÃ© de la fonction d'Ã©valuation, aprÃ¨s la mise en application des diverses politiques et mÃ©thodes de mesure des rÃ©sultats, il faudra prÃ©voir des augmentations comparables Ã la fois des budgets et du personnel. Lors du dÃ©veloppement des capacitÃ©s de la fonction d'Ã©valuation dans l'ensemble du gouvernement, il demeurera important de veiller au maintien du soutien ministÃ©riel de la fonction d'Ã©valuation au-delÃ de la mise en oeuvre intÃ©grale de la politique.\nPour avancer dans le rÃ¨glement des questions de perfectionnement de la collectivitÃ© telles que le maintien en poste, la formation et le perfectionnement professionnel, il faudra faire preuve de crÃ©ativitÃ© afin de trouver des solutions de rechange aux mÃ©thodes traditionnelles de recrutement et de formation des professionnels adoptÃ©es actuellement par le gouvernement fÃ©dÃ©ral. En raison de la taille relativement modeste de la collectivitÃ©, il faudra Ã©tablir et maintenir des partenariats et des rÃ©seaux permanents avec les associations professionnelles externes et les groupes internes du secteur de l'Ã©valuation. Bien que cette approche exige des ressources importantes au dÃ©part, elle permettra vraisemblablement de rÃ©gler plus rapidement ces questions que les mÃ©thodes actuelles.\n4.3 RÃ´les et responsabilitÃ©s du CEE\nIl est fondamental que le CEE continue de jouer un rÃ´le de premier plan en aidant la collectivitÃ© de l'Ã©valuation Ã mettre en oeuvre la politique. Jusqu'Ã prÃ©sent, le CEE a rÃ©ussi dans ce rÃ´le, compte tenu du nombre de difficultÃ©s auxquelles il a Ã©tÃ© confrontÃ© au cours des 18 derniers mois. Si, selon les constatations de l'Ã©valuation provisoire, il reste des progrÃ¨s Ã accomplir dans la mise en oeuvre de la politique, il faudra un groupe centralisateur prÃªt Ã jouer un rÃ´le de premier plan, semblable Ã celui assumÃ© par le CEE au cours des 18 premiers mois. Les principaux secteurs exigeant un leadership permanent sont la promotion de l'importance de l'Ã©valuation auprÃ¨s des cadres supÃ©rieurs, le soutien de la mise en valeur globale des ressources, la formation, les outils et les guides de soutien de la mise en oeuvre de la politique, et la dÃ©finition des pratiques exemplaires pour diffusion au sein de la collectivitÃ©.\nAu cours des deux prochaines annÃ©es, le CEE devra Ã©galement continuer d'encourager le SCT Ã utiliser les rÃ©sultats des Ã©valuations dans le processus dÃ©cisionnel. Selon les constatations de l'Ã©valuation provisoire relevÃ©es lors des entrevues avec les secteurs du SCT, le CEE doit davantage participer Ã l'analyse des CGRR et aux Ã©valuations rattachÃ©es aux prÃ©sentations. Compte tenu de l'accroissement important du nombre d'Ã©valuations prÃ©vues au cours des deux prochaines annÃ©es et au-delÃ , le besoin de soutien devrait s'accroÃ®tre de faÃ§on substantielle durant cette pÃ©riode.\nNotes complÃ©mentaires :\n(1) Cadre de gestion et de responsabilisation axÃ© sur les rÃ©sultats : Politique d'Ã©valuation - Centre d'excellence en Ã©valuation, SecrÃ©tariat du Conseil du TrÃ©sor.\n(2) L'enquÃªte auprÃ¨s de la collectivitÃ© de l'Ã©valuation a Ã©tÃ© rÃ©alisÃ©e par Trevor Bhupsingh Consulting.\n(3) Les entrevues avec les principales personnes interrogÃ©es ont Ã©tÃ© rÃ©alisÃ©es par Goss Gilroy Inc. Compte tenu du calendrier parallÃ¨le de l'Ã©valuation de la politique de vÃ©rification, certaines entrevues avec les principales personnes interrogÃ©es ont Ã©tÃ© menÃ©es conjointement avec un intervieweur de chaque Ã©quipe d'Ã©valuation prÃ©sente. Les principales personnes interrogÃ©es ont eu le choix entre une entrevue distincte ou conjointe.\n(4) Les Ã©tudes de cas ont Ã©tÃ© rÃ©alisÃ©es par Conseils et VÃ©rification Canada.\n(5) SecrÃ©tariat du Conseil du TrÃ©sor, 2000.\n(6) Communications internes.\n(7) Politique d'Ã©valuation du Conseil du TrÃ©sor, 2001.\n(8) Ã‰tude de Conseils et VÃ©rification Canada, 2000.\n(9) Estimation des ETP selon l'Ã©tude de Conseils et VÃ©rification Canada rÃ©alisÃ©e en 2000.\n(10) L'augmentation est de 218 % lorsqu'on la compare aux 57 CGRR produits en 2000-2001.\n(11) L'augmentation estimative est de 193 % lorsqu'on la compare aux 85 Ã©tudes d'Ã©valuation produites en 2000-2001.\n(12) L'augmentation estimative est de 112 % lorsqu'on la compare aux 45 Ã©tudes sur la mesure du rendement produites en 2000-2001.\n(13) Le nombre rÃ©el approuvÃ© au moment de la collecte des donnÃ©es (juillet 2002) Ã©tait de 116 rapports d'Ã©valuation dont198 n'Ã©taient pas encore approuvÃ©s. Selon le taux d'achÃ¨vement de 2001-2002, cela donne Ã titre estimatif 249 Ã©valuations achevÃ©es d'ici la fin de l'exercice 2002-2003 dont 65 non encore approuvÃ©es.\n(14) 2001, Centre de psychologie du personnel de la Commission de la fonction publique du Canada.