Plan d'évaluation quinquennal des IRSC
2008-2009 - 2012-2013
4. Activités de l'Unité de l'évaluation
4.1. Activités d'évaluation pour la période de 2008-2009 à 2012-2013
L'exercice 2007-2008 a été le premier où l'Unité de l'évaluation a pu fonctionner avec un effectif presque complet. Au cours de cette année, un certain nombre de projets d'évaluation de petite et de grande envergure ont été entrepris.
Le processus visant à satisfaire aux exigences du plan d'évaluation quinquennal des IRSC sera amorcé au cours du présent exercice (2008-2009). Les engagements d'évaluation en 2008-2009 correspondent à des évaluations de programme prioritaires, précédemment déterminées par la direction des IRSC, soit l'évaluation du programme ouvert de subventions de fonctionnement, des programmes de type équipe des IRSC, des essais contrôlés randomisés et de la conformité aux exigences du SCT (Initiative de recherche sur la capacité d'intervention en cas de pandémie), ainsi que les évaluations des trois Conseils (coûts indirects, chaires de recherche du Canada). Enfin, plusieurs études d'évaluation ont été entreprises en 2007-2008 et seront terminées au cours du présent exercice : évaluation de l'Initiative stratégique pour la formation en recherche dans le domaine de la santé (ISFRS), des bourses d'études supérieures du Canada (BESC), des bourses de recherche au doctorat, et du Groupe consultatif interagences en éthique de la recherche et Secrétariat en éthique de la recherche (GER/SER).
Le tableau 2 ci-dessous fournit plus de renseignements sur les évaluations de programme prévues de l'organisme pour les cinq prochaines années (de 2008-2009 à 2012-2013). Les résultats de l'exercice d'établissement des priorités y sont détaillés. Au besoin, chaque engagement a été défini du point de vue opérationnel par projets particuliers, approches et besoins en ressources.
Dans certains cas, les besoins de données d'évaluation des gestionnaires ont nécessité un nouveau regroupement de programmes à l'intérieur de catégories de l'AAP ou entre ces catégories. Par exemple, la catégorie Programme de subventions d'équipe de l'AAP a été élargie de manière à inclure les 10 programmes de type équipe des IRSC — du passé et du présent — afin que la direction obtienne suffisamment de données probantes quant à la valeur ajoutée de l' « approche d'équipe » pour le financement et la réalisation de la recherche. Afin d'en permettre l'évaluation, le programme ouvert de subventions de fonctionnement — le plus vaste programme des IRSC — a été scindé en études évaluatives multiples et étalé sur plusieurs années, ce qui rendra l'évaluation plus ciblée et plus facile à gérer.
D'autres adaptations ont été la fusion de paires de catégories de l'AAP dans des études évaluatives uniques (programmes de formation et programmes stratégiques de formation; programmes d'appui salarial et programmes stratégiques d'appui salarial), qui permettront une analyse, par exemple, de l'efficacité d'une approche stratégique par opposition à une approche ouverte du financement.
Toutes les évaluations prévues au calendrier quinquennal aborderont la question de l'optimisation des ressources en traitant des éléments de base proposés dans la Directive du SCT sur la fonction d'évaluation. La portée réelle des projets pour les années 2009-2010 à 2012-2013 sera déterminée de façon plus précise par les ressources disponibles, l'état des projets d'évaluation précédents et les besoins d'information de la direction des IRSC après la restructuration annuelle du Plan par l'Unité de l'évaluation.
Tableau 2. Projets d'évaluation proposés pour 2008-2009 – 2012-2013
[À noter que plus de détails sont connus pour les projets dont l'évaluation doit avoir lieu au cours du présent exercice que pour ceux qui doivent avoir lieu au cours d'années ultérieures. Les évaluations non dirigées par l'Unité de l'évaluation des IRSC sont indiquées en gris].
|
Catégorie (sous-activité de l’AAP) |
Statistiques de base 2007-2008 |
Résultats de la SGRR et résultats escomptés (SGRR des IRSC, 2007) |
Évaluation(s) proposée(s) |
Thèmes préliminaires de l’évaluation |
Année de début |
Justification / ressources / commentaires |
|
1.1.1. Programme ouvert de subventions de fonctionnement
|
3898 subventions financées 383 M$ 98,3 k$ par subvention |
Résultats escomptés :
Extrant : subventions de recherche |
1. Évaluation de l’examen par les pairs |
Examen par les pairs |
2008- |
Compte tenu de son importance, de sa taille et des données d'évaluation qui datent à son sujet, ce programme exige une évaluation exhaustive qui s’étalera sur plusieurs années afin de donner la meilleure représentation possible des éléments à évaluer. Plusieurs études évaluatives sont proposées, et diverses questions d’intérêt seront explorées (p. ex. évaluation du processus d’examen par les pairs, en particulier dans le contexte de la représentation de l’excellence de la recherche; échelle et portée du programme; concurrence internationale). Les évaluations doivent être menées à l’interne, mais certaines tâches peuvent être données en sous-traitance. Les affectations budgétaires suivantes ont été proposées : 25 000 $ pour 2008-2009; 40 000 $ pour 2009-2010 et 35 000 $ pour 2010-2011. |
|
2. Évaluation des résultats et des impacts passés |
Répercussions de la recherche en santé |
2008- |
||||
|
3. Méta-évaluation du programme |
Efficacité et pertinence globales |
2010- |
||||
|
1.1.2. Programme d’essais contrôlés randomisés |
74 subventions financées 32,3 M$ 436,7 k$ par subvention |
Résultats escomptés :
Extrant : subventions de recherche |
Efficacité du programme (analyse des données des rapports finals) |
Répercussions de la recherche en santé |
2008- |
L’évaluation des ECR a été jugée prioritaire en raison de multiples facteurs : la notoriété du programme sur la scène internationale, le ratio considérable de dépense pour chaque subvention, la décision d’incorporer les ECR dans le programme de subventions de fonctionnement, et la disponibilité immédiate de données recueillies dans les rapports finals (Consolidated Standards of Reporting Trials-CONSORT). Cette évaluation doit être menée à l’interne. Son cadre est en cours d’élaboration afin de veiller à ce que les besoins d’information de la haute direction soient satisfaits et à ce que suffisamment de données probantes au sujet des résultats et de l’efficacité du programme soient obtenues. |
|
1.1.3. Programme de subventions d’équipe
|
109 subventions financées 26,7 M$ 244,7 k$ par subvention |
Résultats escomptés :
Extrant : subventions de recherche
|
Évaluation de tous les programmes de type équipe aux IRSC : - ACRS (voir l’annexe A pour les acronymes) |
Productivité de la recherche en équipe Renforcement de la capacité Application des connaissances |
2008- |
La stratégie d’évaluation a été élaborée par l’Unité de l’évaluation au printemps 2008. L’évaluation proposée portera sur 10 programmes de type équipe (en cours et passés), qui sont répartis entre différentes catégories de l’AAP. Cette façon de faire permettra aux évaluateurs de fournir de solides données sur la valeur ajoutée de l’approche d’équipe du financement de la recherche et, potentiellement, d’enrichir la théorie sur le rendement et la productivité des équipes. Une attention particulière sera accordée à la mise au point d’outils d’évaluation pour des questions horizontales comme le renforcement de la capacité et l’application des connaissances. Le budget du projet prévoit 25 000 $ pour 2008-2009. |
|
2.1.3. Programme des chaires de recherche du Canada |
693 subventions financées 86,4 M$ |
Résultats escomptés :
Extrant : titulaire de la chaire de recherche en poste |
À déterminer à l’externe |
Développement de la capacité |
2008- |
Évaluation externe (trois Conseils) L’évaluation est obligatoire pour l’exercice 2009-2010. La planification débutera en novembre 2008. Le programme de CRC vise à attirer et à maintenir certains des chercheurs les plus accomplis et les plus prometteurs au monde; par conséquent, les IRSC auront intérêt à considérer les résultats des CRC dans le contexte d’autres programmes de renforcement de la capacité. |
|
1.2.4. Initiative de recherche sur la capacité d'intervention en cas de pandémie |
40 subventions financées 2,8 M$ 70,5 k$ par subvention |
Résultats escomptés :
Extrant : subventions de recherche |
À déterminer à l’externe |
Priorités nationales en matière de santé |
2008- |
Évaluation externe Une évaluation formative aura lieu en 2008-2009. L’évaluation proposée portera sur la pertinence et l’efficacité du groupe de travail de l’Initiative, la perception de la conception et de la réalisation de l’Initiative par ses chercheurs et ses parties prenantes, et le succès des activités visant à favoriser les liens et les échanges. |
|
s.o. |
s.o. |
s.o. |
À déterminer à l’externe |
2008- |
Évaluation externe Le CT exige une évaluation en profondeur du programme à réaliser au cours de sa sixième année d’activité. Le principal thème de l’évaluation est la pertinence continue du programme et son rapport coût-efficacité, ainsi que ses résultats, ses résultats escomptés et ses impacts. Le début du projet est actuellement prévu pour septembre 2008. Les IRSC participeront à un groupe de travail. |
|
|
1.2.2. Programme des grandes initiatives stratégiques |
172 20,8 M$ 121,2 k$ par subvention |
Résultats escomptés :
Extrant : subventions de recherche |
Évaluation en grappe de grandes initiatives stratégiques |
Priorités de recherche en santé Impacts de la recherche en santé |
2009- |
Évaluer les grandes initiatives stratégiques transversales est important du point de vue de la prise de décision. L’évaluation proposée permettra de considérer le modèle de financement des initiatives stratégiques dans son intégralité (plutôt que le succès de chaque initiative individuelle) et s’inspirera du cadre d’évaluation et de l’étude d’évaluation de l’impact de l’initiative précédente sur l’obésité, ainsi que d’autres évaluations. Elle sera réalisée à l’interne par l’Unité de l’évaluation. |
|
2.2.1. Collaboration et ressources en recherche |
420
49,4 M$ |
Résultats escomptés :
Extrant : subventions de recherche |
À déterminer |
Partenariats et engagement des citoyens |
2009- |
Le moment proposé pour cette évaluation peut devoir être revu à la lumière de la cote attribuée pour l’importance relative et de la cote globale, compte tenu que les programmes de type équipe qui représentent les deux tiers du budget pour cette catégorie sont évalués avec l’AAP pour les subventions d’équipe. La portée de l’évaluation sera déterminée dans le cadre de consultations futures. |
|
2.1.1. Programmes d'appui salarial |
416
21,1 M$ 50,8 k$ par bourse |
Résultats escomptés :
Extrant : bourses salariales et allocations de recherche |
Pertinence et efficacité des programmes |
Développement de la capacité |
2009- |
En 2004-2005, le Groupe de travail sur le soutien professionnel a examiné les programmes des IRSC offrant des bourses salariales aux chercheurs en santé et a fait une série de recommandations. L’Unité de l’évaluation entend procéder en 2009-2010 à une évaluation plus complète des programmes d’appui salarial et de leur rôle dans la création d’un environnement de recherche solide. |
|
2.1.5. Programmes d’aide salariale stratégique |
50 2,7 M$ 54,8 k$ par bourse
|
Résultats escomptés :
Extrant : bourses salariales et allocations de recherche |
||||
|
s.o.
|
s.o. |
s.o. |
À déterminer |
2010- |
Comme l’exige la Loi sur les IRSC (2000), l’organisme doit procéder à un examen quinquennal des instituts des IRSC. La Direction de l’évaluation et de l’analyse sera responsable de ce projet de première importance, qui comprendra un examen de la liste des instituts. |
|
|
1.2.1. Programme de subventions de fonctionnement dirigées vers les priorités stratégiques |
430
38,2 M$
88,9 k$ par subvention
|
Résultats escomptés :
Extrant : subventions de recherche |
À déterminer |
Priorités de recherche en santé |
2010- |
La portée et la méthode d’évaluation du programme de subventions de fonctionnement répondant à des priorités stratégiques seront établies en parallèle avec l’évaluation des grandes initiatives stratégiques et du programme ouvert de subventions de fonctionnement. |
|
1.2.5. Initiative de recherche sur les médicaments coûteux pour des maladies rares |
1 subvention financée 11,6 M$ 11 600 k$ par subvention |
Résultats escomptés :
Extrant : subventions de recherche |
À déterminer à l’externe |
Priorités nationales en matière de santé |
2010-2011 |
Évaluation externe Cette initiative est un investissement conjoint par le gouvernement du Canada, les provinces participantes et le secteur privé, et a pour objectif de recueillir des informations sur l’efficacité d’un traitement pour la maladie de Fabry, un trouble génétique rare. Le Comité de surveillance scientifique indépendant a la responsabilité de surveiller, d’évaluer et de communiquer publiquement les résultats de l’initiative de recherche. |
|
2.3.2. Programmes de partenariat |
263 9,1 M$ 34,7 k$ par subvention |
Résultats escomptés :
Extrants : subventions de recherche; bourses de formation; bourses salariales |
Évaluation en grappe des programmes de partenariat |
Partenariats Application des connaissances |
2010- |
Le Programme de partenariats offre des subventions pour des programmes nationaux/internationaux permettant de coordonner les activités de recherche en santé avec d’autres parties prenantes. Comme les buts et la portée du programme sont semblables à ceux du programme d’AC, la faisabilité d’une évaluation conjointe sera examinée plus à fond. |
|
3.1.1. Programme de financement de l’application des connaissances |
192 9,5 M$ 49,5 k$ par subvention |
Résultats escomptés :
Extrant : subventions de recherche |
Étude |
Application des connaissances Partenariats |
2010- |
L’évaluation des deux types d’AC (fin de subvention et AC intégrée) sera au cœur de l’étude évaluative proposée. La Direction de l’échange et de la synthèse des connaissances des IRSC y jouera un rôle. |
|
3.2.1. Programmes d’aide à la commercialisation
|
490 98,9 M$ 201,9 k$ par subvention |
Résultats escomptés :
Extrant : subventions de recherche |
Résultats et impacts de la commerciali-sation de la recherche en santé |
Application des connaissances Partenariats Priorités en matière de santé |
2010- |
Une détermination initiale de la capacité d’évaluation doit être faite, après quoi sera établi le cadre de mesure du rendement et d’évaluation (budget de 35 000 $ pour 2009-2010). Les activités d’évaluation futures dépendront de ce cadre. |
|
1.2.3. Initiative de recherche sur le VIH/sida |
199 17,3 M$ 87,1 k$ par subvention |
Résultats escomptés :
Extrant : subventions de recherche |
À déterminer à l’externe |
Priorités nationales en matière de santé |
2010- |
Évaluation externe Quatre ministères fédéraux ont la responsabilité de mener à terme cette initiative fédérale, lancée en 2004-2005 (renouvellement en 2010). L’Agence de la santé publique du Canada dirigera l’évaluation. |
|
2.1.2. Programmes d’appui à la formation |
796 24,2 M$ 30,5 k$ par bourse |
Résultats escomptés :
Extrant : bourses de formation et allocations de recherche |
Évaluation en grappe de tous les programmes de formation |
Développement de la capacité |
2011- |
Les programmes de formation ont été bien évalués en tant que programmes individuels de 2006 à 2008. Dans le prolongement de ces travaux, une évaluation globale portant sur l’efficacité de tous les programmes de formation (y compris l’excellence) est proposée. |
|
2.1.6. Programmes stratégiques d’appui à la formation |
299 36,3 M$ 121,6 k$ par bourse |
Résultats escomptés :
Extrant : bourses de formation et allocations de recherche |
|
|
|
|
|
1.2.6. Initiative de recherche de traitements de la Stratégie nationale antidrogue |
0 subvention financée |
Résultats escomptés :
Extrant : subventions de recherche |
À déterminer à l’externe |
Priorités nationales en matière de santé |
2011- |
Évaluation externe Il s’agit d’une nouvelle initiative dans le cadre de laquelle les premiers programmes de subventions ont été lancés au début de 2008. Comme l’initiative s’inscrit dans la Stratégie nationale antidrogue du gouvernement, l’évaluation sera dirigée par Santé Canada. |
|
2.1.4. Programme de bourses d’études supérieures du Canada |
747 13,9 M$ 18,6 k$ par bourse |
Résultats escomptés :
Extrant : bourses de formation |
À déterminer |
Développement de la capacité |
2011- |
Trois Conseils Cette évaluation des trois Conseils se déroulera sous la conduite des IRSC et de leur Unité de l’évaluation. Elle s’inscrira dans le prolongement de l’étude de 2007-2008, en parallèle avec l’évaluation des programmes de formation des IRSC. |
|
3.1.2. Programme des Réseaux de centres d’excellence |
11 subventions financées 27,5 M$ |
Résultats escomptés :
Extrant : soutien de réseaux |
À déterminer à l’externe |
Développement de la capacité Partenariats |
2011- |
Évaluation externe (trois Conseils) L’évaluation s’inscrira dans le prolongement de l’étude de 2006. Elle sera dirigée par le Conseil de recherches en sciences naturelles et en génie du Canada. |
|
2.3.1. Subventions d'appui aux instituts |
14 13 M$ |
Résultats escomptés :
Extrants :
|
À déterminer |
À déterminer |
2012- |
Les subventions d’appui aux instituts sont en voie d’être repensées à la suite de consultations approfondies pour répondre aux préoccupations du CT. Le moment choisi pour cette évaluation donnerait le temps de préparer le renouvellement des conditions de cette subvention en 2013-2014. |
|
2.4. Questions éthiques, juridiques et sociales |
50 1,5 M$ 30,8 k$ par subvention |
Résultats escomptés :
Extrant : subventions de recherche |
À déterminer |
Éthique |
2012- |
Cette évaluation sera réalisée à l’interne, dans le prolongement de l’étude de 2008-2009 sur le GER/SER. |
4.2. Indicateurs de rendement
Dans le cadre du système de mesure du rendement en évolution aux IRSC, l'Unité de l'évaluation rendra compte de son rendement en utilisant un ensemble restreint d'indicateurs de rendement clés :
- Pourcentage du plan de travail annuel et du plan d'évaluation quinquennal réalisé. Ce pourrait être une mesure de la capacité de l'unité de respecter les calendriers de projet et de gérer efficacement le processus d'évaluation.
- Qualité et utilité des produits et des services, selon l'évaluation des clients. Une façon de procéder à cet égard pourrait être la réalisation de sondages auprès des clients suivant les projets d'évaluation, auxquels s'ajouterait un sondage annuel auprès de tous les cadres supérieurs et des principaux intervenants.
4.3. Besoins en ressources
L'Unité de l'évaluation possède au départ un effectif de huit ETP. Cet effectif se décompose ainsi : un gestionnaire, un agent d'évaluation et de contrôle de la qualité, quatre évaluateurs10 et deux évaluateurs subalternes. Un poste d'évaluateur supplémentaire est proposé pour le prochain exercice financier.
Une grande partie du travail d'évaluation sera effectuée par des ressources internes.
Outre les projets d'évaluation de programme qu'elle entreprend en conformité avec les plans d'évaluation antérieurs et le plan actuel, l'Unité de l'évaluation consacre beaucoup de temps à soutenir et à conseiller d'autres fonctions organisationnelles. Les évaluateurs consacrent environ de 20 à 30 % de leur temps au soutien des clients. L'unité aide la direction des programmes à évaluer la conception, l'application et l'efficacité des politiques, des programmes et des initiatives (p. ex. conseils sur les cadres de gestion et de responsabilisation axés sur les résultats, conduite d'études évaluatives au niveau des programmes, activités de mesure du rendement et analyses de données).
Pour de plus amples renseignements sur le soutien des clients et les personnes-ressources, consultez la prochaine section.
4.4. Personnes-ressources de la Direction de l'évaluation et de l'analyse
Toute personne qui a besoin de l'aide de la Direction de l'évaluation et de l'analyse ou qui souhaite obtenir de plus amples renseignements doit s'adresser à :
Peggy Borbey, directrice
Direction de l'évaluation et de l'analyse
Portefeuille de l'application des connaissances
Téléphone : 613-941-4350
Courriel : peggy.borbey@irsc-cihr.gc.ca
Pour de plus amples renseignements au sujet du présent plan d'évaluation, des projets d'évaluation de programme ou du soutien des clients, s'adresser à :
Laura McAuley, gestionnaire
Unité de l'évaluation / Unité de l'évaluation de l'impact
Direction de l'évaluation et de l'analyse
Portefeuille de l'application des connaissances
Téléphone : 613-948-2283
Courriel : laura.mcauley@irsc-cihr.gc.ca
Nous serons heureux de vous offrir de l'aide et de vous fournir l'information dont vous avez besoin.
Votre rétroaction et vos commentaires sont les bienvenus.
10. Une évaluatrice est actuellement en congé de maternité. Elle réintégrera son poste en mars 2009.
- Mise à jour :