Étude d'évaluation du Programme de subvention de fonctionnement
Rapport
Unité d'évaluation et d'analyse
Septembre 2004
Aussi disponible en anglais
Table des matières
Résumé
1. Introduction
1a. Contexte
1b. But du rapport et auditoire
1c. Portée
1d. Modalités de l'évaluation
2. Contexte
2a. Nature du Programme de subventions de fonctionnement
3. Méthodologie
3a. Aperçu général
3b. Sondage auprès des répondants du PSF
3c. Analyse des données administratives
3d. Entrevues
4. Conclusions
4.1 Données administratives
4.1a. Portée du PSF
4.1b. Caractéristiques des demandes fructueuses au PSF
4.1c. Association entre le financement par le PSF et les principaux articles de recherche en santé
4.2 Sondages auprès des candidats du PSF
4.2a. Sondage Web auprès des candidats financés par le PSF
4.2b. Sondage auprès des candidats non retenus du PSF
4.3 Entrevues
5. Principales conclusions et recommandations
Réponse de la direction et plan d'action
Résumé
Les IRSC ont promis transparence et reddition de comptes aux Canadiens pour leurs investissements de fonds publics dans tous leurs programmes et activités de recherche en santé. Pour donner suite à cet engagement, ils ont entrepris leur première évaluation de leur principal programme de financement de la recherche en santé, le Programme de subventions de fonctionnement (PSF), afin d'en évaluer le fonctionnement, l'impact et l'atteinte des objectifs.
Le Programme de subventions de fonctionnement a représenté environ 46 % des dépenses totales des IRSC au titre des subventions et bourses en 2003-2004 (environ 265 000 000 $ sur 576 000 000 $). Le programme offre des subventions de recherche à tous les chercheurs en santé admissibles dans le cadre de concours ouverts jugés par des pairs. Bien que le programme existe depuis plus de 20 ans, son évaluation porte avant tout sur ses produits et résultats depuis que les IRSC ont succédé au Conseil de recherches médicales (CRM) en 2000.
L'évaluation a été réalisée afin de fournir au conseil d'administration des IRSC, à la haute direction et au milieu de la recherche en santé des données probantes selon lesquelles le programme atteint ou non les résultats attendus :
- capacité accrue de produire et de développer de nouveaux savoirs;
- production accrue de personnel hautement qualifié.
L'évaluation fait également suite à une recommandation de la Vérificatrice générale de surveiller et d'évaluer le PSF.
Vu l'ampleur du programme, l'évaluation s'est déroulée en plusieurs phases et a été fondée sur de multiples sources de données. La première phase de l'évaluation a été réalisée par un entrepreneur (BearingPoint) et a été supervisée par un comité directeur formé de spécialistes indépendants de l'évaluation et du contenu. La première phase a consisté en un sondage Web auprès de plus de 600 bénéficiaires du PSF, en des entrevues individuelles avec un sous-échantillon de 24 bénéficiaires du programme et en des entrevues avec des informateurs clés (comme les directeurs d'autres organismes de recherche en santé et les directeurs scientifiques des instituts des IRSC). La deuxième phase de l'évaluation a été réalisée par le personnel de l'Unité d'évaluation et d'analyse des IRSC et a consisté en une analyse de données administratives, en un sondage auprès d'environ 115 candidats dont les demandes avaient été rejetées et en une étude bibliométrique d'ampleur limitée. Étant donné l'importance du programme et de son évaluation, toutes les phases du rapport ont été présentées au comité permanent du conseil d'administration des IRSC sur la mesure du rendement, l'évaluation et la vérification.
Le plan d'évaluation, fondé sur des méthodologies multiples et faisant appel à nombre d'intéressés, aide à garantir que les résultats et les conclusions reposent sur des faits raisonnables et vérifiables. Chacune des méthodologies avait ses forces et ses faiblesses particulières, qui sont soulignées dans le rapport, et qui ont été prises en considération dans les analyses et l'élaboration des conclusions.
Bien que l'évaluation ait constitué un bon point de départ au sujet des perceptions et du rendement du programme, elle n'a pas vraiment permis de comprendre ce que la recherche financée dans le cadre du PSF permettait d'accomplir par rapport à la mission des IRSC. Ces derniers reconnaissent dans leur plan stratégique d'ensemble qu'ils « doivent démontrer aux Canadiens non seulement la valeur de programmes individuels parmi leur ensemble de programmes, mais aussi le retour global sur l'investissement des Canadiens… Quel est le bien qui résulte de la recherche en santé? Pour certains, c'est un bien intrinsèque – la recherche de nouvelles connaissances et la découverte sont intrinsèquement utiles, et plus cette activité est grande, mieux c'est. Le processus de découverte est incrémentiel et, à ce titre, les avantages tangibles ne sont pas immédiats. (…) D'autres ont un point de vue plus agnostique, selon lequel la recherche en santé contribue et est subordonnée à d'autres buts (p. ex. une meilleure santé, une plus grande productivité économique), ce qui la place en concurrence avec d'autres demandes pour l'obtention de fonds publics. »
Les IRSC se sont engagés à établir un cadre de retour sur l'investissement qui permettra de mesurer l'impact de la recherche financée aux termes du PSF et d'autres programmes dans des évaluations à venir.
Conclusions et recommandations
Les conclusions de l'évaluation du succès avec lequel sont atteints les résultats visés par le PSF sont présentées ci-après.
5.1. Dans quelle mesure le PSF permet-il d'améliorer la capacité de générer et de développer de nouveaux savoirs?
Conclusion no 1 : Des stratégies de collecte de données additionnelles sont nécessaires pour examiner plus en détail le PSF et son rôle dans la recherche en santé canadienne.
Des stratégies de collecte de données additionnelles devraient être adoptées pour recueillir les données appropriées à la fin des projets de recherche financés, afin qu'il soit possible de mieux mesurer les produits et, plusieurs années après la fin de ces projets, l'impact global de la recherche financée. Les IRSC devraient également recueillir des renseignements appropriés sur le type et le niveau des stratégies de diffusion et d'application des connaissances utilisées par les chercheurs financés dans le cadre du PSF. Sans données de référence ou sans un facteur d'impact valide, il est difficile de déterminer le sens réel des données recueillies au cours de l'évaluation concernant la diffusion et l'application des connaissances. Si une activité de diffusion et d'application des connaissances résulte bel et bien de la recherche financée dans le cadre du programme, reste à savoir dans quelle mesure il serait possible ou nécessaire de faire plus (ou moins). De même, s'il se fait clairement plus de recherche en santé par suite des augmentations budgétaires, la question de la « valeur pour l'argent investi », et donc de la recherche de plus (ou de moins) qu'il serait possible ou nécessaire de financer, demeure aussi sans réponse.
De plus, nous ne nous sommes pas attaqués à plusieurs questions qui auraient pu nous permettre de mieux comprendre le rôle du PSF dans la production de personnel hautement qualifié. Nous n'avons pas vérifié, par exemple, à quel point le PSF est plus ou moins efficace que d'autres mécanismes de financement pour appuyer et former de nouveaux chercheurs. De plus, il n'y avait pas de données fiables sur le nombre de stagiaires de recherche aidés par le PSF. Dans ce cas comme dans celui de la diffusion et de l'application des résultats, la collecte permanente de données par les IRSC aurait été très utile aux fins de l'évaluation.
Enfin, il reste un certain nombre d'aspects de la question de l'excellence en recherche qui pourraient être examinés plus en profondeur. Pour certains aspects de la recherche en santé, les IRSC pourraient songer à utiliser leurs données administratives pour générer des groupes tests par type de financement et niveau de financement, et produire des groupes de comparaison fiables, de bonne taille, afin de permettre l'analyse des chercheurs dans différentes catégories et ensuite comparer l'impact par une analyse bibliométrique. Un travail évaluatif plus poussé pourrait également permettre d'examiner comment le PSF influe sur la formulation et la conception de la recherche.
Recommandation no 1 : Les IRSC devraient établir une meilleure mesure permanente du rendement de la recherche qu'ils financent. Des exemples suivent, bien que les IRSC devraient considérer plus en détail diverses autres études.
- Revoir et revalider le modèle logique et la stratégie de mesure du rendement à la lumière des faits contenus dans le présent rapport;
- Mettre en usage un instrument de rapport à la fin de la subvention pour recueillir des données préliminaires sur le rendement, y compris sur la diffusion et l'application des connaissances et les résultats de la formation, et procéder à des évaluations pour recueillir des données sur les impacts de la recherche;
- Examiner plus en détail les données administratives pour aider à définir des indicateurs du fonctionnement et de l'incidence du programme;
- Trouver des façons pratiques et utiles de mesurer l'excellence en recherche dans le cadre du PSF.
Conclusion no 2 : Le PSF contribue de plus en plus à la production de connaissances nouvelles par la somme et l'ampleur de la recherche en santé financée.
Le PSF compte pour plus de 250 000 000 $ par année du financement de la recherche en santé au Canada et représente le plus important investissement dans cette recherche au Canada. La taille moyenne des équipes augmente également, ce qui donne à penser que le PSF finance plus de projets et plus de scientifiques par projet. De plus, depuis que les IRSC ont succédé au CRM, le nombre de comités de pairs dans le PSF a presque doublé, signe d'un plus grand nombre de types et d'une plus grande diversité de projets de recherche en santé financés dans le cadre du PSF.
Conclusion no 3 : Les chercheurs considèrent le PSF comme un très important élément de la capacité du Canada de générer une recherche en santé nouvelle.
La vaste majorité de candidats financés du PSF a indiqué que le programme avait été très important pour leurs programmes de recherche. Les deux indicateurs qui venaient en tête (en termes de pourcentage des répondants qui ont indiqué « élevée » ou « très élevée ») étaient s'établir dans un domaine donné (91 %) et laisser de la latitude pour explorer des idées (87 %), ce qui laisse entendre que le PSF joue un rôle clé en créant et en favorisant des idées novatrices dans la recherche en santé. Des données qualitatives obtenues de chercheurs financés et non financés révèlent aussi l'importance du PSF comme moyen de générer une recherche en santé nouvelle en permettant la libre exploration d'idées, en procurant une aide de haut niveau comparativement à d'autres sources de financement de la recherche en santé et en ayant la réputation de financer une recherche en santé crédible.
Conclusion no 4 : De plus en plus de demandes de haute qualité ne peuvent être financées.
Des données administratives révèlent que les IRSC sont généralement incapables de financer un important nombre des propositions de recherche de haute qualité qu'ils reçoivent à leurs concours du PSF, et l'écart entre le nombre de propositions de qualité et le nombre de propositions financées continue de se creuser.
De même, le sondage auprès des chercheurs non financés donne à penser que d'autres sources de financement finissent par être trouvées pour nombre des propositions bien considérées, mais non financées par le PSF. Il semble donc que lorsqu'une proposition est bien cotée dans le cadre du PSF, il s'agit bien d'une recherche d'une grande valeur scientifique, et que si les IRSC ne les financent pas, c'est uniquement parce que leur budget ne le leur permet pas. Nous ne pouvons déterminer si le processus de sélection écarte ou non par erreur des propositions de haute qualité scientifique en les cotant trop bas. Compte tenu de l'importance du PSF pour nombre de chercheurs en santé canadiens, l'écart croissant entre les propositions finançables et celles qui sont réellement financées suscite une certaine inquiétude.
Conclusion no 5 : Il existe des indications initiales de mécanismes de diffusion et d'application des connaissances.
Les résultats des données recueillies au sujet de la diffusion et de l'application des connaissances laissent croire que la recherche financée par le PSF peut être – et est effectivement – appliquée dans divers cadres commerciaux, politiques, administratifs et cliniques. Toutefois, vu l'échantillonnage dirigé (non aléatoire) pratiqué dans l'évaluation, les résultats ne peuvent être généralisés à l'ensemble de la recherche financée dans le cadre du PSF. Des applications industrielles de la recherche ont été le plus fréquemment mentionnées par l'échantillon complet des répondants au sondage Web, même si les nombres de cliniciens-chercheurs et de chercheurs dans les domaines des services de santé et de la santé publique et de la santé des populations qui ont fait état d'applications de leur recherche donnent à penser que les applications sont également nombreuses dans ces domaines.
Recommandation no 2 : Les IRSC devraient maintenir le Programme de subventions de fonctionnement.
Sans surprise peut-être, les répondants à l'évaluation étaient presque unanimement en faveur du PSF. Les faits présentés ici donnent à penser que le PSF demeure un mécanisme de financement tenu en haut estime. Grâce à des majorations de son budget, le programme a également rendu possibles la réalisation d'un nombre croissant de projets de recherche et le financement de plus de chercheurs. Certains y verraient un résultat intrinsèquement positif. Toutefois, dans un contexte où les fonds publics sont limités, il faut toujours plus de données au sujet des résultats de la recherche financée dans le cadre de programmes comme le PSF.
2. Dans quelle mesure le PSF a-t-il permis d'améliorer la production de personnel hautement qualifié?
Conclusion no 6 : Les chercheurs voient le PSF comme un élément très important de la capacité du Canada de produire un personnel hautement qualifié.
Les indicateurs associés à la production de personnel hautement qualifié ont été bien classés par les répondants, 82 % indiquant que le PSF était important ou très important pour constituer des équipes de recherche, et 80%, que le PSF était important ou très important pour améliorer leur capacité de former des chercheurs. Même si ces indicateurs devraient être considérés comme des mesures indirectes de la production de personnel hautement qualifié, le PSF semble être un important outil de renforcement de la capacité en appuyant la formation et le perfectionnement ainsi que la constitution d'équipes de recherche. Des données qualitatives attestent également l'important rôle du PSF dans la production de personnel hautement qualifié. Ces données semblent indiquer que le PSF est très important pour entretenir l'infrastructure de recherche, comme les laboratoires, et appuyer le personnel hautement qualifié. De plus, des répondants ont indiqué que perdre une subvention de fonctionnement pouvait être lourd de conséquences pour la carrière d'un chercheur en santé.
Conclusion no 7 : Le PSF est un élément qui permet de retenir et d'attirer des chercheurs.
Quoique le PSF ne semble pas être un facteur de première importance dans le maintien en poste des chercheurs, les faits donnent à penser que le programme (et les IRSC en général) a un léger pouvoir d'attraction sur les chercheurs qui souhaitent déménager ou rester au Canada. Dans les deux cas, le rôle du financement des IRSC est un de nombreux facteurs.
Conclusion no 8 : Les chercheurs qui ont fait leurs preuves aux yeux des IRSC ont beaucoup plus de chances d'obtenir des fonds du PSF.
L'analyse des données administratives a révélé que les chercheurs possédant peu d'expérience dans l'art de demander des subventions aux IRSC avaient significativement moins de chances de réussir à un concours du PSF. Cinquante pour cent des candidats qui avaient obtenu plus de cinq subventions précédemment réussissaient, comparativement à 13 % de ceux qui n'avaient pas déjà obtenu de subvention des IRSC. Les données qualitatives semblent indiquer la même chose, même si les répondants avaient plutôt tendance à mettre ces insuccès sur le compte de l'âge du candidat plutôt que de son inexpérience.
Les données administratives indiquent clairement que l'expérience, définie par l'obtention antérieure de fonds des IRSC, est fortement en corrélation avec l'obtention de fonds dans le cadre du PSF. Le processus de sélection du programme est conçu pour favoriser les candidats qui possèdent plus d'expérience et qui ont fait leurs preuves. Les taux de succès chez les chercheurs inexpérimentés, toutefois, pourraient être inquiétants s'il s'avérait que d'excellentes propositions de recherche ne sont pas financées simplement en raison de l'expérience du chercheur auprès des IRSC. L'évaluation n'a pas permis d'en savoir plus à ce sujet.
En outre, il semble exister une certaine disjonction entre les buts du programme et les attentes de la communauté de recherche, notamment pour ce que cette dernière considère comme des taux de succès plus bas chez les jeunes chercheurs. Bien qu'un de ses objectifs soit la production de personnel hautement qualifié, le PSF est avant tout un mécanisme qui sert à financer la recherche; il n'a pas le mandat explicite d'aider les jeunes chercheurs ou les chercheurs inexpérimentés. Les attentes quant au niveau et au type d'aide disponible dans le cadre du PSF doivent être claires pour la communauté de recherche en santé, ce qui renforce la recommandation numéro 3 ci-dessous.
Recommandation no 3 : Les IRSC devraient revoir puis clairement communiquer les buts du PSF dans le contexte des autres possibilités de financement des IRSC.
Au cours de l'évaluation, il est devenu évident que les IRSC n'avaient pas défini ni positionné le PSF adéquatement par rapport aux autres mécanismes de financement offerts aux IRSC. Il semblait y avoir beaucoup de confusion au sujet du rôle du PSF et de son mandat d'appuyer divers types de chercheurs. Les IRSC doivent revoir et ensuite clarifier les buts et la structure du programme pour la communauté de recherche, dans le contexte de leurs autres mécanismes de financement. Il faudrait notamment clarifier le rôle du PSF en ce qui a trait expressément au soutien des jeunes chercheurs ou des chercheurs inexpérimentés, ainsi que les mécanismes de financement qui existent pour venir en aide à la prochaine génération de chercheurs.
Recommandation no 4 : Les IRSC devraient s'assurer que leurs pratiques d'examen par les pairs ne défavorisent pas inutilement les propositions de candidats qui n'ont pas de feuille de route aux IRSC.
Même si l'évaluation n'était pas centrée sur l'examen par les pairs, de nombreux répondants ont mentionné que c'était là un aspect à améliorer. Les IRSC ont déjà entrepris plusieurs études qui, si elles ont généralement révélé un système d'examen par les pairs judicieux et attentivement surveillé, ont néanmoins mis en évidence des différences entre les communautés de recherche1. L'examen par les pairs joue certes un rôle névralgique dans les opérations des IRSC, et c'est donc un aspect qu'il importe d'analyser plus à fond pour veiller à ce que les buts des IRSC soient reflétés dans le processus d'examen par les pairs. Les IRSC devraient songer à revoir les critères de l'examen par les pairs qui s'appliquent à l'excellence et à la feuille de route pour faire en sorte que les chercheurs qui s'adressent pour la première fois aux IRSC continuent de penser qu'ils peuvent demander des fonds et avoir des chances raisonnables de succès. En particulier, nous proposons que les IRSC revoient le poids relatif accordé à la feuille de route d'un candidat dans le processus d'examen par les pairs pour veiller à ce que le PSF continue de financer la recherche de haute qualité peu importe l'expérience du candidat auprès des IRSC.
1 Voir, par exemple, le « rapport Thorngate » : Mining the Archives: Analyses of CIHR research grant adjudications. Warren Thorngate, Neda Faregh et Matthew Young. Université Carleton. 1er novembre 2002.
1. Introduction
Les IRSC ont promis transparence et reddition de comptes aux Canadiens pour leurs investissements de fonds publics dans tous leurs programmes et activités de recherche en santé. Pour donner suite à cet engagement, ils ont entrepris leur première évaluation de leur principal programme de financement de la recherche en santé, le Programme de subventions de fonctionnement (PSF), afin d'en évaluer le fonctionnement, l'impact et l'atteinte des objectifs. L'évaluation se veut également une réponse aux recommandations de la Vérificatrice générale du Canada voulant que les IRSC améliorent leur surveillance et leur suivi des résultats de la recherche, ainsi que leur évaluation du rendement du programme et leurs rapports à cet égard.
1a. Contexte
Les Instituts de recherche en santé du Canada (IRSC) ont été établis en juin 2000 pour transformer l'approche fédérale de la recherche en santé au Canada. Ils aspirent à faire du Canada un chef de file mondial dans la création et l'utilisation de connaissances par une recherche en santé qui rapporte aux Canadiens ainsi qu'à la communauté mondiale.
L'objectif des Instituts de recherche en santé du Canada (IRSC) est le suivant :
Exceller, selon les normes internationales reconnues de l'excellence scientifique, dans la création de nouvelles connaissances et leur
application en vue d'améliorer la santé de la population canadienne, d'offrir de meilleurs produits et services de santé et de renforcer le système de santé au Canada.
Le mandat et la structure des IRSC sont uniques dans le monde. L'organisation s'articule autour de 13 instituts virtuels géographiquement répartis qui appuient chacun la recherche biomédicale, clinique, sur les systèmes et les services de santé, et sur la santé des populations. Les instituts ont leur base dans des universités ou hôpitaux d'enseignement, mais ils ont également du personnel en poste à divers autres endroits. Les instituts font partie d'un réseau national de recherche en santé plus vaste qui unit les chercheurs et d'autres intervenants à l'échelle du pays.
1b. But du rapport et auditoire
Le rapport représente la première évaluation du PSF. Vu sa taille et sa complexité, et son importance pour les IRSC, le programme fera l'objet d'une série d'examens et d'analyses. Le rapport sera utilisé pour communiquer les résultats préliminaires aux Canadiens et renseigner la direction et le conseil d'administration des IRSC sur la mesure dans laquelle le plus important programme de financement des IRSC rend possible la transformation envisagée au moment de la création des IRSC2. Deux principaux auditoires sont visés : d'abord le conseil d'administration des IRSC (par l'entremise de son comité permanent sur la mesure du rendement, l'évaluation et la vérification), afin qu'il reçoive l'information nécessaire à une prise de décision fondée sur des faits, et ensuite la communauté de recherche en santé canadienne, pour démontrer la transparence des IRSC relativement aux résultats de la recherche et fournir des données sur le fonctionnement et l'impact de leur plus important programme de financement.
2 À noter que le présent rapport est une version abrégée d'un rapport technique plus long. Les lecteurs qui voudraient en savoir plus sur le programme, la méthodologie ou les résultats devraient consulter ce rapport (en anglais seulement), qui peut être obtenu sur demande aux IRSC.
1c. Portée
L'évaluation a été conçue pour examiner les résultats préliminaires du Programme de subventions de fonctionnement. Étant donné la taille et l'ampleur du programme, l'équipe d'évaluation a décidé de se concentrer sur deux aspects précis qui pourraient permettre de mieux comprendre le fonctionnement et l'impact du programme au sein des IRSC et de l'univers de la recherche en santé canadienne : l'impact sur la capacité accrue de produire et de développer de nouveaux savoirs et l'impact sur la production accrue de personnel hautement qualifié.
1d. Modalités de l'évaluation
Vu l'ampleur du programme, l'évaluation s'est déroulée en plusieurs phases et a été fondée sur de multiples sources de données. Un comité directeur de l'évaluation a participé à toute la phase de conception et à la première partie de l'évaluation, qui a été réalisée par un entrepreneur, BearingPoint. Le comité était formé de 12 représentants des IRSC, du Conseil de recherches en sciences humaines, de six universités canadiennes, de l'Alberta Heritage Foundation for Medical Research et de la Rand Corp. (Royaume-Uni). La première phase a consisté en un sondage Web auprès de plus de 600 bénéficiaires du PSF, en des entrevues individuelles avec un sous-échantillon de 24 bénéficiaires du PSF et en des entrevues avec des informateurs clés (comme les directeurs d'autres organismes de recherche en santé et les directeurs scientifiques des instituts des IRSC). La deuxième phase de l'évaluation a été réalisée par le personnel de l'Unité d'évaluation et d'analyse des IRSC et a consisté en une analyse de données administratives, en un sondage auprès d'environ 115 candidats dont les demandes avaient été rejetées et en une étude bibliométrique d'envergure limitée. Le comité permanent du conseil d'administration des IRSC sur la mesure du rendement, l'évaluation et la vérification a revu le rapport à diverses étapes de son élaboration.
La liste des points à évaluer et des questions d'évaluation a été établie après qu'eut été examiné le Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) pour aider à structurer les activités de collecte des données :
- Quel est le rôle et l'importance du programme pour les programmes de recherche des chercheurs en santé canadiens?
- Quel est l'impact des subventions de fonctionnement sur le développement et le maintien de la capacité de recherche en santé canadienne?
- Existe-t-il des problèmes au niveau de la conception de programme ou du fonctionnement qui se répercutent sur le fonctionnement, les produits et les résultats du Programme de subventions de fonctionnement?
- De quelle manière et dans quelle mesure les résultats de recherche du programme sont-ils diffusés et transférés aux groupes d'utilisateurs potentiels?
- Dans quelle mesure le programme finance-t-il une recherche qui répond à des critères d'excellence?
- Existe-t-il des améliorations et des solutions de rechange au programme?
2. Contexte
2a. Nature du Programme de subventions de fonctionnement
Le Programme de subventions de fonctionnement offre des subventions de recherche à tous les chercheurs admissibles dans le cadre de concours ouverts où les demandes sont soumises à l'examen de pairs. Par concours ouvert, les IRSC entendent : ouvert aux propositions de recherche les plus valables par opposition à celles qui portent sur des thèmes de recherche précis et prédéterminés. Avant l'élaboration du Cadre d'évaluation du Programme de subvention de fonctionnement, les IRSC n'avaient pas d'objectif ou de but énoncé du programme qui aurait pu servir à orienter l'évaluation. Implicitement, le but était interprété comme la conduite de recherche originale, de haute qualité. Aucun but précis ne s'appliquait non plus à la diffusion et à l'utilisation des résultats de la recherche financée par le PSF ni au développement de la capacité de recherche canadienne. En février 2002, le comité directeur de l'évaluation, qui souhaitait une évaluation efficace et utile, a élaboré l'énoncé d'objectif suivant pour le
programme :
L'objectif du Programme de subventions de fonctionnement des IRSC est de contribuer à la création, à la diffusion et à l'utilisation de savoirs en matière de santé, et d'aider à développer et à soutenir la capacité de recherche en santé au Canada en appuyant des projets originaux de haute qualité présentés et réalisés par des chercheurs individuels ou des groupes de chercheurs dans tous les secteurs de la recherche en santé.
Cet énoncé d'objectif a été validé par des intervenants internes et externes clés dans le cadre du processus d'officialisation du cadre en vue de l'évaluation. Le modèle logique du Programme de subventions de fonctionnement a été élaboré en même temps par un consultant externe, avec l'apport de membres du comité directeur de l'évaluation du PSF. Le modèle est représenté sous forme schématique à la page suivante. Les activités, les produits, la portée, et les résultats immédiats, intermédiaires et finals du programme y figurent.
| Autres : bénéficiaires / intervenants |
Autres pays / citoyens | Résultats ultimes / à long terme | Effets positifs sur les soins de santé et amélioration de la santé et impacts économiques au Canada et à travers le monde | |||
|---|---|---|---|---|---|---|
| Canadiens (grand public et groupes cibles particuliers) | Résultats indirects / intermédiaires | Connaissances / application des connaissances | ||||
| Autres niveaux de gouvernement (p. ex. provinciaux) | Connaissances acquises et diffusées | Production accrue de personnel hautement qualifié (PHQ) | Meilleure réputation des chercheurs et des établissements affiliés | Capacité globale et expertise plus grandes pour la recherche en santé | ||
| Système de santé | Résultats directs / immédiats | Capacité accrue de générer et de développer de nouvelles connaissances (comprend connaissances et expertise) | ||||
| Industrie | Processus externes | Excellents projets de recherche entrepris à l'initiative de chercheurs | ||||
| Universités | Produits | Financement et paiements | ||||
| Conseil de recherches en sciences naturelles et en génie (CRSNG), Conseil de recherches en sciences humaines (CRSH) | ||||||
| Autres organismes de financement fédéraux | Communications | Distribution et affichage des demandes | Examen des demandes et recommandations au CA | Approbation du CA | ||
| Organismes non gouvernementaux (ONG) | ||||||
| Autres chercheurs | Activités | Promotion, sensibilisation, notification | Processus des demandes | Processus d'examen par les pairs | Processus d'approbation | |
| Techniciens de laboratoire | ||||||
| Utilisateurs cibles | Étudiants | |||||
| Chercheurs en santé dans les établissements canadiens | ||||||
| Co-exécutants | Conseil d'administration | |||||
| CPSCSB | ||||||
| Comités d'examen par les pairs | ||||||
| Portée | ||||||
Les modèles logiques offrent un aperçu graphique utile de la structure d'un programme et permettent de centrer une évaluation, même si en général les évaluations portent sur des aspects et des liens particuliers dans un modèle. Les consultations avec des intervenants clés au cours des phases initiales de l'évaluation ont révélé que les préoccupations les plus urgentes avaient trait aux résultats directs et indirects du PSF. Par conséquent, le concept de l'évaluation et sa réalisation répondaient au besoin de recueillir des données pour déterminer si le programme atteignait ou non ses objectifs par une capacité accrue de produire et de développer de nouveaux savoirs et une production accrue de personnel hautement qualifié.
Comme il vient d'être mentionné, le modèle logique et les énoncés de buts particuliers ont été les premiers à être élaborés pour le programme, et ils ont été articulés avant toutes activités de collecte de données pour l'évaluation. Ces énoncés de buts ont donc été utilisés comme guides pour l'équipe d'évaluation, mais ils devraient être revus à la lumière des données d'évaluation qui ont maintenant été recueillies. Comme il est recommandé plus loin dans le rapport, l'équipe d'évaluation propose que les IRSC utilisent les conclusions et les résultats du présent rapport pour revoir les buts, les résultats attendus ainsi que les documents de mesure du rendement et d'évaluation connexes du programme avant de procéder à d'autres études.
Le programme est décrit brièvement ci-après, et plus de renseignements peuvent être obtenus sur le site Web des IRSC, à http://www.cihr-irsc.gc.ca/f/22377.html. Toutes les propositions de recherche présentées dans le cadre du PSF sont soumises à l'évaluation de comités d'experts scientifiques dans des domaines de recherche précis. Le processus de sélection du PSF des IRSC représente donc une entreprise complexe. Pour en savoir plus long sur le processus d'examen par les pairs des IRSC, suivre le lien suivant : http://www.cihr-irsc.gc.ca/f/4656.html.
Les demandes adressées au PSF sont évaluées par des comités de pairs qui couvrent tout le spectre des disciplines de la recherche biomédicale et de la recherche en santé. Au sein de chaque comité, les experts possèdent généralement des compétences comparables. Les nouvelles demandes, les demandes de renouvellement et les demandes présentées de nouveau sont normalement évaluées à la même réunion d'un comité, et les mêmes critères et les mêmes seuils sont appliqués pour tous les types de demandes. Avant la réunion des comités, chaque demande est lue par un à quatre examinateurs externes qui présentent des rapports écrits, ainsi que par deux membres du comité et un lecteur. (Des examens additionnels peuvent être effectués lorsque des demandes ou des concours particuliers exigent une expertise accrue.) Les recommandations des comités sont d'abord étudiées par le Comité permanent de surveillance des concours de subventions et bourses (CPSCSB), qui recommande ensuite le financement ou non au conseil d'administration, qui décide en dernier ressort du financement ou non des demandes.
Les critères d'examen particuliers pour tous les programmes des IRSC (c.-à-d. PSF et autres) sont d'abord fondés sur la feuille de route des candidats et la qualité de la recherche proposée :
- La recherche proposée;
- La productivité, l'expérience et la formation du candidat;
- Le cadre de recherche.
Les subventions du PSF sont normalement valables pour deux, trois ou cinq ans. En règle générale, les subventions de cinq ans sont accordées pour des projets hautement cotés qui sont jugés stables et où la productivité devrait être constante. Les subventions de deux ou trois ans sont destinées aux projets moins bien cotés ou au sujet desquels le comité entretient certains doutes et croit qu'une réévaluation relativement rapide est justifiée.
Les demandes adressées au PSF se répartissent essentiellement entre les nouvelles demandes et les demandes de renouvellement. (On parle ici de la recherche, et non des chercheurs.) Une demande de renouvellement s'inscrit dans le prolongement de la recherche subventionnée jusque-là. Une nouvelle demande porte sur un nouvel axe de recherche. Les nouvelles demandes et les demandes de renouvellement sont évaluées ensemble, selon les mêmes règles et la même échelle de cotation, et les IRSC fixent la même cote minimale (ou seuil) pour les deux types de demandes. Une demande présentée de nouveau après un premier échec serait codée comme une nouvelle demande dans la base de données des IRSC. En général, les IRSC n'accordent pas le plein montant recommandé par le comité d'examen. Cette pratique, appliquée par le conseil d'administration, permet de financer un plus grand nombre de demandes. Une formule est généralement utilisée pour réduire le financement, et les coupes sont proportionnelles, les demandes les mieux cotées écopant le moins.
Les taux de réussite sont examinés plus en détail dans les sections du rapport consacrées aux conclusions. Toutefois, ils sont toujours passablement constants. Les taux de réussite aux concours de 1995 à 1998 ont été de 28,9 % en moyenne; en comparaison, ils ont augmenté légèrement, passant à 31 %, depuis que les IRSC ont succédé au CRM (2000 à 2003).
Le PSF était déjà un programme de longue date lorsque le CRM a été scindé du Conseil national de recherches, il y a des décennies. Toutefois, le mandat du CRM était axé essentiellement sur la recherche biomédicale et clinique. Lorsque les IRSC ont succédé au CRM en 2000, le mandat a été élargi afin d'englober toutes les principales formes de recherche en santé, indépendamment de la discipline. Le concept des IRSC suppose une approche multidisciplinaire, articulée autour d'un cadre de 13 instituts virtuels, chacun dans son domaine particulier mettant en liaison et appuyant les chercheurs à la poursuite de buts communs. Les instituts embrassent quatre thèmes de recherche :
- Recherche biomédicale
- Recherche clinique
- Recherche sur les services de santé
- Recherche sur les dimensions sociales, culturelles et environnementales de la santé et la santé des populations
Depuis que les IRSC ont succédé au CRM, les chercheurs doivent rattacher leurs projets à un ou plusieurs des instituts et à un des quatre grands thèmes de recherche lorsqu'ils demandent l'aide financière des IRSC. Ces données sont donc disponibles à compter de 2000. Les quatre thèmes servent simplement à opérationnaliser et à catégoriser la gamme de recherche, vaste et élargie, qu'appuient les IRSC. Ces quatre thèmes sont définis à http://www.cihr-irsc.gc.ca/f/3738.html.
3. Méthodologie
3a. Aperçu général
Les méthodes utilisées sont conformes aux pratiques acceptées pour les évaluations de programme en général, ainsi qu'à celles qui sont utilisées pour les programmes de recherche en particulier. Toutes les méthodes ont été mises au point en collaboration par des spécialistes de l'évaluation et du domaine de recherche pour assurer une information valide et fiable3. Il importe de souligner que la taille et l'ampleur même du PSF constituent un défi méthodologique. Les constatations et les conclusions doivent être comprises en sachant que le PSF représente la plus importante source de financement pour les chercheurs en santé canadiens. Sans autres programmes comparables au Canada, il existe probablement un certain préjugé favorable à l'égard du PSF, en particulier chez ses bénéficiaires. De plus, certaines des méthodologies utilisées aux fins de l'étude se fondent sur des données auto-déclarées et peuvent donc donner lieu à un biais d'auto-déclaration. D'autres sources de données sont utilisées afin de compenser pour ces restrictions, par exemple des données de candidats qui ont échoué aux concours et des données administratives.
3 Des copies de tous les instruments de collecte de données peuvent être obtenues avec le rapport technique sur demande aux IRSC.
Chaque méthode est décrite ci-après.
3b. Sondage auprès des candidats du PSF
Deux sondages ont été réalisés au cours de l'évaluation, un sondage Web auprès des candidats retenus par le PSF, et un sondage par courriel auprès des candidats rejetés. Les premiers ont reçu un courriel les informant du sondage sur le Web, avec un lien les y conduisant. Ce sondage était hébergé par BearingPoint Consulting, pour garantir aux répondants l'indépendance des IRSC, dont le rôle s'est limité à diffuser l'avis par courriel.
Un total de 2 010 chercheurs subventionnés du PSF ont été informés du sondage par courriel, et 184 avis n'ont pu être livrés par ce que l'adresse électronique était inexacte. Donc 1 826 bénéficiaires avaient des adresses de courriel exactes. Le nombre de réponses a été de 629, ce qui représente un taux de réponse d'environ 34 %.
Les candidats rejetés du PSF ont été choisis au hasard parmi les demandes examinées par cinq comités dans le cadre des concours de subventions de fonctionnement tenus entre mars 2000 et mars 2003. Ces cinq comités sont : Politique de la santé et gestion des systèmes, Physiologie cellulaire, Immunologie et transplantation, Médecine expérimentale et Sciences comportementales A. Un total de 392 chercheurs ont reçu les questions du sondage par courriel entre novembre 2003 et juin 2004. Cent quinze chercheurs ont répondu, pour un taux de réponse de 29 %. Les questions étaient ouvertes, et les chercheurs devaient répondre dans le corps du message et renvoyer leurs réponses par courriel aux IRSC. Un formulaire de consentement était inclus dans le courriel pour assurer l'anonymat du répondant.
Le sondage par courriel auprès des chercheurs non financés servait à compléter le sondage auprès des chercheurs financés en permettant de recueillir des données sur l'importance et les impacts potentiels du PSF auprès d'un groupe de chercheurs qui ne dépendaient pas alors du programme pour leur financement. Compte tenu de la taille et de la portée du PSF, toutefois, il se trouvait dans l'échantillon un certain nombre de chercheurs qui avaient été financés par le PSF à un moment ou l'autre au cours de leur carrière (malgré les précautions prises pour exclure les chercheurs qui avait longtemps pu compter sur l'aide financière des IRSC).
3c. Analyse des données administratives
Les IRSC conservent leurs données administratives dans le Système d'information électronique (SIE). Les données utilisées aux fins de l'analyse sont celles qui sont fournies par les candidats sur les formulaires de demande et CV. L'équipe d'évaluation a utilisé les données administratives pour examiner la portée du PSF et les caractéristiques des demandes fructueuses, ainsi que pour procéder à une analyse interne mettant en relation les 150 principaux articles de recherche en santé parus en 1996, en 1999 et en 2002 avec les données financières du PSF. Les données administratives ne livreront pas d'information directe sur les résultats du programme, mais elles sont essentielles pour comprendre la portée du programme et la mesure dans laquelle certaines variables (p. ex. caractéristiques des demandes fructueuses) peuvent influencer ses résultats.
La base de données administratives des IRSC est limitée à certains égards, particulièrement pour l'analyse des caractéristiques associées au succès des demandes de fonds présentées au PSF. Il importe d'abord de savoir que les taux de succès indiqués ici se rapportent aux demandes, et non aux individus. Les IRSC permettent aux chercheurs de revenir à la charge avec la même demande présentée au PSF en cas d'échec. Les taux de succès par demande ne sont donc qu'une estimation des taux de succès, qui tend à minimiser le niveau de l'aide assurée par le PSF. Une analyse de deux comités d'examen par les pairs du PSF, en l'occurrence Politique de la santé et gestion des systèmes et Physiologie cellulaire, entre 2000 et 2003 a révélé que si le taux de succès pour les demandes était d'environ 30 %, il était pour tous les chercheurs dans l'échantillon de plus de 40 %, car ces chercheurs ont fini par obtenir le financement des demandes initialement présentées ou représentées.
Les données relatives aux demandes présentées de nouveau posent un autre défi méthodologique. Il peut être difficile de déterminer si certaines demandes ne sont que des propositions antérieures présentées de nouveau ou s'il s'agit plutôt de propositions remaniées en profondeur depuis leur présentation initiale. Les IRSC déclarent des taux de succès fondés sur chaque demande unique en raison de cette contrainte. Bien que rapide et fiable, l'analyse des données par demande a pour résultat que les chercheurs individuels sont comptés à chaque demande, et qu'ils peuvent donc être comptés deux ou trois fois selon le nombre de concours auxquels ils participent.
L'analyse principale a été effectuée à partir de données provenant des huit concours tenus entre mars 2000 et septembre 2003. Ces données incluent les caractéristiques démographiques (p. ex. région du pays) et d'autres caractéristiques de la demande (p. ex. taille de l'équipe de recherche) pour le chercheur principal dans 11 192 demandes présentées au PSF. Nous n'avons procédé à aucun test de signification lorsque nous avons présenté des statistiques pour l'ensemble de la population, car des différences même modérées peuvent sembler significatives avec des tailles d'échantillon si grandes. Nous utilisons des tests de signification dans toutes les autres sections. Des coefficients de Spearman (pour les corrélations) et des statistiques chi carré (pour les tableaux à deux entrées) sont utilisés dans ces sections.
Les données administratives des IRSC ont également été utilisées pour mettre en relation une liste des 150 principaux articles de recherche en santé, selon le nombre de citations, avec les données de financement du PSF et déterminer tout lien, le cas échéant, entre les données bibliométriques et le financement par le PSF. Les données ont été tirées de la base de données Web of Science tenue par Thomson-ISI. Cette base de données renferme des données des quelque 8 500 publications scientifiques les plus souvent citées.
Pour chacune des trois périodes de l'étude (1996, 1999 et 2002), les 50 articles (dont le premier auteur est canadien) les plus souvent cités jusqu'en 2003 ont été inclus. Les lecteurs devraient donc savoir que les articles de 1996 auraient six années de citations, et ceux de 2002, une année seulement. Cette situation fausse l'étude quelque peu, car les niveaux de citations ne sont pas les mêmes dans certains domaines de recherche, particulièrement sur une aussi courte période qu'un an.
La recherche bibliométrique a fourni les renseignements suivants : titre de l'article, adresse, premier auteur et champ d'étude. À l'aide de ces données, les IRSC ont pu utiliser leur base de données interne pour déterminer : a) si la recherche avait été financée par eux; b) dans l'affirmative, si elle l'avait été dans le cadre du PSF ou autrement; et c) si le chercheur avait déjà bénéficié de l'aide des IRSC, si des caractéristiques démographiques valaient la peine d'être signalées (p. ex. faisait-il ou faisait-elle généralement partie de grands projets faisant appel à de nombreux chercheurs?).
Cette méthodologie a aussi plusieurs limites. Premièrement, le groupement ci-dessus est une liste « conservatrice » des thèmes de recherche en santé. Les IRSC pourraient financer des recherches jugées relever des sciences vétérinaires (sur des modèles animaux de maladie), par exemple. Compte tenu du nombre limité d'articles recueillis, il a été déterminé qu'une approche plus prudente serait de mise afin de limiter les risques que des articles hors du domaine de la santé soient inclus. Deuxièmement, le lien n'est pas toujours évident entre un article et la source de financement, et ce facteur pourrait limiter le nombre de liens évidents entre le financement et la publication. Un autre facteur limitatif tenait au fait que le lien avec la base de données des IRSC était établi avec le premier auteur seulement. Dans certains champs de recherche en santé, le chercheur qui obtient les fonds est nommé en dernier, et non en premier.
3d. Entrevues
L'équipe d'évaluation a interrogé des bénéficiaires du PSF et des cadres supérieurs de la recherche, comme des vice-doyens à la Recherche dans les universités et les directeurs scientifiques des instituts des IRSC. Des données ont été obtenues de 24 répondants au sondage Web qui avaient reçu des fonds du PSF. L'échantillon des personnes interrogées a été formé à partir des résultats du sondage Web, où les répondants avaient été invités à indiquer les résultats de recherche intéressants et les conséquences « pratiques » de leur recherche financée dans le cadre du PSF. Il importe de noter, toutefois, que la population interrogée avait été choisie à dessein, et non de façon aléatoire, puisque l'équipe d'évaluation voulait des chercheurs dont la recherche avait eu une certaine application pratique. Les répondants ont reçu le guide d'entrevue au préalable.
Des données ont été obtenues de 22 cadres supérieurs de la recherche et directeurs scientifiques des IRSC chargés de la supervision de vastes programmes de recherche en santé et censés avoir une vision globale des tendances en matière de recherche en santé et des facteurs influençant cette recherche, ainsi qu'une idée générale du rôle et de l'importance du PSF. Comme dans le cas des bénéficiaires du programme, l'échantillon n'était pas aléatoire. Les IRSC ont trouvé des personnes censément très connaissantes, particulièrement en ce qui a trait aux principales questions d'évaluation à considérer.
4. Conclusions
4.1 Données administratives
4.1a. Portée du PSF
Le Programme de subventions de fonctionnement est le plus important programme de financement de la recherche des IRSC, ayant représenté environ 46 % des dépenses totales au titre des subventions et des bourses en 2003-2004 (environ 265 000 000 $ sur 576 000 000 $).
Tableau 4.1 : Dépenses estimatives* Programmes par catégorie
*En date du 20 septembre 2004
**"Autres" subventions s'entend de divers programmes stratégiques des IRSC et d'autres concours ouverts, dont les subventions de fonctionnement financées par les instituts des IRSC qui n'étaient pas visées par cette étude Les totaux n'incluent pas les Chaires de recherche du Canada ni les Réseaux de centres d'excellence.
Comme le Tableau 4.1 le démontre, même après la création de plus de programmes depuis que les IRSC ont succédé au CRM, le budget du PSF a continué d'augmenter. Même lorsque tous les autres programmes sont pris en compte, le PSF demeure la principale source de fonds pour les chercheurs en santé qui demandent des fonds aux IRSC.
Les subventions de fonctionnement sont traditionnellement vues comme des modèles de recherche « à chercheur unique ». Cependant, cette représentation d'une subvention de fonctionnement type n'est plus exacte. Jusqu'à la transition du CRM aux IRSC en 1999, le nombre moyen de chercheurs dans un projet subventionné demeurait constant à 1,5 par subvention. Vers la fin des années 1990, la taille des équipes de recherche du PSF a légèrement augmenté, le nombre de membres par équipe atteignant presque deux. Malgré ce changement incrémentiel, le nombre de membres d'une équipe restait somme toute limité.
Depuis la période de transition, la taille moyenne des équipes a doublé, passant à quatre chercheurs. Cette croissance est indicative de la tendance générale dans tous les domaines scientifiques vers une approche davantage collective, mais semble aussi confirmer que le PSF se transforme pour s'adapter à ces changements.
Les taux de succès sont examinés plus en détail dans les sections du rapport consacrées aux conclusions. Toutefois, en bref, l'équipe d'évaluation a constaté un taux de succès passablement constant pour les demandes présentées au programme. Le taux de succès moyen aux concours de 1995 à 1998 a été de 28,9 %; en comparaison, le taux de succès moyen après la transition aux IRSC (2000 à 2003) a augmenté très légèrement, passant à 31 %.
Les taux de succès, malgré leur importance, ne disent pas tout. Comme le Tableau 4.2 le montre, les IRSC sont souvent incapables, faute de fonds suffisants, de financer un grand nombre de subventions qui, d'après les comités de pairs, mériteraient de l'être. Non seulement l'écart est-il généralement marqué entre les propositions bien cotées dans le PSF (une cote de 3,5 sur 5 est considérée comme suffisante pour que la demande soit financée) et les propositions financées, mais cet écart semble se creuser. En 1999, 18 % (177 sur 986) de toutes les propositions se sont retrouvées dans cette catégorie des demandes hautement cotées, mais impossibles à financer. En 2003, 33 % (501 sur 1517) de toutes les propositions entraient dans cette catégorie. Les IRSC reçoivent nettement plus de demandes de haute qualité qu'ils ont les moyens d'en financer.
Tableau 4.2 : Recherche considérée comme finançable mais non approvée*
*Les demandes approuvées ne correspondent pas nécessairement aux demandes financées. Certains candidats ont refusé le financement ou n'ont pas été financés pour une raison quelconque.
Bien que l'examen par les pairs ne soit pas un objet explicite de cette évaluation, il représente néanmoins une importante facette de la mise en oeuvre du programme. Toutes les propositions de recherche sont soumises à des comités d'experts scientifiques dans des champs de recherche déterminés. Les IRSC ont vu leur nombre de comités augmenter, conséquence de l'extension du mandat de l'organisation, qui doit maintenant financer un vaste pan de la recherche en santé. En fait, le nombre de comités a presque doublé au cours des 7 dernières années, passant de 26 à 45.
Nombre des nouveaux comités d'examen par les pairs dans le PSF témoignent soit du changement dans le mandat des IRSC, pour étendre la gamme des activités de recherche (p. ex. sciences humaines, perspectives sur la santé), soit d'une reconnaissance par la communauté scientifique que certains domaines de recherche clés méritent leurs propres instances d'examen par les pairs (Virologie et Pathogenèse virale).
4.1b. Caractéristiques des demandes fructueuses au PSF
Le PSF n'a pas le mandat de financer n'importe quel type de recherche au-delà de la recherche en santé de haute qualité. Toutefois, des caractéristiques d'une demande de subvention peuvent être associées au succès à un concours du PSF. Ces écarts dans les taux de succès peuvent se répercuter sur la nature, la portée et le type de la recherche financée par le PSF. Compte tenu du grand nombre de variables analysées, y compris les interactions entre chaque variable, le tableau complet des résultats se trouve dans le rapport technique. Le Tableau 4.3, à la page suivante, contient des données descriptives générales sur toutes les variables utilisées dans l'analyse. Des informations portent ensuite sur les principales variables qui se sont révélées influer sur les taux de succès. Des méthodes statistiques, comme des corrélations partielles, ont été utilisées pour déterminer les principaux facteurs associés au succès.
| Variable | Répartition de la pop. | Taux de succès |
|---|---|---|
| Subventions totales des IRSC obtenues avant la demande | ||
| 0 subvention (n=2742) | 25% | 13% |
| 1 ou 2 subventions (n=3 042) | 28% | 27% |
| 3 ou 4 subventions (n=2 327) | 21% | 35% |
| 5 subventions ou plus (n=3 097) | 28% | 50% |
| Catégorie de demande | ||
| Nouvelle demande (n=8 937) | 80% | 25% |
| Demande de renouvellement (n=2 253) | 20% | 55% |
| Âge | ||
| 35 et moins (n=1 255) | 11% | 30% |
| Entre 36 et 45 (n=4 692) | 42% | 32% |
| Entre 46 et 55 (n=3 704) | 33% | 32% |
| 56 et plus (n=3 097) | 13% | 29% |
| Valeur financière de la demande de subvention | ||
| Plus bas quartile (n=2 799) | 24% | 20% |
| Deuxième quartile (n=2 797) | 25% | 24% |
| Troisième quartile (n=2 798) | 25% | 32% |
| Largest quartile (n=2796) | 26% | 49% |
| Taille de l'établissement | ||
| Petit établissement (n=5 704) | 51% | 30% |
| Grand établissement (n=5 486) | 49% | 33% |
| Subventions totales des IRSC détenues au moment de la demande au PSF | ||
| 0 subvention (n=4 355) | 39% | 20% |
| 1 subvention (n=3 152) | 28% | 32% |
| 2 subventions (n=1 865) | 17% | 40% |
| 3 subventions (n=1 818) | 16% | 47% |
| Années depuis l'obtention du dernier diplôme | ||
| Moins de 5 ans (n=3 166) | 31% | 27% |
| 5 à 15 ans (n=4 047) | 39% | 33% |
| Plus de 15 ans (n=3 101) | 30% | 33% |
| Région de la recherche | ||
| Maritimes (n=440) | 4% | 25% |
| Québec (n=3 204) | 31% | 33% |
| Ontario (n=3 680) | 36% | 32% |
| Prairies (n=645) | 6% | 21% |
| Alberta (n=1 238) | 12% | 37% |
| Colombie-Britannique (n=1 121) | 11% | 28% |
| Sexe | ||
| Male (n=8148) | 73% | 32% |
| Female (n=3040) | 27% | 28% |
| Taille de l'équipe de recherche | ||
| One member (n=2278) | 21% | 33% |
| 2 or 3 members (n=3788) | 35% | 30% |
| 4 or 5 members (n=2650) | 25% | 31% |
| Over 6 members (n=2103) | 19% | 32% |
| Langue | ||
| Homme (n=8 148) | 96% | 31% |
| Femme (n=3 040) | 4% | 28% |
| Thème de recherche | ||
| Biomédicale (n=8 030) | 72% | 34% |
| Clinique (n=1 467) | 13% | 23% |
| Services de santé (n=738) | 7% | 24% |
| Santé des populations (n=873) | 8% | 24% |
Les variables pour lesquelles l'écart le plus marqué dans les taux de succès a été observé sont les suivantes :
- subventions totales obtenues avant la demande (pour trois ou plus, le taux de succès est de 47 %, comparativement à 20 % quand le candidat n'a jamais eu de subvention);
- catégorie de demande (55 % pour les demandes de renouvellement, en comparaison avec 25 % pour les nouvelles);
- valeur financière des demandes de subvention (49 % des demandes se situaient dans le plus haut quartile, 20 %, dans le plus bas);
- région (les provinces des Maritimes et des Prairies ont des taux de succès de 5 à 10 % inférieurs à ceux du reste du pays);
- thème de recherche (34 % pour la recherche biomédicale et environ 24 % pour toutes les autres).
Ces écarts ont été étudiés plus à fond pour déterminer si des facteurs atténuants pouvaient influencer les taux de succès.
Le Tableau 4.4 présente des statistiques de corrélation partielle pour chaque variable d'intérêt et les taux de succès. Une statistique de corrélation partielle est une mesure de la relation entre les deux variables lorsqu'il est tenu compte de toutes les autres variables. La corrélation partielle pour la catégorie de demande (nouvelle ou renouvellement), par exemple, est la relation entre la catégorie de demande et le taux de succès lorsque l'effet de toutes les autres variables est pris en compte.
| Relation marquée | 1. Subventions totales obtenues avant la demande ** | 0,1611 |
|---|---|---|
| 2. Catégorie de demande (nouvelle ou renouvellement)** | 0,1595 | |
| 3. Âge** | -0,0956 | |
| 4. Valeur financière de la demande de subvention** | 0,0899 | |
| Relation modérée | 5. Taille de l'établissement** | 0,0311 |
| 6. Nombre de subventions détenues au moment de la demande * | -0,0309 | |
| 7. Années depuis l'obtention du dernier diplôme* | -0,0258 | |
| No Association | 8. Région | 0,0084 |
| 9. Sexe | -0,0060 | |
| 10. Taille de l'équipe | 0,0030 | |
| 11. Langue de la demande | -0,0010 | |
| 12. Thème de recherche | 0,0001 |
Source : Données administratives des IRSC
**statistiquement significatif au niveau de 0,01
* statistiquement significatif au niveau de 0,05
4 Nous avons contre-validé ces résultats par une régression logistique du même ensemble de variables, le taux de succès servant de variable dépendante. Nous avons également procédé à une analyse semblable (en excluant le thème de recherche) avec les données du PSF de 1995 à 1998 pour examiner si ces corrélations étaient stables dans le temps. Les résultats dans les deux cas étaient extrêmement semblables aux données du Tableau 4.4.
Le but de l'analyse ci-dessus, toutefois, n'est pas de tirer des inférences précises des coefficients eux-mêmes, mais d'extraire les variables qui sont potentiellement en corrélation avec les taux de succès. Une variable significative a donc une relation significative avec les taux de succès même quant il est tenu compte de toutes les autres variables.
Il semble exister trois principales catégories de relation avec les taux de succès. La première catégorie, dont font partie le nombre total de subventions obtenues au moment de la demande et la catégorie de demande (nouvelle ou renouvellement), est celle des variables qui semblent fortement en corrélation avec les taux de succès, compte tenu de leur importance et de la force du lien. La deuxième catégorie – âge, valeur financière de la demande de subvention, taille de l'établissement, nombre de subventions détenues au moment de la demande et expérience – est celle des variables qui sont modestement associées aux taux de succès. La dernière catégorie est celle des variables sans lien apparent avec les taux de succès, par exemple : région, sexe, taille de l'équipe, langue de la demande et thème de recherche.
La brève analyse dans la section suivante est centrée sur l'impact des variables les plus étroitement associées à l'accès au PSF : le nombre total de subventions détenues au moment de la demande et la catégorie de demande (nouvelle ou renouvellement). Ces deux variables semblent nettement en corrélation avec l'expérience du candidat auprès des IRSC, et notre analyse s'intéresse donc de très près à la notion d'expérience des chercheurs définie selon ces deux variables. Les Tableaux 4.5 et 4.6 illustrent sous forme graphique l'effet de l'expérience des candidats sur les taux de succès. Il existe en écart évident dans les taux de succès des candidats au PSF en relation avec leur expérience auprès des IRSC (Tableau 4.5). Les candidats sans subvention antérieure des IRSC avaient un taux de succès de 13 %, comparativement à 50 % pour ceux qui avaient déjà obtenu cinq subventions ou plus, ce qui donne à penser que les candidats qui ont obtenu moins de subventions des IRSC ont significativement moins de chances de réussir aux concours du PSF que les chercheurs possédant plus d'expérience à cet égard.
Tableau 4.5 : Taux de succès par : nombre total de subventions des IRSC avant la demande
Le Tableau 4.6 présente des données sur la catégorie de demande (nouvelle ou renouvellement). Bien que la plupart des demandes au PSF soient de nouvelles propositions, les demandes de renouvellement ont significativement plus de chances d'être financées (approximativement 25 % pour les nouvelles demandes, comparativement à 55 % pour les demandes de renouvellement). Les demandes de renouvellement ne représentent donc qu'une fraction limitée du nombre total de demandes, mais elles ont plus de deux fois plus de chances d'être acceptées à un concours du PSF.
Tableau 4.6 : Taux de succès par catégorie de demande (nouvelle ou renouvellement)
Source : Données administratives des IRSC
Les données semblent généralement indiquer que l'expérience (en particulier, le fait pour le candidat d'avoir eu un plus grand nombre de subventions des IRSC avant la demande et le fait qu'il s'agisse d'une demande de renouvellement d'une subvention existante) explique un important écart dans l'accès aux fonds du PSF.
Des corrélations moins marquées sont également observées entre les taux de succès et d'autres variables comme l'âge du candidat principal, la valeur financière de la demande de subvention, la taille de l'établissement, le nombre de subventions détenues au moment de la demande et les années d'expérience. La corrélation entre ces variables et les taux de succès est encore significative, bien qu'elle ne semble pas aussi forte que le nombre total de subventions des IRSC obtenues avant la demande ou la catégorie de demande (nouvelle ou renouvellement). Même nombre de ces variables sont en corrélation avec l'expérience du chercheur auprès des IRSC. Par exemple, le taux de succès chez les candidats sans subvention du PSF au moment de la demande est de 20 %, alors qu'il est de 47 % pour ceux qui détiennent au moins trois subventions à ce moment.
La dernière catégorie est celle des variables pour lesquelles aucune corrélation significative ne peut être établie avec les taux de succès, par exemple : région, sexe, taille de l'équipe, langue de la demande et thème de recherche. Malgré d'importantes différences intra-groupes dans le cas de certaines de ces variables, ces différences tiennent fort probablement à la relation entre les variables en question et les variables relatives à l'expérience du financement par les IRSC. Il existe d'importants écarts dans la répartition des thèmes de recherche selon qu'il s'agit d'une nouvelle demande ou d'une demande de renouvellement. En effet, 91 % des demandes de renouvellement sont d'ordre biomédical, comparativement à 68 % des nouvelles demandes. Les chercheurs biomédicaux, en d'autres termes, sont beaucoup plus susceptibles d'obtenir des renouvellements, facteur associé à des taux de succès plus élevés, que les chercheurs de n'importe quel autre thème. En revanche, les demandes de renouvellement de chercheurs sur les services de santé et dans le domaine de la santé publique et de la santé des populations sont quasi existantes. Ces résultats ne veulent pas dire que le thème de recherche est sans rapport avec l'accessibilité du financement. Ils indiquent plutôt que la nature de la recherche biomédicale (où il est plus courant de demander le renouvellement d'un projet en cours, par exemple) cadre davantage avec les facteurs qui semblent favoriser l'accessibilité au PSF. Si les nouvelles demandes seulement sont prises comme une population unique, il y a peu de différence dans les taux de succès entre thèmes. Une analyse quantitative plus poussée continuera de porter sur les différences et les similitudes entre les diverses communautés de recherche servies par les IRSC.
4.1c. Association entre le financement par le PSF et les principaux articles de recherche en santé
Comme mesure potentielle du niveau de soutien par le PSF de la recherche canadienne en santé répondant à des critères d'excellence, l'équipe d'évaluation s'est servie de méthodes bibliométriques pour générer une liste des 150 principaux articles de recherche et déterminer si la recherche ayant donné lieu à ces articles avait été financée par les IRSC, et en particulier par le PSF. Nos résultats préliminaires n'étaient pas concluants. L'équipe d'évaluation a été en mesure de trouver une vingtaine d'articles fréquemment cités où la recherche avait été financée dans le cadre du PSF. Un échantillon de 20 chercheurs reliés à ces articles a été jugé insuffisant pour permettre une analyse plus approfondie.
Le faible nombre d'articles qui ont pu être associés au PSF a été quelque peu surprenant, car les répondants ont souvent évoqué le rôle clé du PSF dans l'infrastructure de la recherche en santé au Canada. Toutefois, un certain nombre de problèmes méthodologiques peuvent avoir contribué à une sous-estimation du rôle du PSF dans le financement de l'excellente recherche en santé canadienne. Premièrement, la méthodologie devait être exclusive, et en conséquence seuls les articles tout à fait en haut de l'échelle (d'après le nombre de citations) ont été choisis. Un grand échantillon n'aurait pas permis de considérer « la plus haute qualité seulement ». La taille d'échantillon initiale, soit 50 articles par année, peut avoir été trop exclusive, par contre. Chaque année, les chercheurs en santé canadiens publient quelque 12 000 articles de recherche en matière de santé. Nous avons donc réduit dans les faits l'« excellence » à moins de 0,5 % de l'ensemble des articles publiés. Examiner les 5 % les meilleurs aurait donné quelque 600 articles et pourrait avoir constitué une base plus solide pour juger du rôle du PSF dans le financement de la recherche répondant à des critères d'excellence.
Une autre explication possible peut tenir à la méthodologie elle-même. Dans nombre de domaines biomédicaux, le dernier auteur est le chercheur qui a reçu les fonds pour le projet, et non le premier. Utiliser le dernier auteur canadien ainsi que le premier aurait pu révéler d'autres subventions financées par le PSF. Dans nombre de cas, le premier auteur pouvait être un boursier postdoctoral ou un très récent membre de faculté, les genres de chercheurs moins susceptibles d'obtenir une subvention du PSF, si jamais ils y sont admissibles.
Une vaste gamme d'approches bibliométriques pourraient fournir des données utiles sur les produits et les impacts de la recherche financée par le PSF. Cependant, aucune méthode ou approche particulière n'a encore été établie pour l'évaluation en matière de recherche et de développement. Quoique l'approche suivie dans notre évaluation n'ait clairement pas permis d'obtenir des données utiles, d'autres méthodes bibliométriques sont encore jugées valables et sont exposées dans la section des recommandations.
4.2 Sondages auprès des candidats du PSF
4.2a. Sondage Web auprès des candidats financés par le PSF
L'équipe d'évaluation a aussi vérifié l'impact du PSF par un sondage Web auprès des candidats qui ont réussi à obtenir des fonds du PSF. Les répondants à ce sondage devaient coter l'importance du PSF par rapport à cinq aspects clés de leur programme de recherche. Le Tableau 4.7 détaille ces cotes. La vaste majorité des répondants a indiqué que le PSF était très important pour leurs programmes de recherche, soit pour les aider à s'établir comme chercheurs, soit pour le développement de jeunes chercheurs. Les deux indicateurs qui venaient en tête (en termes de pourcentage des répondants qui ont indiqué « élevée » ou « très élevée ») étaient s'établir dans un domaine donné (91 %) et laisser de la latitude pour explorer des idées (87 %), ce qui donne à penser que le PSF est utilisé comme outil pour établir des programmes de recherche. Même les réponses à l'indicateur le moins bien coté, contribuer à la capacité d'obtenir d'autres fonds (65 % indiquant « élevée » ou « très élevée »), laisse sous-entendre que le PSF est important pour soutenir les programmes de recherche d'une importante portion de chercheurs en santé canadiens parce qu'il facilite l'obtention de subventions de recherches additionnelles.
Tableau 4.7 : Importance du PSF pour les projets et les programmes de recherche des chercheurs
Source : Sondage Web : Pendant toute votre carrière, quelle a été l'importance du financement de la recherche par le PSF pour… (p.ex. améliorer votre capacité de former de nouveaux chercheurs)?
L'équipe d'évaluation a également examiné si les cotes élevées du Tableau 4.7 reflètent le fait que la plupart des répondants au sondage ont obtenu le gros de leur financement total du PSF. Qu'en est-il de ceux pour qui le PSF représentait une source d'aide relativement limitée? Le Tableau 4.7a) montre la répartition des cotes selon la proportion du financement de la recherche représentée par le PSF (nous avons divisé les répondants en deux groupes : ceux qui ont indiqué que moins de 50 % de leur financement provenait du PSF, et ceux qui ont indiqué que 50 % et plus de leur financement provenait du PSF).
| Très faible |
Faible 2 |
Moderate 3 |
Élevée 4 |
Très élevée 5 |
|
|---|---|---|---|---|---|
| S'établir comme chercheur dans un domaine choisi (n=627)** | |||||
| Financement inférieur à 50 % | 1% | 4% | 16% | 22% | 56% |
| Financement supérieur à 50 % | 1% | 1% | 3% | 16% | 78% |
| Avoir la liberté d'explorer des idées (n=628)** | |||||
| Financement inférieur à 50 % | 2% | 5% | 21% | 22% | 50% |
| Financement supérieur à 50 % | 1% | 1% | 3% | 16% | 78% |
| Constituer une équipe de recherche (n=627)** | |||||
| Financement inférieur à 50 % | 2% | 8% | 26% | 22% | 41% |
| Financement supérieur à 50 % | 1% | 3% | 9% | 19% | 67% |
| Améliorer la capacité de former des chercheurs (n=626)** | |||||
| Financement inférieur à 50 % | 3% | 9% | 23% | 24% | 40% |
| Financement supérieur à 50 % | 0% | 5% | 12% | 18% | 64% |
| Contribuer à la capacité d'obtenir d'autres fonds (n=626)** | |||||
| Financement inférieur à 50 % | 4% | 15% | 24% | 20% | 36% |
| Financement supérieur à 50 % | 1% | 9% | 17% | 22% | 44% |
** significatif à 0,01.
Chaque différence inter-groupes au Tableau 4.7a) était significative, ce qui donne à penser que plus les chercheurs ont bénéficié du PSF, plus le programme a été important pour leur carrière. Il s'agit peut-être surtout d'un résultat confirmatoire, puisque l'on s'attendrait à ce que de hauts niveaux d'aide financière soient en corrélation avec l'importance du programme pour les chercheurs. Une analyse des répondants qui ont reçu moins que leur financement total du PSF laisse croire, toutefois, que l'importance du PSF ne tient pas strictement à un haut niveau de financement.
Nous avons également examiné le rôle du PSF dans l'attraction et/ou la rétention des chercheurs au Canada. Nous ne posons pas l'hypothèse que le PSF, à lui seul, pourrait empêcher un chercheur de premier niveau de quitter le Canada. Toutefois, compte tenu de l'important rôle du PSF dans la recherche en santé, l'équipe d'évaluation a senti justifié de vérifier si le PSF pouvait jouer un rôle dans l'accroissement du nombre de chercheurs en santé au Canada, et le cas échéant, dans quelle mesure.
Selon les données du sondage Web, environ 41 % des répondants auraient reçu des offres d'emploi de l'étranger au cours des cinq années précédentes, ce qui indiquerait que les bénéficiaires du PSF auraient amplement l'occasion de quitter le Canada s'ils le souhaitaient. La durée de l'aide obtenue faisait très peu de différence à cet égard, ce qui donne à penser que ce ne sont pas seulement les chercheurs établis depuis plus longtemps au Canada qui sont courtisés par des établissements étrangers. Treize pour cent des répondants ont indiqué qu'ils avaient récemment déménagé au Canada.
La majorité des répondants a affirmé qu'elle avait décidé de demeurer au Canada, malgré les offres d'autres pays, en raison surtout de questions ayant à voir avec la qualité de vie, de leurs responsabilités familiales ou d'une appréciation du climat de recherche au Canada, et non de subventions particulières qu'il leur étaient possibles d'obtenir. Un certain nombre de répondants ont également indiqué qu'ils avaient laissé passer certaines occasions de s'expatrier par le passé, mais que si les possibilités de financement ne s'amélioraient pas au Canada, ils pourraient être forcés de partir.
Le sondage Web a également porté sur une question connexe : la mesure dans laquelle le PSF avait incité des chercheurs de l'étranger à s'installer au Canada5. Les réponses permettent de croire que le pouvoir d'attraction du PSF est passablement important, presque 60 % des chercheurs concernés estimant que son influence dans leur décision de venir au Canada avait été grande ou très grande. Les chercheurs qui avaient décidé consciemment de venir ou de revenir au Canada ont expliqué un peu ce pouvoir d'attraction du programme. Des raisons familiales ou personnelles ont été encore le plus souvent invoquées, mais la promesse de plus nombreuses possibilités de financement représentait un autre facteur qui avait contribué à la décision de certains chercheurs.
5 Nous n'avons pas fait de distinction dans le sondage entre les immigrants et les citoyens canadiens qui étaient rentrés au Canada
Les répondants au sondage Web devaient aussi dire dans quelle mesure les subventions du PSF étaient connues et comment elles étaient perçues dans leurs domaines (c'est-à-dire dans leur propre pilier de recherche). Le Tableau 4.8 montre les données au sujet de la notoriété du programme. Les données sont présentées par thème de recherche, car les chercheurs devaient indiquer leurs perceptions de la notoriété du programme dans leur propre thème, et non au sein de l'ensemble de la communauté de recherche.
| Très faible 1 |
Faible 2 |
Modérée 3 |
Élevée 4 |
Très élevée 5 |
|
|---|---|---|---|---|---|
| Notoriété globale (n=621) | 0% | 1% | 8% | 28% | 63% |
| Biomédicale | 0% | 1% | 5% | 27% | 68% |
| Clinique | 0% | 0% | 19% | 39% | 42% |
| Services et politiques de santé | 0% | 3% | 23% | 43% | 30% |
| Santé publique et des populations | 0% | 5% | 24% | 29% | 42% |
Source : Sondage Web : Selon vous, quel est le niveau de notoriété, auprès des chercheurs de votre volet de recherche, concernant les possibilités de présenter des demandes au PSF?
La notoriété du PSF est élevée ou très élevée dans les domaines de la recherche clinique et de la recherche biomédicale (81 % et 95 % respectivement). Les données laissent croire qu'elle l'est moins dans les domaines des services et des politiques de santé et de la santé publique, bien qu'encore là très peu de répondants aient indiqué qu'elle était faible. Même si le CRM a mis des subventions de fonctionnement à la disposition des chercheurs sur les services de santé et la santé des populations avant l'an 2000, les résultats semblent indiquer que les deux groupes historiquement associés au financement par le PSF (recherche biomédicale et clinique) sont également les deux groupes les plus au courant du programme.
En moyenne, les chercheurs dans tous les thèmes croyaient qu'ils étaient aussi ou moins favorisés que ceux des autres domaines. Les chercheurs dans les disciplines biomédicales semblaient les moins enclins à penser ainsi, encore que 28 % d'entre eux pensaient qu'ils avaient moins ou beaucoup moins de chances que les scientifiques dans d'autres domaines de recherche. Chez les chercheurs en recherche clinique, sur les services et les politiques de santé, ou en santé publique, les proportions équivalentes étaient de 50 %, 53 % et 70 % respectivement. Ce résultat contraste avec les données administratives, qui laissent croire que les chercheurs dans le domaine biomédical ont généralement plus de chances de réussir (taux de succès de 34 % pour la période de 2000 à 2003) que les chercheurs dans n'importe lequel des autres domaines (taux de succès d'environ 24 % pour la période de 2000 à 2003).
Les bénéficiaires du PSF devaient également indiquer quelle proportion de la recherche financée par le programme avait débouché sur des applications pratiques. Le Tableau 4.9, fondé sur des données de tout le sondage Web, montre que de nombreux chercheurs ont indiqué que leur recherche financée dans le cadre du PSF avait déjà donné lieu à des applications « pratiques » quelconques, ou était en voie de le faire. De nombreux autres ont répondu qu'ils considéraient activement des applications du genre.
| Applications existent déjà | Applications activement recherchées | Possibilités à l'étude | Aucune application | S.o | |
|---|---|---|---|---|---|
| Applications industrielles | 19% | 13% | 22% | 33% | 14% |
| Pratique clinique | 14% | 19% | 33% | 24% | 10% |
| ONG | 16% | 11% | 16% | 35% | 23% |
| Services et politiques de santé | 7% | 9% | 14% | 42% | 28% |
| Gouvernement | 4% | 7% | 13% | 48% | 28% |
Source : Sondage Web – Est-ce que de vos recherches réalisées grâce au PSF ont débouché sur des applications pratiques dans le domaine suivant (p.ex. services et politiques de santé)? Par « réalisées grâce au », nous voulons dire que les fonds du PSF ont contribué à la recherche ou à l'acquisition des compétences qui ont conduit à l'application.
Des différences logiques par thème de recherche ont été observées quant au lien entre la recherche et le domaine où elle était appliquée. Les chercheurs dans les disciplines des services et des politiques de santé, par exemple, étaient ceux dont la recherche avait le plus souvent trouvé des applications dans ces domaines, et les chercheurs dans les disciplines cliniques avaient plus de chances d'avoir participé à des applications cliniques. Les chercheurs dans les disciplines biomédicales (généralement considérées comme davantage « fondamentales ») étaient plus susceptibles d'avoir participé à des applications industrielles, même s'ils avaient également joué un rôle pour trouver des utilisations dans la pratique clinique. Le nombre relativement élevé d'applications industrielles devrait être vu en relation avec le grand nombre de chercheurs financés par le PSF en sciences biomédicales. Les applications au sein des ONG et les applications cliniques ont donc également été nombreuses. En l'absence de données sur les activités de diffusion avant cette collecte de données, toutefois, le Tableau 4.9 pourrait être vu d'abord comme un ensemble d'indicateurs de base que les IRSC peuvent utiliser comme point de référence pour les collectes de données futures.
4.2b. Sondage auprès des candidats non retenus du PSF
Nous avons demandé aux répondants au sondage par courriel d'indiquer d'autres sources de financement auxquelles ils avaient eu recours pour la recherche qui n'avait pas été suffisamment bien cotée au départ par les comités de pairs du PSF pour pouvoir être financée dans le cadre de ce programme. Le système d'examen par les pairs du PSF est conçu pour juger le niveau d'excellence scientifique de chaque demande. Si l'examen par les pairs fonctionne efficacement, les cotes d'excellence des comités doivent permettre de prédire le financement éventuel, même si ce financement provient d'une autre source. Pour déterminer si les cotes d'excellence des comités étaient bien valides, les répondants ont été divisés en deux catégories : le groupe « supérieur » (c.-à-d. « excellent »), soit les chercheurs dont les propositions de recherche méritaient d'être financées, mais ne l'ont pas été en raison de contraintes financières, et le groupe « inférieur » (c.-à-d. « non excellent »), soit les chercheurs dont les demandes n'avaient pas été jugées dignes d'être financées par les IRSC. Il importe de souligner que les IRSC considèrent que les propositions cotées 3,5 sur 5 méritent d'être financées par eux, et que celles qui sont cotées 3 devraient l'être en général. Comme nous nous intéressons au système de sélection des IRSC, le seuil a été fixé à 3,5 pour la recherche finançable.
| Succès | Échec | Ne sait pas encore | N'a pas présenté d'autre demande | Total | |
|---|---|---|---|---|---|
| Supérieur | 38 (69%) | 5 (9%) | 7 (13%) | 5 (9%) | 55 (100%) |
| Inférieur | 24 (40%) | 15 (25%) | 5 (8%) | 16 (27%) | 60 (100%) |
Source – Sondage auprès des chercheurs non financés : Avez-vous cherché à obtenir des fonds d'un autre organisme (public ou privé) pour cette recherche? Dans l'affirmative, quand? Où? Avez-vous réussi?
Comme le montre le Tableau 4.10, les chercheurs dans le groupe « supérieur » semblaient généralement en mesure de trouver d'autres sources de financement. Une importante majorité de répondants dont les demandes avaient été jugées « excellentes » dans cet échantillon (69 %) a réussi à trouver une autre source de financement pour mener à terme sa recherche, alors que seulement 9 % n'ont pu en faire autant. La majorité des chercheurs s'est adressée aux principaux organismes provinciaux de financement de la recherche en santé, comme le FRSQ au Québec, aux autres organismes de financement fédéraux, comme le Conseil de recherches en sciences naturelles et en génie (CRSNG) ou le Conseil de recherches en sciences humaines (CRSH), aux National Health Institutes (NIH) des États-Unis, ou a présenté une nouvelle demande aux IRSC (concours stratégiques).
Les chercheurs dans le groupe « inférieur », en revanche, avaient beaucoup moins de chances d'obtenir des fonds d'ailleurs, ou ils ne sont tout simplement pas revenus à la charge. Ainsi, 40 % d'entre eux ont pu obtenir des fonds d'autres sources, alors que 25 % n'ont pas réussi à le faire. De plus, les autres programmes de financement pour les 24 chercheurs qui ont quand même réussi à obtenir des fonds étaient considérablement plus limités. Un chercheur, par exemple, a obtenu des fonds dans le cadre d'un programme de peu d'envergure de Santé Canada qui n'existe plus. Un autre a été financé directement par un hôpital. Les citations suivantes de chercheurs dont les demandes avaient été cotées au-dessous du seuil fixé par le PSF démontrent la tendance vers des subventions plus réduites et moins productives.
J'ai reçu une subvention pilote de la Société… du Canada. C'était faible comparativement à une subvention du PSF, avec le résultat que je n'ai évidemment pas pu continuer à produire au même rythme. [traduction]
J'ai fait le travail administratif qui aurait été fait par quelqu'un d'autre si j'avais obtenu des fonds de recherche suffisants. [traduction]
La fondation…. est une subvention que j'avais utilisée périodiquement, mais le maximum… est de 15 000 $ par année. Comment pouvez-vous faire tourner un laboratoire…
L'équipe d'évaluation a aussi comparé les commentaires librement exprimés par les répondants au sondage auprès des candidats financés par le PSF à ceux des candidats dont la demande à ce programme avait été rejetée. Une analyse des réponses des chercheurs financés et non financés révèle trois rôles généraux du PSF dans le contexte de financement actuel : appuyer les initiatives individuelles, assurer une aide d'un niveau non offert par d'autres sources de financement, et demeurer une subvention « de prestige ». La catégorisation de ces trois rôles repose sur une analyse des réponses au sondage réalisé auprès des candidats non retenus. Environ 40 % de ces derniers ont indiqué que le PSF appuyait l'initiative individuelle, environ 30 % ont mentionné que le PSF offrait une aide non disponible ailleurs, et quelque 10 % ont dit que les subventions du PSF étaient prestigieuses. Les citations offertes ont été jugées très représentatives de la réponse « type » par les membres de l'équipe d'évaluation.
Appuyer l'initiative individuelle
Le rôle du PSF dans le soutien de l'initiative individuelle (c.-à-d. permettre à des chercheurs d'explorer des idées de recherche de façon indépendante) a souvent été mentionné. La constatation que le PSF a un rôle à jouer à cet égard n'est peut-être pas surprenante, compte tenu que le PSF est le plus grand concours ouvert dans le domaine de la recherche en santé au Canada. Les commentaires des répondants donnent néanmoins à penser que le rôle du PSF comme source de recherche indépendante est hautement considéré par les chercheurs en santé. Même dans le contexte actuel de la recherche caractérisé par des possibilités stratégiques et des organisations vouées à la lutte contre des maladies particulières, nombre de répondants ont indiqué que leur recherche pouvait seulement être financée par le PSF. Les
commentaires suivants sont de chercheurs financés et non financés dans le cadre du programme.
[le PSF] n'est pas sujet aux modes, à la saveur du jour, aux idées des bureaucrates quant à ce qui devrait être fait ni aux idées politiques.[traduction]
Cette recherche, de nature fondamentale, ne convenait pas aux différentes fondations que je connais. Elle n'était pas non plus orientée vers une maladie en particulier et donc vers un institut en particulier.
Meilleur appui comparativement à d'autres sources de financement
Les répondants ont aussi souvent mentionné le rôle du PSF comme principale source de financement de la recherche en santé. Même si les chercheurs peuvent obtenir des fonds additionnels d'autres sources, le PSF semble être la principale source de financement pour assurer le soutien continu de projets de recherche. À nouveau, cette conclusion peut sembler tomber sous le sens dans une certaine mesure puisque le PSF est un programme de financement d'une réelle ampleur et que la subvention moyenne est de plus de 100 000 $ par année. Même avec d'autres sources de financement disponibles pour la recherche en santé6, les répondants ont néanmoins indiqué que le niveau d'aide offert dans le cadre du PSF était crucial pour leur recherche en santé. Les commentaires suivants proviennent de chercheurs qui ont été financés ou non.
6 Les IRSC eux-mêmes ont un certain nombre d'autres programmes, et il existe quelques programmes provinciaux d'importance (p. ex. l'Alberta Heritage Foundation for Medical Research, la Michael Smith Foundation for Health Research, le Fonds de la recherche en santé du Québec), des programmes nationaux ciblés (p. ex. Génome Canada), et des fondations et programmes voués à la lutte contre des maladies particulières (p. ex. Fondation des maladies du coeur du Canada, Initiative canadienne pour la recherche sur le cancer du sein).
Le niveau de financement des IRSC permet de faire un projet de cette envergure, ce qui est difficile avec d'autres organisations.
J'ai demandé une subvention de financement des IRSC parce que, comme nouveau chercheur, je n'avais pas assez de fonds de démarrage pour payer des étudiants ou acheter les réactifs nécessaires… De plus, des fondations de recherche comme le CRSNG n'octroient pas des subventions assez généreuses pour couvrir les coûts de fonctionnement de la recherche… Il existe d'autres fondations, mais elles imposent de nombreuses conditions (et leurs subventions sont souvent non renouvelables). Par conséquent, les IRSC sont le seul organisme de financement sur lequel je peux compter pour les dépenses de fonctionnement. [traduction]
De nombreux répondants ont indiqué que leur programme de recherche accuserait un important recul si leur demande de subvention du PSF était rejetée. Ce recul allait de la perte de quelques étudiants à la fin d'un aspect particulier d'un projet, voire à l'effondrement complet du programme de recherche. Toutefois, ce ne sont pas tous les répondants qui ont indiqué que le PSF était crucial pour leur programme de recherche. Des chercheurs qui se sont réclamés du domaine de la santé publique et de la santé des populations ont notamment affirmé que leurs subventions de fonctionnement étaient utiles, mais non vitales. Un de ces répondants a expliqué qu'il n'a pas à entretenir un laboratoire puisqu'il travaille surtout par projet. Les IRSC ne sont qu'un de nombreux organismes auxquels il s'adresse pour faire subventionner des projets donnés. À ses yeux, les chercheurs dans des domaines plus fondamentaux et ceux qui essaient d'entretenir un laboratoire dépendent beaucoup plus du PSF.
Hautement crédible
La crédibilité de la recherche financée dans le cadre du PSF est autant une qualité qu'un rôle du programme. Le rôle du PSF comme source de recherche hautement crédible ne doit pas être sous-estimé, toutefois. Des commentaires au sujet du prestige du PSF ont été faits par des chercheurs non financés, une population peut-être plus sensible au prestige du PSF puisqu'elle demande également l'aide financière d'autres sources moins bien considérées ou connues.
Une subvention des IRSC, c'est donner non seulement l'argent nécessaire pour la recherche, mais aussi le prestige d'une étude scientifique bien conçue. [traduction]
Elle est également plus prestigieuse que n'importe quelle autre subvention… à ma portée, à l'exception peut-être [de celles] des NIH. [traduction]
Les répondants ont indiqué qu'une subvention du PSF conférait un degré de légitimité à leurs projets de recherche en raison des normes de sélection très élevées du programme. Plusieurs répondants ont signalé que la crédibilité des subventions du PSF était importante, car elle aide à obtenir des fonds additionnels d'autres organismes subventionnaires. Inversement, le prestige du PSF a un coût potentiel pour les chercheurs en santé. Un certain nombre de répondants ont en effet expliqué que le fait de ne pas avoir ou de perdre une subvention du PSF pouvait avoir d'importantes répercussions professionnelles, allant jusqu'à la perte d'emploi.
4.3 Entrevues
Les entrevues avec des candidats du PSF et des cadres supérieurs de la recherche ont permis d'examiner plus en détail les problèmes que posait le programme et les améliorations possibles. Les données des entrevues avec les candidats financés ont permis d'approfondir les questions relatives à l'application et à la diffusion des connaissances.
Au cours des entrevues individuelles, les candidats du PSF devaient indiquer la fréquence de leurs contacts avec les utilisateurs potentiels de leur recherche ou de leur expertise. Les chercheurs ont dit s'engager dans des activités de transfert du genre très régulièrement. Les activités de transfert des connaissances et de collaboration étaient très courantes : 33 % des répondants ont dit collaborer avec des utilisateurs non universitaires très souvent, 29 % ont indiqué aider à établir de nouveaux liens et de nouvelles collaborations très souvent, etc. Les activités de transfert des connaissances à visée commerciale étaient beaucoup moins courantes, seulement 4 % des répondants indiquant en avoir très souvent. C'est peut-être que les activités de transfert ayant pour objet le développement commercial demandent plus de temps que les activités de collaboration, mais même les collaborations avec des utilisateurs non universitaires sont susceptibles d'exiger passablement de temps et de ressources.
L'évaluation n'a pas porté sur les types d'aide qui pourraient être nécessaires au sein des universités et des établissements de recherche pour faciliter le transfert des connaissances. Les données de répondants laissent supposer, cependant, que les activités de collaboration avec des utilisateurs non universitaires sont un peu plus faciles à réaliser que les activités commerciales. Même en sachant que les données présentées ici sont limitées et ne sont pas aléatoires, les conclusions peuvent faire ressortir des secteurs que les IRSC peuvent vouloir cibler s'ils veulent intensifier les activités d'application des connaissances.
Les chercheurs dans le domaine biomédical ont indiqué qu'ils ont tendance à recourir à ce que l'on pourrait appeler des mécanismes « traditionnels » de transfert technologique, comme chercher à obtenir du capital de risque, mécanismes qui naturellement sont souvent lents à porter leurs fruits :
Si je suis le président-fondateur d'une société internationale de cellules artificielles et de substituts du sang… il y a beaucoup de sociétés qui les utilisent (les conclusions de la recherche financée par le PSF), mais pas tant de brevets.[traduction]
Sur la base des résultats obtenus en laboratoire, nous avons cherché à obtenir du capital de risque. Nous avons créé une société et obtenu un peu d'argent ainsi.[traduction]
Les chercheurs d'autres thèmes de recherche, quoique non engagés dans des applications commerciales, ont également signalé le temps que nécessite l'application des résultats de la recherche. Les répondants dans le domaine clinique estimaient que la fenêtre pour l'application de leurs résultats était plus courte que dans le domaine biomédical. Une répondante, par exemple, tient présentement des ateliers avec des praticiens pour faire connaître plus rapidement ses conclusions. Un autre a estimé que la mise en application dans le milieu clinique prenait environ trois ans. Les chercheurs sur les services et les politiques de santé ont souligné que leurs expériences sont souvent réalisées avec les bénéficiaires des résultats, et que le dialogue au sujet des améliorations possibles et de l'application des conclusions était donc un processus continu. Un répondant dans le domaine de la santé publique et de la santé des populations a indiqué que nombre d'études en santé publique sont d'abord mises en application dans le cadre d'activités visant à accroître la sensibilisation, et il semblerait que la sensibilisation à une question donnée demande de trois à cinq ans. La conclusion générale, dans tous les thèmes de recherche, est que l'application et la diffusion de la recherche exigent la dépense de suffisamment de temps et d'énergie.
Les entrevues tant avec les candidats du PSF qu'avec les cadres supérieurs de la recherche ont porté sur les problèmes que pose le PSF et les améliorations possibles. L'équipe d'évaluation a divisé les améliorations et les solutions de rechange proposées en trois grandes catégories : financement accru, examen par les pairs, et appui des chercheurs jeunes et inexpérimentés.
Il est normal dans l'évaluation de programmes de financement de la recherche que des voix se fassent entendre en faveur d'un financement accru, tant pour l'ensemble du programme que pour chaque subvention. Dans le cas du PSF, toutefois, il y a lieu de croire que ces demandes sont plus fondées que d'habitude. Comme il a été démontré dans l'aperçu du programme, le PSF n'a pas les fonds pour appuyer tous les projets de recherche qui méritent de l'être (et, en effet, nombre de ces projets doivent être financés par d'autres sources que le PSF). Les données sur la rétention portent à croire que les scientifiques sont souvent contraints de partir, notamment aux États-Unis. Les citations suivantes sont de bons exemples des améliorations suggérées :
Sur une période de 13 mois, il y a quelques années, j'ai présenté 16 demandes de subvention à divers organismes. Si le financement peut avoir augmenté un peu (quoique la répartition puisse laisser à désirer), parce que la taille des subventions n'a pas augmenté pour la peine, il faut encore plus d'efforts pour obtenir des fonds supplémentaires. Parce qu'il faut s'éloigner de l'activité de recherche pour essayer d'obtenir des fonds additionnels (c.-à-d. réduire au minimum le chevauchement perçu), la qualité moyenne de ma propre subvention a sensiblement diminué, comme celle de nombre de mes collègues. Les subventions des IRSC devraient être regroupées et leur valeur moyenne devrait se situer entre 250 000 $ et 300 000 $ par année, et avoir une durée automatique de cinq ans afin que deux subventions soient suffisantes pour diriger un groupe de moyenne à grande envergure. La valeur des subventions n'a pas augmenté pour la peine. Il faut encore plus d'efforts pour obtenir des fonds supplémentaires. [traduction]
Nous avons certainement besoin que plus de ressources soient consacrées au PSF. C'est un programme d'une extrême importance… Les taux de succès actuels sont trop bas pour répondre aux besoins d'une communauté de recherche active. [traduction]
Outre l'augmentation du budget du PSF, un certain nombre d'autres solutions pour améliorer le financement ont été mentionnées par les chercheurs, comme demander aux IRSC de prendre des mesures pour assurer un financement durable et limiter le nombre de subventions du PSF que peut posséder un chercheur individuel7.
7 Les IRSC ont récemment adopté une politique limitant les candidats principaux à une nouvelle demande par concours.
Ce n'est pas nouveau, mais compte tenu des taux de succès actuels des demandes, c'est très difficile d'assurer une bonne continuité dans un programme de recherche. [traduction]
Je proposerais que les IRSC considèrent le nombre de subventions que possède un candidat. S'il a une seule demande de subvention et si celle-ci n'est pas financée, avoir à fermer son laboratoire et à recommencer à zéro n'est pas sans conséquences. Cela étant dit, il tombe sous le sens que la proposition doit être bonne, mais elle peut être juste sous le seuil pour le financement (p. ex. 3,9-4). Malgré ce que certains chercheurs peuvent penser, j'estime que les candidats qui possèdent de 2 à 5 subventions de différents organismes ne sont pas touchés pour la peine. [traduction]
Le besoin d'améliorer l'examen par les pairs a également été mentionné, aussi bien par les chercheurs financés que par les autres. La nature et la qualité de l'examen par les pairs aux IRSC ont généralement été perçues comme très bonnes et représentant un point fort de l'organisme. Nombre de répondants, toutefois, ont indiqué qu'il était difficile de trouver parmi le bassin limité de chercheurs au Canada un groupe représentatif d'experts indépendants capables de couvrir tous les types de demandes, en particulier dans les nouveaux champs de recherche. Les chercheurs non financés déploraient particulièrement ce fait. Les solutions proposées par les répondants consistaient généralement à améliorer le nombre et la diversité des pairs examinateurs du PSF. Les citations suivantes sont de chercheurs financés ou non.
Les commentaires des réviseurs… qui la plupart du temps travaillent dans un sujet de recherche fort éloigné de celui du postulant, sont complètement inutiles et généralement méchants et destructeurs et sans raisons valables. Le problème est très sérieux et il persiste depuis de très longues années.
Les commentaires du comité étaient superficiels, témoignaient d'un manque d'expertise, et ne portaient pas sur la… pertinence de la recherche proposée. Le comité n'a pas pris en considération les examens externes autant qu'il aurait fallu qu'il le fasse, et il n'a pas essayé non plus de concilier l'opinion des examinateurs du comité avec celle des examinateurs externes pour en arriver à la note finale. [traduction]
L'appui des chercheurs jeunes et inexpérimentés a été souvent mentionné par les répondants, qui considéraient les taux de succès chez ces chercheurs comme trop bas, et les fonds accordés, comme insuffisants pour monter un laboratoire ou un programme de recherche durable. L'appui des chercheurs jeunes et sans expérience a été examiné dans des sections précédentes du rapport, et si les données confirment que les chercheurs moins expérimentés ont moins de chances de profiter du PSF, les craintes soulevées par les répondants peuvent refléter un malentendu au sujet du rôle du PSF comme mécanisme destiné à appuyer les jeunes chercheurs. Nous présentons quand même les commentaires de répondants ici, car nombre d'entre eux ont mentionné que de meilleurs mécanismes étaient nécessaires pour assurer le soutien des « étoiles » montantes. Les citations suivantes ont trait à l'amélioration de l'aide pour les chercheurs qui sont jeunes et moins expérimentés.
Je crois que les IRSC, comme le font d'autres organismes, devraient donner une chance à de jeunes chercheurs prometteurs, et se baser principalement pour eux sur le dossier du candidat, ses compétences et la qualité du projet… La conséquence de tout ça a été que le démarrage efficace de ce projet a été retardé d'au moins deux ans : impossibilité d'engager du personnel, impossibilité d'investir des sommes suffisantes pour faire avancer les choses, etc.
L'incertitude constante au sujet des niveaux de financement à court terme ne facilite pas le recrutement de nouveaux professeurs adjoints (qui actuellement préfèrent les postes aux États-Unis), et n'encourage pas ceux qui sont déjà dans le système. [traduction]
Plusieurs solutions possibles ont été mentionnées, y compris créer une catégorie de demandes distincte pour les jeunes chercheurs (pour laquelle il faudrait idéalement des fonds additionnels), prévenir les comités d'examen quand la demande à l'étude provient d'un nouveau chercheur, et demander aux chercheurs plus expérimentés d'encadrer les plus jeunes au cours du processus de demande8, bien que plusieurs universités mettent déjà des mentors à la disposition des nouveaux candidats.
8 Les NIH utilisent les deux dernières méthodes.
5. Principales conclusions et recommandations
La conception particulière et la réalisation de l'évaluation s'articulaient autour de deux catégories de résultats clés indiquées dans le modèle logique du programme : l'impact sur la capacité accrue de produire et de développer de nouvelles connaissances et l'impact sur la production accrue de personnel hautement qualifié. Nous avons résumé nos conclusions à l'aide des deux principales catégories de résultats examinées dans l'évaluation. Nous avons également inclus des recommandations de gestion relatives à chaque section au besoin.
5.1. Dans quelle mesure le PSF permet-il d'améliorer la capacité de générer et de développer de nouveaux savoirs?
Conclusion no 1 : Des stratégies de collecte de données additionnelles sont nécessaires pour examiner plus à fond le PSF et son rôle dans la recherche en santé canadienne.
Des stratégies de collecte de données additionnelles devraient être adoptées pour recueillir les données appropriées à la fin des projets de recherche financés, afin qu'il soit possible de mieux mesurer les produits et, plusieurs années après la fin de ces projets, l'impact global de la recherche financée. Les IRSC devraient également recueillir des renseignements appropriés sur le type et le niveau des stratégies de diffusion et d'application des connaissances utilisées par les chercheurs financés dans le cadre du PSF. Sans données de référence ou sans un facteur d'impact valide, il est difficile de déterminer le sens réel des données recueillies au cours de l'évaluation concernant la diffusion et l'application des connaissances. Si une activité de diffusion et d'application des connaissances résulte bel et bien de la recherche financée dans le cadre du programme, reste à savoir dans quelle mesure il serait possible ou nécessaire de faire plus (ou moins). De même, s'il se fait clairement plus de recherche en santé par suite des augmentations budgétaires, la question de la « valeur pour l'argent investi », et donc de la recherche de plus (ou de moins) qu'il serait possible ou nécessaire de financer, demeure aussi sans réponse.
De plus, nous ne nous sommes pas attaqués à plusieurs questions qui auraient pu nous permettre de mieux comprendre le rôle du PSF dans la production de personnel hautement qualifié. Nous n'avons pas vérifié, par exemple, à quel point le PSF est plus ou moins efficace que d'autres mécanismes de financement pour appuyer et former de nouveaux chercheurs. De plus, il n'y avait pas de données fiables sur le nombre de stagiaires de recherche aidés par le PSF. Dans ce cas comme dans celui de la diffusion et de l'application des résultats, la collecte permanente de données par les IRSC aurait été très utile aux fins de l'évaluation.
Enfin, il reste un certain nombre d'aspects de la question de l'excellence en recherche qui pourraient être examinés plus en profondeur. Pour certains aspects de la recherche en santé, les IRSC pourraient songer à utiliser leurs données administratives pour générer des groupes tests par type de financement et niveau de financement, et produire des groupes de comparaison fiables, de bonne taille, afin de permettre l'analyse des chercheurs dans différentes catégories et ensuite comparer l'impact par une analyse bibliométrique. Un travail évaluatif plus poussé pourrait également permettre d'examiner comment le PSF influe sur la formulation et la conception de la recherche.
Recommandation no 1: Les IRSC devraient établir une meilleure mesure permanente du rendement de la recherche qu'ils financent.
Des exemples suivent, bien que les IRSC devraient considérer plus en détail diverses autres études.
- Revoir et revalider le modèle logique et la stratégie de mesure du rendement à la lumière des faits contenus dans le présent rapport;
- Mettre en usage un instrument de rapport à la fin de la subvention pour recueillir des données préliminaires sur le rendement, y compris sur la diffusion et l'application des connaissances et les résultats de la formation, et procéder à des évaluations pour recueillir des données sur les impacts de la recherche;
- Examiner plus en détail les données administratives pour aider à définir des indicateurs du fonctionnement et de l'incidence du programme;
- Trouver des façons pratiques et utiles de mesurer l'excellence en recherche dans le cadre du PSF.
Conclusion no 2 : Le PSF contribue de plus en plus à la production de connaissances nouvelles par la somme et l'ampleur de la recherche en santé financée.
Le PSF compte pour plus de 250 000 000 $ par année du financement de la recherche en santé au Canada et représente le plus important investissement dans cette recherche au Canada. La taille moyenne des équipes augmente également, ce qui donne à penser que le PSF finance plus de projets et plus de scientifiques par projet. De plus, depuis que les IRSC ont succédé au CRM, le nombre de comités de pairs dans le PSF a presque doublé, signe d'un plus grand nombre de types et d'une plus grande diversité de projets de recherche en santé financés dans le cadre du PSF.
Conclusion no 3 : Les chercheurs considèrent le PSF comme un très important élément de la capacité du Canada de générer une recherche en santé nouvelle.
La vaste majorité de candidats financés du PSF a indiqué que le programme avait été très important pour leurs programmes de recherche. Les deux indicateurs qui venaient en tête (en termes de pourcentage des répondants qui ont indiqué « élevée » ou « très élevée ») étaient s'établir dans un domaine donné (91 %) et laisser de la latitude pour explorer des idées (87 %), ce qui laisse entendre que le PSF joue un rôle clé en créant et en favorisant des idées novatrices dans la recherche en santé. Des données qualitatives obtenues de chercheurs financés et non financés révèlent aussi l'importance du PSF comme moyen de générer une recherche en santé nouvelle en permettant la libre exploration d'idées, en procurant une aide de haut niveau comparativement à d'autres sources de financement de la recherche en santé et en ayant la réputation de financer une recherche en santé crédible.
Conclusion no 4 : De plus en plus de demandes de haute qualité ne peuvent être financées.
Des données administratives révèlent que les IRSC sont généralement incapables de financer un important nombre des propositions de recherche de haute qualité qu'ils reçoivent à leurs concours du PSF, et l'écart entre le nombre de propositions de qualité et le nombre de propositions financées continue de se creuser.
De même, le sondage auprès des chercheurs non financés donne à penser que d'autres sources de financement finissent par être trouvées pour nombre des propositions bien considérées, mais non financées par le PSF. Il semble donc que lorsqu'une proposition est bien cotée dans le cadre du PSF, il s'agit bien d'une recherche d'une grande valeur scientifique, et que si les IRSC ne les financent, c'est uniquement parce que leur budget ne le leur permet pas. Nous ne pouvons déterminer si le processus de sélection écarte ou non par erreur des propositions de haute qualité scientifique en les cotant trop bas. Compte tenu de l'importance du PSF pour nombre de chercheurs en santé canadiens, l'écart croissant entre les propositions finançables et celles qui sont réellement financées suscite une certaine inquiétude.
Conclusion no 5 : Il existe des indications initiales de mécanismes de diffusion et d'application des connaissances.
Les résultats des données recueillies au sujet de la diffusion et de l'application des connaissances laissent croire que la recherche financée par le PSF peut être – et est effectivement – appliquée dans divers cadres commerciaux, politiques, administratifs et cliniques. Toutefois, vu l'échantillonnage dirigé (non aléatoire) pratiqué dans l'évaluation, les résultats ne peuvent être généralisés à l'ensemble de la recherche financée dans le cadre du PSF. Des applications industrielles de la recherche ont été le plus fréquemment mentionnées par l'échantillon complet des répondants au sondage Web, même si les nombres de cliniciens-chercheurs et de chercheurs dans les domaines des services de santé et de la santé publique et de la santé des populations qui ont fait état d'applications de leur recherche donnent à penser que les applications sont également nombreuses dans ces domaines.
Recommandation no 2: Les IRSC devraient maintenir le Programme de subventions de fonctionnement.
Sans surprise peut-être, les répondants à l'évaluation étaient presque unanimement en faveur du PSF. Les faits présentés ici donnent à penser que le PSF demeure un mécanisme de financement tenu en haut estime. Grâce à des majorations de son budget, le programme a également rendu possibles la réalisation d'un nombre croissant de projets de recherche et le financement de plus de chercheurs. Certains y verraient un résultat intrinsèquement positif. Toutefois, dans un contexte où les fonds publics sont limités, il faut toujours plus de données au sujet des résultats de la recherche financée dans le cadre de programmes comme le PSF.
2. Dans quelle mesure le PSF a-t-il permis d'améliorer la production de personnel hautement qualifié?
Conclusion no 6 : Les chercheurs voient le PSF comme un élément très important de la capacité du Canada de produire un personnel hautement qualifié.
Les indicateurs associés à la production de personnel hautement qualifié ont été bien classés par les répondants, 82 % indiquant que le PSF était important ou très important pour constituer des équipes de recherche, et 80%, que le PSF était important ou très important pour améliorer leur capacité de former des chercheurs. Même si ces indicateurs devraient être considérés comme des mesures indirectes de la production de personnel hautement qualifié, le PSF semble être un important outil de renforcement de la capacité en appuyant la formation et le perfectionnement ainsi que la constitution d'équipes de recherche. Des données qualitatives attestent également l'important rôle du PSF dans la production de personnel hautement qualifié. Ces données semblent indiquer que le PSF est très important pour entretenir l'infrastructure de recherche, comme les laboratoires, et appuyer le personnel hautement qualifié. De plus, des répondants ont indiqué que perdre une subvention de fonctionnement peut être lourd de conséquences pour la carrière d'un chercheur en santé.
Conclusion no 7 : Le PSF est un élément qui permet de retenir et d'attirer des chercheurs.
Quoique le PSF ne semble pas être un facteur de première importance dans le maintien en poste des chercheurs, les faits donnent à penser que le programme (et les IRSC en général) a un léger pouvoir d'attraction sur les chercheurs qui souhaitent déménager ou rester au Canada. Dans les deux cas, le rôle du financement des IRSC est un de nombreux facteurs.
Conclusion no 8 : Les chercheurs qui ont fait leurs preuves aux yeux des IRSC ont beaucoup plus de chances d'obtenir des fonds du PSF.
L'analyse des données administratives a révélé que les chercheurs possédant peu d'expérience dans l'art de demander des subventions aux IRSC avaient significativement moins de chances de réussir à un concours du PSF. Cinquante pour cent des candidats qui avaient obtenu plus de cinq subventions précédemment réussissaient, comparativement à 13 % de ceux qui n'avaient pas déjà obtenu de subvention des IRSC. Les données qualitatives semblent indiquer la même chose, même si les répondants avaient plutôt tendance à mettre ces insuccès sur le compte de l'âge du candidat plutôt que de son inexpérience.
Les données administratives indiquent clairement que l'expérience, définie par l'obtention antérieure de fonds des IRSC, est fortement en corrélation avec l'obtention de fonds dans le cadre du PSF. Le processus de sélection du programme est conçu pour favoriser les candidats qui possèdent plus d'expérience et qui ont fait leurs preuves. Les taux de succès chez les chercheurs inexpérimentés, toutefois, pourraient être inquiétants s'il s'avérait que d'excellentes propositions de recherche ne sont pas financées simplement en raison du manque d'expérience du chercheur auprès des IRSC. L'évaluation n'a pas permis d'en savoir plus à ce sujet.
En outre, il semble exister une certaine disjonction entre les buts du programme et les attentes de la communauté de recherche, notamment pour ce que cette dernière considère comme des taux de succès plus bas chez les jeunes chercheurs. Bien qu'un de ses objectifs soit la production de personnel hautement qualifié, le PSF est avant tout un mécanisme qui sert à financer la recherche; il n'a pas le mandat explicite d'aider les jeunes chercheurs ou les chercheurs inexpérimentés. Les attentes quant au niveau et au type d'aide disponible dans le cadre du PSF doivent être claires pour la communauté de recherche en santé, ce qui renforce la recommandation numéro 3 ci-dessous.
Recommandation no 3 : Les IRSC devraient revoir puis clairement communiquer les buts du PSF dans le contexte des autres possibilités de financement des IRSC.
Au cours de l'évaluation, il est devenu évident que les IRSC n'avaient pas défini ni positionné le PSF adéquatement par rapport aux autres mécanismes de financement offerts aux IRSC. Il semblait y avoir beaucoup de confusion au sujet du rôle du PSF et de son mandat d'appuyer divers types de chercheurs. Les IRSC doivent revoir et ensuite clarifier les buts et la structure du programme pour la communauté de recherche, dans le contexte de leurs autres mécanismes de financement. Il faudrait notamment clarifier le rôle du PSF en ce qui a trait expressément au soutien des jeunes chercheurs ou des chercheurs inexpérimentés, ainsi que les mécanismes de financement qui existent pour venir en aide à la prochaine génération de chercheurs.
Recommandation no 4 : Les IRSC devraient s'assurer que leurs pratiques d'examen par les pairs ne défavorisent pas inutilement les propositions de candidats qui n'ont pas de feuille de route aux IRSC.
Même si l'évaluation n'était pas centrée sur l'examen par les pairs, de nombreux répondants ont mentionné que c'était là un aspect à améliorer. Les IRSC ont déjà entrepris plusieurs études qui, si elles ont généralement révélé un système d'examen par les pairs judicieux et attentivement surveillé, ont néanmoins mis en évidence des différences entre les communautés de recherche9. L'examen par les pairs joue certes un rôle névralgique dans les opérations des IRSC, et c'est donc un aspect qu'il importe d'analyser plus à fond pour veiller à ce que les buts des IRSC soient reflétés dans le processus d'examen par les pairs. Les IRSC devraient songer à revoir les critères de l'examen par les pairs qui s'appliquent à l'excellence et à la feuille de route pour faire en sorte que les chercheurs qui s'adressent pour la première fois aux IRSC continuent de penser qu'ils peuvent demander des fonds et avoir des chances raisonnables de succès. En particulier, nous proposons que les IRSC revoient le poids relatif accordé à la feuille de route d'un candidat dans le processus d'examen par les pairs pour veiller à ce que le PSF continue de financer la recherche de haute qualité peu importe l'expérience du candidat auprès des IRSC.
9 Voir, par exemple, le « rapport Thorngate » : Mining the Archives: Analyses of CIHR research grant adjudications. Warren Thorngate, Neda Faregh et Matthew Young. Université Carleton. 1er novembre 2002.
Réponse de la direction et plan d'action
Recommandation no 1: Les IRSC devraient établir une meilleure mesure permanente du rendement
La direction des IRSC appuie cette recommandation. Le Programme de subventions de fonctionnement est le plus vaste et le plus important mécanisme de financement des IRSC, et son rendement quantitatif et qualitatif fera donc l'objet d'une mesure et d'une évaluation continues. Les IRSC continueront aussi à mettre au point de meilleurs outils de mesures pour évaluer l'impact de programmes comme le PSF.
Dans le budget fédéral de mars 2004, les IRSC et les autres organismes de financement ont reçu ordre d'établir des systèmes plus complets pour suivre, évaluer et présenter les résultats de la recherche qu'ils financent. Ces systèmes permettront de mieux rendre compte de l'aide fédérale à la recherche universitaire et contribueront aux hautes normes d'excellence auxquelles aspirent les chercheurs. L'Unité d'évaluation et d'analyse du Portefeuille des affaires générales travaillera avec le Portefeuille de la recherche pour élaborer une stratégie visant à assurer ce devoir redditionnel d'une manière efficace et efficiente qui accroît de façon minimale le fardeau administratif des chercheurs les empêchant de se concentrer sur la recherche. Cette stratégie sera élaborée au début de 2005. Les besoins en ressources et les autres exigences opérationnelles seront établis au même moment.
L'Unité d'évaluation et d'analyse travaillera également avec le Portefeuille de la recherche pour mettre à jour le modèle logique et la stratégie de mesure du rendement du PSF dans le contexte de la mesure globale du rendement des IRSC, elle-même mise à jour en application de la nouvelle Structure de gestion des ressources et des résultats (SGRR) du gouvernement fédéral. La stratégie de mesure du rendement, dont la mesure du rendement des programmes comme le PSF découlera, sera terminée en mars 2005.
Enfin, la question de la manière de mesurer l'excellence en recherche ainsi que le retour sur l'investissement dans la recherche en santé continuera d'être une importante question de recherche pour les IRSC. L'Unité d'évaluation et d'analyse restera en liaison avec d'autres organismes à vocation scientifique pour surveiller les meilleures pratiques et les adopter dans la mesure du possible dans nos activités de mesure du rendement.
Recommandation no 2 : Les IRSC devraient maintenir le Programme de subventions de fonctionnement.
La direction des IRSC appuie cette recommandation. Le programme sera maintenu, et les décisions quant au niveau de financement sont la responsabilité d'instances décisionnelles supérieures aux IRSC, soit le Comité de planification et des priorités de recherche (CPPR) et en bout de ligne le conseil d'administration (CA).
Lorsque la situation budgétaire est devenue potentiellement critique pour l'exercice financier 2004-2005, il est demeuré primordial au moment des affectations budgétaires d'assurer un taux de succès adéquat, de même qu'une valeur et un nombre suffisants des subventions, dans les concours de subventions de fonctionnement en cours d'exercice. Toutefois, les perspectives à long terme en ce qui a trait au nombre et à la valeur des subventions de fonctionnement face à l'apparition de nouvelles formes d'aide pour les coûts directs des projets de recherche (comme le programme de subventions aux nouvelles équipes) n'ont pas été examinées suffisamment à fond au niveau tant du conseil d'administration que de la direction au sein des IRSC. Un cadre général pour cet examen et la résolution de la question a été offert par le Comitén de planification et des priorités de recherche, qui a convenu, à sa réunion de septembre 2004 d'adopter une approche plus simple et améliorée des programmes de soutien de la recherche des IRSC, approche prévoyant une concentration sur un nombre plus réduit de programmes clés. En outre, le CA a demandé un cycle de planification budgétaire triennal, qui procurera une meilleure information au sujet du soutien à moyen terme du programme.
Recommandation no 3: Les IRSC devraient revoir puis communiquer clairement les buts du PSF dans le contexte d'autres possibilités de financement des IRSC.
La direction des IRSC appuie cette recommandation. Avec le soutien de l'Unité d'évaluation et d'analyse, les IRSC doivent revoir et examiner les buts du PSF et la manière dont ils cadrent avec les objectifs des IRSC. Lorsqu'ils rendent compte à la communauté de recherche, les IRSC doivent insister sur le fait qu'il existe aujourd'hui de nombreux autres types de possibilités de financement, en particulier quand ils communiquent avec ceux qui n'ont jamais présenté de demande d'aide aux IRSC et qui ont moins de chances de succès dans le cadre du PSF. Le Portefeuille de la recherche prendra l'initiative en améliorant les communications avec la communauté de recherche. Le Portefeuille continuera de travailler avec la Direction des communications des IRSC, et il a récemment engagé son propre agent responsable de la création de communications avec la communauté de recherche au sujet des programmes de financement des IRSC. Il s'agit d'un besoin permanent, mais des instruments de communication améliorés, comme un bulletin d'information à l'intention des chercheurs diffusé par courriel, sont prévus pour avril 2005. Plus d'efforts de communication de cette nature peuvent exiger des ressources additionnelles, qui seront demandées lors des exercices de budgétisation et de priorisation des IRSC pour 2005-2006.
La direction souhaite également ajouter qu'il est encore jugé important que le PSF soit accessible à tous les chercheurs en santé qui présentent d'excellentes propositions, peu importe leur succès passé aux concours du programme. L'information découlant de l'étude d'évaluation du PSF sera prise en compte dans un examen des critères d'évaluation et des échelles de cotation entrepris par le sous-comité sur la surveillance et l'innovation dans l'examen par les pairs (SSIEP), afin que soit étudiée la question de l'importance qui doit être accordée à la « feuille de route » dans l'évaluation globale des demandes. Cette tâche devrait être terminée au plus tard à la fin de l'exercice financier 2004-2005 sans exiger de ressources additionnelles.
Recommandation no 4 : Les IRSC devraient s'assurer que leurs pratiques d'examen par les pairs ne défavorisent pas indûment les propositions de candidats qui n'ont pas de feuille de route aux IRSC.
La direction des IRSC appuie cette recommandation, et elle a déjà mis sur pied le SSIEP (voir ci-dessus), groupe formé de représentants de la direction, des comités de pairs et des chercheurs qui est chargé d'examiner cette question ainsi que d'autres améliorations possibles du système d'examen par les pairs. Des changements d'orientation majeurs portant sur la méthodologie d'attribution des fonds, les critères d'évaluation et les échelles de cotation sont à l'étude, et des recommandations seront présentées au CA avant la fin de l'exercice financier 2004-2005. Le comité peut mener ses travaux à terme avec les ressources existantes, mais selon la nature de ses recommandations, d'autres ressources peuvent devenir nécessaires.
Supplemental content (right column)
- Mise à jour :