Concept d'avenir : nouvelle série de programmes ouverts et nouveau processus d'évaluation par les pairs (Hiver / Printemps 2013)

Autre format

Table des matières

Objectifs

Objectifs de la présentation :

  • Examiner pourquoi il est nécessaire d'apporter des changements à la série de programmes ouverts;
  • Faire un survol de la nouvelle structure de la série de programmes ouverts et du processus d'évaluation par les pairs;
  • Exposer le plan de mise en oeuvre et l'échéancier provisoire;
  • Répondre aux questions des membres du milieu.

La justification

Objectifs de la réforme

Objectifs de la réforme de la stratégie de recherche libre des IRSC :

  • Atteindre l'excellence dans les quatre thèmes de recherche, de la création des connaissances à leur application
  • Favoriser la recherche novatrice, originale et inédite
  • Intégrer de nouveaux talents pour soutenir l'afflux de chercheurs en santé au Canada
  • Améliorer la viabilité des activités de recherche à long terme

Par l'atteinte de ces objectifs, la réforme vise également à résoudre une partie des problèmes opérationnels actuels :

  • Charge de travail et coûts pour les candidats
  • Fardeau de l'évaluation par les pairs
  • Manque d'uniformité et d'efficacité du processus d'évaluation par les pairs
  • Écart grandissant entre l'évolution de la recherche et la structure des comités
  • Complexité du programme

Charge de travail et coûts pour les candidats

  • La préparation de demandes de subventions peut être extrêmement onéreuse pour les chercheurs et les établissements. Une étude réalisée l'an dernier en Australie (NHMRC) a permis d'estimer à plus de 17 000 $ (australiens) le coût total par demande présentée.
  • En moyenne, il faut environ 169 heures pour remplir une demande dans le cadre du POSF des IRSC, ce qui se compare aux données du NHMRC.
  • Le coût que représente la préparation d'une demande dans le cadre du POSF pour le candidat est évalué à 10 878 $. Ajoutons à cela les coûts d'administration et d'évaluation par les pairs et le total grimpe à environ 14 000 $.

Fardeau de l'évaluation par les pairs

  • Actuellement, les IRSC dotent les 53 comités permanents d'évaluation par les pairs de plus de 2 300 évaluateurs. Ces comités représentent plusieurs domaines de recherche, disciplines, systèmes vivants, populations, etc.
  • Le nombre de comités ne cesse de s'accroître au fil du temps, et on reçoit constamment des demandes pour la création de nouveaux comités permanents capables d'examiner de la recherche difficile à évaluer dans la structure de comités actuelle.
  • Il est de plus en plus difficile de recruter les évaluateurs possédant l'expertise requise puisque ceux-ci sont souvent en conflit, soit parce qu'ils demandent eux aussi du financement, soit parce qu'ils siègent à un autre comité d'évaluation par les pairs.

Manque d'uniformité et d'efficacité du processus d'évaluation par les pairs

Les résultats du sondage Ipsos Reid de 2010 indiquent un taux élevé d'insatisfaction chez les intervenants sur certains plans de l'évaluation par les pairs.

Satisfaction des intervenants – Évaluation par les pairs (pourcentage des répondants qui ont formulé une opinion)

Écart grandissant entre l'évolution de la recherche et la structure des comités

  • Actuellement, des efforts appréciables sont déployés pour faire en sorte que chaque demande soit évaluée par le comité le plus approprié.
  • Le graphique ci-dessous illustre l'attribution des demandes aux comités permanents et leur transfert entre ces comités durant les quatre derniers concours du POSF :

POSF des IRSC – Entrées et sorties (Printemps 2010 - automne 2011)

Un exemple…

Survol du concept

  • Les commentaires du milieu de la recherche à propos des changements proposés à la série de programmes ouverts et au processus d'évaluation par les pairs ont été recueillis du 8 février au 1er mai 2012 :

  • Les commentaires reçus ont été évalués pendant l'été et l'automne afin d'améliorer le concept global.

  • Publication du concept mis à jour en décembre 2012.

Les éléments conceptuels clés qui suivent ont reçu l'aval du conseil d'administration et du conseil scientifique des IRSC :

  1. Deux volets de financement distincts et complémentaires :
    • volet Projet
    • volet Fondation
  2. Un processus d'évaluation par les pairs qui prévoit :
    • une évaluation axée sur les demandes
    • une évaluation en plusieurs étapes
    • des critères structurés d'évaluation
    • une évaluation des demandes à distance
  3. Un collège des évaluateurs pour soutenir l'excellence de l'évaluation par les pairs dans tous les domaines de la recherche en santé

Enveloppe budgétaire des subventions de recherche libre (POSF)

2011–2012 :

  • Nbre de nouv. subv. : 802
  • Nbre de dem. : 4 578
  • Valeur moy. des subv. pluriannuelles : ~ 600 K$
  • Taux de réussite : 17,5 %

2007–2008 :

  • Nbre de nouv. subv. : 816
  • Nbre de dem. : 3 625
  • Valeur moy. des subv. pluriannuelles : ~ 540 K$
  • Taux de réussite : 22,6 %

Les IRSC se sont engagés à maintenir approximativement le même nombre de chercheurs principaux désignés que dans le système actuel.

  • Plusieurs scénarios ont été envisagés pour déterminer un nombre de nouveaux titulaires de subventions viable à long terme.

  • Voici le scénario de planification actuel :

    Scénario des nouveaux volets de financement des programmes ouverts en régime de croisière
    Fondation Projet Total
    Proportion du budget de financement des programmes ouverts des IRSC 45 % 55 % 100 %
    Nombre de nouvelles subventions par année 114 939 1 053
    Nombre de subventions en régime de croisière 750 2 200 2 950

  • On s'attend à ce que la valeur des subventions dans chacun des volets varie en fonction des besoins de chaque demande.

  • On prévoit une distribution des montants pour les subventions de fondation et de projet correspondant au graphique ci-dessous :

Le volet Fondation

Le volet Fondation est conçu pour contribuer à l'édification d'une assise durable formée de chefs de file dans le domaine de la recherche en santé. Il devrait permettre :

  • de financer un vaste bassin de chefs de file en recherche œuvrant dans tous les domaines et toutes les disciplines en lien avec la santé, à n'importe quelle étape de leur carrière;
  • de développer et de soutenir la capacité de recherche au Canada;
  • d'offrir la latitude voulue pour explorer des pistes de recherche nouvelles et novatrices;
  • de contribuer à la création et à l'utilisation de connaissances liées à la santé.

Il y aura un seul concours par année dans le cadre du volet Fondation.

Les critères d'évaluation précis sont toujours en cours d'élaboration, tout comme les exigences relatives à l'engagement des établissements.

Le volet Projet

Le volet Projet a pour but d'exploiter les idées les plus susceptibles de faire progresser de façon importante les connaissances en santé. Il devrait permettre :

  • de financer un portefeuille diversifié de projets de recherche en santé et d'application des connaissances à toutes les étapes de leur réalisation, de la découverte à l'application, ce qui comprend la commercialisation;
  • de faciliter la collaboration entre disciplines, professions et secteurs;
  • de favoriser la création et l'utilisation des connaissances en santé.

Il y aura deux concours par année dans le cadre du volet Projet.

Pour faire suite aux commentaires du milieu, le volet Projet adoptera un processus d'évaluation en deux étapes.

Les critères d'évaluation précis sont toujours en cours d'élaboration.

Collège des évaluateurs

  • Pour réaliser la vision et les objectifs de la réforme, les IRSC collaboreront avec leurs partenaires afin de bâtir un collège des évaluateurs.
  • Il s'agira d'une ressource nationale centralisée.
  • Le collège sera formé d'experts du Canada et de l'étranger.
  • On établira des rôles précis pour appuyer le processus d'évaluation par les pairs (ex. animateurs et présidents) et, plus globalement, le système d'évaluation (ex. doyen de faculté).
  • On mettra sur pied des programmes précis visant à former les mentors et à surveiller le rendement.
  • Le recrutement des évaluateurs du collège se fera en plusieurs étapes
    • La transition vers le collège des évaluateurs (transition) devrait se dérouler du printemps 2013 à l'année 2016.
    • L'objectif visé est de recruter environ 8 000 membres.
    • Actuellement, les IRSC disposent d'un bassin de 2 300 évaluateurs actifs à l'appui du POSF. Ils ont communiqué avec quelque 5 800 personnes pour prendre part à l'évaluation par les pairs dans tous les programmes au cours des cinq dernières années.
    • Les premières vagues de recrutement cibleront les évaluateurs déjà actifs et les évaluateurs actifs depuis peu.
    • Les vagues subséquentes nous permettront de procéder au recrutement ciblé d'évaluateurs pour combler les lacunes au chapitre de l'expertise et accroître le nombre d'évaluateurs à l'interne.

Il faudra de 500 à 675 évaluateurs par concours pour le volet Projet et de 275 à 350 évaluateurs par concours pour le volet Fondation (si l'on part du principe que chaque demande est évaluée par 5 évaluateurs et que chaque évaluateur se voit attribuer de 15 à 20 demandes).

Justification pour chacun des éléments conceptuels

Élément conceptuel - Concours en plusieurs étapes

  • Facilite la présélection des demandes
  • Allège le fardeau des candidats et des évaluateurs
  • Permet aux évaluateurs de se concentrer sur des critères différents selon les étapes du processus

Élément conceptuel - Évaluation axée sur les demandes

  • Permet d'éviter l'« imposition » de demandes à des comités permanents
  • Permet d'affecter les experts appropriés à chacune des demandes

Élément conceptuel - Critères d'évaluation structurés

  • Réduit les écarts dans l'application des critères d'évaluation
  • Améliore la transparence du processus d'évaluation
  • Allège le fardeau de l'évaluation par les pairs

Élément conceptuel - Pré-sélection/ évaluation à distance (virtuelle)

  • Facilite l'accès à l'expertise, y compris à l'échelle internationale
  • Améliore la rentabilité du processus
  • Réduit la dynamique de groupe et la partialité culturelle au sein des comités

Transition vers les nouveaux volets

La transition vers la nouvelle série de programmes ouverts et le nouveau processus d'évaluation par les pairs s'effectuera sur plusieurs années.

La stratégie de transition comporte trois phases :

  1. Mise à l'essai des principaux éléments conceptuels de l'évaluation par les pairs
  2. Mise en place progressive des nouveaux volets de financement
  3. Élimination graduelle des programmes de financement ouverts existants

Compte tenu de la portée et de l'envergure des changements proposés, et des enseignements que nous tirerons des résultats des projets pilotes, il faudra peut-être rectifier le tir et modifier l'échéancier.

1. Mise à l'essai des principaux éléments conceptuels de l'évaluation par les pairs

  • Les IRSC effectueront plusieurs essais afin de tester le nouveau processus d'évaluation par les pairs entre le début de 2013 et le milieu de 2016. Ces essais porteront sur ce qui suit :

    Éléments conceptuels mis à l'essai Programmes actuels des IRSC
    Certains éléments de l'évaluation à distance, du processus de concours en plusieurs étapes et de la catégorisation des demandes (terminé) Programme des nouveaux chercheurs
    Évaluation à distance, discussion asynchrone, évaluation structurée (deux projets pilotes – printemps et automne 2013) Programme de bourses
    Premier concours pilote du volet Projet : demande structurée abrégée, nouveaux critères, évaluation structurée, évaluation à distance, cinq évaluateurs par demande (automne 2014) Programme de synthèse de l'AC
    Deuxième concours pilote du volet Projet : tous les éléments du volet Projet par l'entremise d'un programme stratégique Programme stratégique (à déterminer)
    Projet pilote sur l'appariement : aura lieu en même temps que les prochains concours du POSF et mettra à l'essai des méthodes d'appariement des demandes et des évaluateurs POSF

2. Mise en place progressive des nouveaux volets de financement

  • La mise en place progressive des nouveaux volets de financement des programmes ouverts s'effectuera sur plusieurs cycles de concours.
  • Nous procéderons au lancement de deux concours pilotes dans le cadre du volet Fondation. La présentation des demandes devrait se faire à l'automne 2014 et à l'automne 2015.
  • Le premier concours régulier du volet Fondation est prévu à l'automne 2016.
  • Le premier concours du volet Projet est prévu au printemps 2016.
  • Les IRSC s'assureront que les candidats, les évaluateurs et les établissements universitaires reçoivent le soutien nécessaire tout au long du processus de transition afin d'aider le milieu de la recherche à traverser cette période sans heurts.

3. Élimination graduelle des programmes de financement ouverts existants

  • Les IRSC reconnaissent l'importance de faire preuve de circonspection dans la gestion des répercussions des changements sur les titulaires de subventions financés au moyen de la série actuelle de programmes ouverts.
  • Les IRSC organiseront encore trois concours dans le cadre du Programme ouvert de subventions de fonctionnement (au printemps 2013, à l'automne 2013 et au printemps 2014).
  • De plus, un concours transitionnel du Programme ouvert de subventions de fonctionnement aura lieu au printemps 2015, parallèlement au premier concours pilote du volet Fondation.
  • Les autres programmes ouverts seront éliminés graduellement après le lancement des premiers concours du volet Projet.

Supplemental content (right column)