Concept d’avenir : nouvelle série de programmes ouverts et nouveau processus d’évaluation par les pairs - Questions et réponses - Fonctionnement

1. Comment les IRSC procéderont-ils à l'attribution des demandes aux évaluateurs experts?

L'attribution des demandes aux évaluateurs appropriés est essentielle à la bonne marche d'un système d'évaluation axée sur les demandes. Les IRSC évaluent actuellement divers outils informatiques qui pourraient faciliter le processus d'assignation. Ces outils visent à appuyer le jugement et l'expérience des personnes responsables de l'attribution des demandes en validant leur travail. Les IRSC prévoient que des experts externes contribueront à soutenir ce processus. Ils préparent actuellement un certain nombre de projets pilotes qui permettront d'évaluer l'efficacité de ces outils informatiques et de s'assurer que leurs résultats concordent avec le jugement des experts.

2. Quel était le raisonnement des IRSC justifiant l'intégration d'un processus de présélection à distance (virtuel)?

Les IRSC s'engagent à mettre en œuvre un système d'évaluation axée sur les demandes visant l'assignation de demandes individuelles aux évaluateurs experts les plus appropriés, dans le but d'améliorer la qualité et l'équité des évaluations. Compte tenu du nombre de demandes reçues par les IRSC dans le cadre de leurs programmes ouverts et de leur diversité, un système d'évaluation axée sur les demandes ne peut être efficace et réalisable sur le plan logistique que s'il recourt à la technologie Internet. Le processus de présélection à distance (virtuel) vise à rassembler les évaluateurs possédant l'expertise appropriée pour réaliser l'évaluation par les pairs, à avoir accès à des experts de divers horizons à faible coût (notamment des experts internationaux), à diminuer la partialité qui peut être introduite lors des rencontres en personne et à réduire le temps perdu par les pairs évaluateurs en déplacements.

3. Quels types d'experts feront partie du ou des comités interdisciplinaires se réunissant en personne, et comment procédera-t-on à leur sélection?

Les comités interdisciplinaires seront composés de chefs de file reconnus ayant une compréhension générale des IRSC et du milieu de la recherche en santé au Canada et à l'étranger. Les IRSC prévoient la mise sur pied d'un comité pour le volet Fondation et de plusieurs comités pour le volet Projet. Les comités du volet Projet seront formés en fonction des types de demandes reçues dans chaque concours.

Ces comités évalueront les demandes se trouvant dans la « zone grise » du point de vue des portefeuilles disponibles plutôt que du point de vue des demandes individuelles.

4. Les candidats auront-ils accès aux commentaires des évaluateurs?

Tous les candidats recevront des commentaires structurés de chacun des évaluateurs assignés à leur demande à chacune des étapes du processus de concours en plusieurs étapes.

5. Pourquoi les critères de sélection figurant aux annexes A et B sont-ils toujours préliminaires?

Les IRSC travaillent actuellement avec divers intervenants afin de poursuivre et de perfectionner la conception des critères de sélection proposés. Les discussions se poursuivent et continuent de façonner l'évolution des critères de sélection proposés pour l'évaluation des demandes des volets Projet et Fondation.

6. Il semble que les comités actuels du POSF n'existeront plus dans la nouvelle conception. Par quoi seront-ils remplacés?

Compte tenu du nombre et de la diversité des demandes qui leur sont présentées, les IRSC se dirigent vers un processus d'évaluation par les pairs axée sur les demandes dans lequel les demandes seront assignées aux évaluateurs possédant l'expertise la plus appropriée. Cependant, les IRSC apprécient grandement le travail de leurs comités d'évaluation par les pairs et reconnaissent la nécessité de conserver une étape de discussion en personne dans ce nouveau processus. Les IRSC ont l'intention de recourir plus judicieusement aux réunions en personne des comités en utilisant des comités multidisciplinaires plus généraux à l'étape d'évaluation finale du processus de concours en plusieurs étapes. Les discussions des comités seront axées sur les demandes situées dans la « zone grise », en particulier celles dont le classement par chaque évaluateur indépendant présente une forte variation.

7. Quel rôle les utilisateurs des connaissances joueront-ils dans l'évaluation des demandes de subvention? [ nouvelle ]

Les IRSC prévoient inclure les utilisateurs des connaissances dans l'évaluation des demandes présentées aux nouveaux volets de financement des programmes ouverts. Les utilisateurs des connaissances représenteront un bassin d'expertise important au sein du collège des évaluateurs, et une priorité élevée leur a été accordée dans la mise au point de la stratégie de recrutement du collège. La constitution d'un fort contingent d'utilisateurs des connaissances sera primordiale pour garantir que les IRSC affectent le groupe d'experts le plus approprié à l'évaluation des demandes qui leur sont présentées, d'autant plus que les IRSC s'attendent à attirer une diversité de programmes et de projets à toutes les étapes de leur réalisation : découverte, démonstration, validation et/ou application des connaissances liées à la santé.

8. Les candidats peuvent-ils proposer la candidature d'au moins un évaluateur expert pour examiner leur demande de subvention? [ nouvelle ]

Tout comme pour les programmes actuels, les IRSC continueront d'offrir la possibilité aux candidats de proposer des évaluateurs (canadiens ou non) dans leurs demandes. Ces évaluateurs suggérés seront pris en considération dans le processus de sélection et d'assignation des évaluateurs. Nous reconnaissons toutefois qu'à l'avenir, les évaluateurs que les candidats proposeront pourraient ne pas être inscrits au collège des évaluateurs. Dans ce cas, les candidats pourront recourir au processus de mise en candidature du collège des évaluateurs pour présenter la candidature de leur évaluateur expert. Les IRSC ont l'intention d'instaurer un processus pour recueillir les candidatures ainsi proposées et accélérer leur traitement, afin que le personnel ait accès en temps opportun aux évaluateurs appropriés.

9. Les évaluateurs rédigeront-ils toujours des rapports d'évaluation, ou n'auront-ils qu'à cocher des cases? [ nouvelle ]

Outre les cotes alphabétiques, les évaluateurs devront fournir des commentaires écrits pour chacun des sous-critères et pour chacune des demandes qui leur seront attribuées. Bien que l'exercice pourrait s'avérer utile en ce qui a trait à la présentation de commentaires officiels aux IRSC, les évaluateurs n'auront pas à rédiger un long rapport d'évaluation en bonne et due forme. Dans le but de réduire le fardeau des pairs évaluateurs, les évaluateurs n'auront à fournir que leur point de vue d'expert sur les forces et faiblesses principales.

10. Comment le classement des évaluations individuelles sera-t-il déterminé si le nombre total de demandes assignées à un évaluateur varie? [ nouvelle ]

Le nouveau processus d'attribution se fondera sur la qualité relative plutôt que sur les cotes absolues. Le classement relatif s'appliquera au niveau des évaluateurs individuels, dans les demandes qui leur ont été assignées. Cette approche vise à tenir compte des différences de comportement des évaluateurs d'une discipline à l'autre, et à assurer une meilleure cohérence dans l'évaluation par les pairs. Pour chaque demande, les IRSC établiront un classement moyen (classement final) en se basant sur l'ensemble des classements des évaluateurs individuels. À l'issue du concours, les demandes les mieux classées seront financées.

11. Comme nouveau chercheur, les réunions de comités me sont utiles : elles constituent une belle occasion d'apprentissage. Qu'adviendra-t-il du processus d'apprentissage lorsque les comités n'existeront plus? [ nouvelle ]

Comme les IRSC n'ont jamais adopté d'approche officielle ou exhaustive à l'égard de l'orientation et de la formation des évaluateurs, ces derniers ont vécu la majorité de leurs expériences d'apprentissage au sein des comités.

Grâce au collège des évaluateurs, les nouveaux pairs évaluateurs auront l'occasion de développer leurs compétences en évaluation au moyen d'un programme d'orientation et de perfectionnement qui comprendra des possibilités de mentorat et des modules de formation à leur intention. Dans le cadre du nouveau programme, les nouveaux évaluateurs pourront être jumelés avec des mentors œuvrant dans des domaines et des disciplines de recherche semblables. Nous travaillons à peaufiner les détails, mais vous pouvez vous attendre à ce que, par exemple, un nouvel évaluateur suive le parcours d'un mentor à toutes les étapes de l'évaluation.

L'étape d'évaluation à distance du nouveau processus d'évaluation par les pairs offrira une plateforme de discussion en ligne qui permettra d'interagir avec d'autres évaluateurs et de consulter les évaluations des évaluateurs affectés aux mêmes demandes. Les IRSC prévoient que ces forums permettront aux nouveaux évaluateurs de développer leurs compétences en évaluation et de tirer des apprentissages du travail des autres évaluateurs.

Par ailleurs, la structure des comités sera maintenue dans les concours stratégiques; les nouveaux évaluateurs pourront y trouver des occasions d'apprentissage.

Supplemental content (right column)