Procédure de rationalisation pour les réunions des comités d’évaluation par les pairs

Contexte

L'évaluation des demandes de financement se fait en deux étapes : (1) un examen approfondi « à domicile » par au moins deux pairs examinateurs pour produire des évaluations écrites, et (2) une réunion du comité afin de discuter des demandes et leur attribuer des cotes, à partir desquelles les IRSC produisent une liste prioritaire selon le rang pour prendre les décisions de financement. Pour de nombreux programmes, moins du tiers des demandes sont financées; il est donc important que les comités centrent leurs discussions sur les demandes compétitives pour faire en sorte qu'une liste de classement précise soit produite. Pour aider à atteindre ce but, une procédure de « rationalisation » est utilisée pour éliminer les demandes non compétitives du processus de discussion, ce qui permet aux examinateurs de consacrer plus de temps à juger et classer les demandes qui pourraient potentiellement être retenues, et de s'assurer que les demandes les plus méritoires sont financées. Les candidats dont les propositions ont été l'objet de rationalisation tirent encore parti du processus d'examen puisqu'ils reçoivent les examens écrits des examinateurs désignés.

Procédure

Le processus de rationalisation est axé sur « l’évaluation de la qualité générale », sans égard à la cote initiale. Cette approche rend le processus de rationalisation plus efficace, tient compte de l’évaluation des différents évaluateurs et prévient l’augmentation des cotes. Le processus décrit ci-dessous est soutenu par RechercheNet.

1. Avant la réunion du comité

   Les évaluateurs divisent leurs demandes en un groupe supérieur et un groupe inférieur, en fonction de la qualité globale. Le groupe supérieur devrait comprendre les demandes qui sont jugées très compétitives et qui méritent le plus d’être financées. Cette évaluation est faite en fonction de l’expérience totale des évaluateurs en matière d’évaluation de demandes depuis les cinq dernières années. Il est à noter que cela permet aux évaluateurs de participer à l’évaluation même s’ils n’ont examiné que quelques demandes pour la réunion (p. ex. évaluateurs par téléconférence). La proportion de demandes dans chaque groupe peut varier en fonction de la qualité globale des demandes examinées, relativement à l’expérience des évaluateurs. Cette étape n’est pas applicable à l’évaluation du mérite.

2. À la réunion du comité

   L’évaluation de chaque demande aux réunions des comités d’évaluation par les pairs commence par l’annonce de leurs cotes initiales, à une décimale, par les évaluateurs internes. Une demande est ensuite écartée par rationalisation si elle répond aux conditions suivantes :

   Pour l’évaluation par les pairs

   1. les deux évaluateurs ont placé la demande dans le groupe inférieur;
   2. la moyenne des cotes initiales des évaluateurs internes est inférieure à 3,5;
   3. les autres membres du comité ne s’opposent pas à ce que la demande ne soit pas examinée plus en détail.

   Pour l’évaluation du mérite

   1. la moyenne des cotes initiales des évaluateurs internes, pour l’impact potentiel et le mérite scientifique, est inférieure à 3,5;
   2. les autres membres du comité ne s’opposent pas à ce que la demande ne soit pas examinée plus en détail.

   Si n’importe laquelle de ces conditions n’est pas remplie, le comité doit inclure la demande dans ses discussions. Tout membre de comité d’évaluation par les pairs qui n’est pas en conflit d’intérêts par rapport à la demande peut désigner cette demande pour discussion s’il est d’avis que certains facteurs justifient une évaluation plus approfondie ou s’il a des doutes quant à la qualité de la demande.

   Exemple pour l’évaluation du mérite

   Candidat susceptible d'être écarté par rationalisation	Cotes initiales des évaluateurs				Moyenne
   	Mérite scientifique		Impact potentiel		MS	IP
   Non	2,5	3,5	3,7	3,9	3,0	3,8
   Non	3,2	3,6	3,8	3,2	3,4	3,5
   Oui	3,0	3,6	3,6	3,1	3,3	3,4
   Oui*	2,0	4,0	3,4	3,4	3,0	3,4

   *Normalement, compte tenu des différences marquées dans les cotes initiales accordées pour le MS, il sera exigé par les évaluateurs ou le président qu’on discute de la demande.

3. Notes

   1. Des normes différentes peuvent être appliquées au niveau de discussion requis pour les demandes dans d’autres programmes de financement, en fonction de leurs objectifs stratégiques.
   2. Lorsqu’une demande ne fait pas l’objet d’une discussion, le candidat recevra un exemplaire de tous les évaluations internes (et externes s’il y a lieu), et les notes de l’agent scientifique n’indiqueront que la décision de rationalisation. La cote n’est pas déterminée par le vote des membres du comité, elle est calculée selon les cotes attribuées initialement par les deux évaluateurs internes.

4. Procédure facultative

   À la discrétion de leur président, les comités d’évaluation par les pairs peuvent choisir d’étudier ensemble toutes les demandes répondant aux critères de rationalisation au début de la réunion. Cette procédure vise à retirer toutes les demandes non satisfaisantes, ce qui permet aux comités de mieux planifier le temps à consacrer aux autres demandes.

   Cette procédure est autorisée à deux conditions :

   • Tous les évaluateurs doivent s’assurer de terminer les évaluations du groupe supérieur/groupe inférieur sur RechercheNet au moins cinq jours avant la réunion;
   • Tous les évaluateurs doivent transmettre leurs cotes initiales au moins cinq jours avant la réunion.

   Voici les étapes de cette procédure :

   1. Le personnel des IRSC préparera une liste des demandes qui répondent aux critères de rationalisation.
   2. Les membres du comité qui ne sont pas en conflit d’intérêts voteront sur chaque demande pour déterminer si elle doit être exclue ou non de la discussion. Le vote d’exclure une demande doit être unanime, et n’importe quel membre a le droit de demander qu’une demande fasse l’objet d’une discussion. Aucune discussion sur les mérites des demandes ne sera autorisée à cette étape. Le directeur adjoint a également le droit de signaler toute demande qui, selon lui, devrait faire l’objet d’une discussion. Si une demande est exclue par vote unanime, les évaluateurs inscriront un T sur leur feuille de cotation et la cote finale sera calculée comme la moyenne des cotes initiales des évaluateurs internes.
   3. Les membres qui sont en conflit d’intérêts par rapport à certaines demandes n’ont pas à sortir de la salle à cette étape. Cependant, ils ne participeront pas au vote sur ces demandes ni ne les commenteront d’aucune façon. Tous les évaluateurs ont le devoir de protéger le processus contre toute influence indue et de s’abstenir de tout commentaire au sujet de la qualité de la demande.
   4. Si une demande répondant aux critères de rationalisation est désignée pour discussion, cette demande peut quand même être rejetée après une brève discussion si les raisons justifiant son évaluation plus approfondie ne semblent pas suffisantes. Cette décision est laissée à la discrétion du président.
   5. Les membres assistant à la réunion par conférence téléphonique peuvent participer à la rationalisation au début de la réunion s’ils s’y joignent à temps; sinon, il sera possible de décider plus tard dans la réunion, lorsque viendra le temps d’évaluer leurs demandes, si celles-ci feront l’objet du processus de rationalisation.

5. Rationalisation des demandes – Pratiques exemplaires

   • Veuillez vous familiariser avec le Guide d’évaluation par les pairs et les lignes directrices avant la réunion;
   • Comme parfois seulement 0,01 point sépare une demande qui sera financée d’une autre qui ne le sera pas, il est important que les comités aient suffisamment de temps pour discuter en profondeur des demandes qui peuvent être financées pour s’assurer que les demandes les plus méritoires sont financées;
   • La rationalisation des demandes peut se faire en une seule fois ou tout au long de la journée;
   • Si le comité décide de procéder à la rationalisation en une seule fois, le mieux est de le faire après la pause du midi. Cela permettra aux évaluateurs d’ajuster leurs cotes et d’avoir une meilleure idée de la qualité de l’ensemble des demandes;
   • S’il y a des écarts importants entre les cotes initiales, la demande devra faire l’objet d’une discussion.