Signification et utilisation de l’échelle de classement et de cotation
Comment les IRSC prennent-ils leurs décisions en matière de financement?
Dans l'examen par les pairs, les demandes sont cotées par le comité. La cote est ensuite utilisée pour classer les demandes, et les IRSC prennent leurs décisions de financement en fonction de ce classement. Les demandes sont financées, dans l'ordre, jusqu'à épuisement des fonds. Pour plus de détails sur la façon dont les décisions en matière de financement sont prises lorsque plusieurs comités sont prévus pour un même programme de financement, veuillez consulter l'annexe 1.
Comment les IRSC classent-ils les demandes?
Les IRSC se servent d'une échelle de 0 à 4,9 pour évaluer toutes les demandes (4,9 étant la cote la plus élevée possible). Les cotes correspondent à des descripteurs qualitatifs (voir tableaux ci-dessous) qui visent à guider les examinateurs dans leur évaluation des demandes. Cette échelle fournit des points de comparaison pour classer les demandes soumises au comité. Pour être admissible à des fonds, une demande doit obtenir une cote minimale de 3,50.
Échelle de cotation des IRSC
Tableau 1 – Échelle de cotation des IRSC pour les programmes de subventions
| Descripteur | Intervalle | Résultat |
|---|---|---|
| Exceptionnel | 4,5 – 4,9 | Subventionnable – fera l'objet de discussions par le comité |
| Excellent | 4,0 – 4,4 | |
| Très bien | 3,5 – 3,9 | |
| Acceptable, mais de faible priorité | 3,0 – 3,4 | Non subventionnable – pourrait ou non faire l'objet de discussions par le comité |
| Révision nécessaire | 2,5 – 2,9 | |
| Révision importante nécessaire | 2,0 – 2,4 | |
| Laisse beaucoup à désirer | 1,0 – 1,9 | |
| Rejeté | 0,0 – 0,9 |
Tableau 2 – Échelle de cotation des IRSC pour les programmes de bourses salariales et de formation
| Descripteur | Intervalle | Résultat |
|---|---|---|
| Exceptionnel | 4,5 – 4,9 | Subventionnable |
| Excellent | 4,0 – 4,4 | |
| Très bon | 3,5 – 3,9 | |
| Bon | 3,0 – 3,4 | Non subventionnable |
| Moyen | 2,0 – 2,9 | |
| Sous la moyenne | 1,0 – 1,9 | |
| Inacceptable | 0,0 – 0,9 |
Tableau 3 – Échelle de cotation des IRSC pour l'examen du mérite
Dans l'examen du mérite, des notes distinctes sont accordées pour l'impact potentiel et le mérite scientifique.
| Impact potentiel | Intervalle | Mérite scientifique | |
|---|---|---|---|
| Subventionnable | Extrêmement important | 4,5 – 4,9 | Exceptionnel |
| Très important | 4,0 – 4,4 | Excellent | |
| Important | 3,5 – 3,9 | Excellent, mais peut nécessiter une révision | |
| Non subventionnable | Modéré | 3,0 – 3,4 | Très bien, mais nécessite une révision pour être subventionnable |
| Limité | 2,5 – 2,9 | Révision importante nécessaire | |
| Négligeable | 0,0 – 2,4 | Laisse beaucoup à désirer |
* Seules les demandes dont la cote dépasse le seuil de 3,50 à la fois pour l'impact potentiel et pour le mérite scientifique sont admissibles au financement. On calculera la moyenne des deux cotes des demandes qui ont une cote de 3,50 et plus selon les deux critères pour déterminer la cote finale et établir une liste de classement.
Signification des cotes
La cotation des demandes permet d'atteindre deux objectifs :
- séparer les demandes « subventionnables » (cote de 3,50 et plus) des demandes « non subventionnables » (cote inférieure à 3,50);
- classer les demandes en fonction de leur qualité et de leur mérite scientifique.
Chaque comité possède son propre système de pondération pour évaluer les demandes les unes par rapport aux autres. La comparaison des cotes absolues devrait se faire seulement à l'intérieur d'un même comité et pour un concours particulier.
Il est aussi important de noter que la cotation au sein d'un comité peut varier d'un concours à l'autre. Par exemple, une demande cotée 4,2 lors d'un concours antérieur pourrait obtenir une cote de 4,0 ou de 4,4 dans un concours ultérieur, selon la qualité des demandes dans le groupe. De plus, la signification des cotes a évolué avec le temps sous l'effet de certains changements aux politiques des IRSC, notamment le relèvement du seuil de financement de 3,0 à 3,5 en 2005-2006 ainsi que la modification du système de rationalisation/tri.
Communication des résultats des concours aux candidats
On attachait par le passé une grande importance aux cotes absolues attribuées aux demandes, mais ce qui compte, c'est le classement d'une demande par rapport aux autres (c.-à-d. le classement de la demande). Dans un concours de financement, les informations les plus utiles pour les candidats sont les suivantes :
- Financée ou non
- Notes de l'AS (si elles sont fournies) – motifs de la décision
- Commentaires des examinateurs – rétroaction sur la proposition
- Écart par rapport au seuil de financement :
- Position dans le classement du comité
- Nombre total de demandes examinées par le comité
- Nombre de demandes financées dans le comité
Annexe 1
Exemple de répartition des fonds pour un concours à plusieurs comités
Certains programmes de financement des IRSC comptent plusieurs comités (p. ex. Programme ouvert de subventions de fonctionnement). L'exemple ci-dessous illustre comment les IRSC prennent leurs décisions relatives au financement dans ces situations. Dans le cas suivant, il s'agit d'un concours à deux comités pourvu d'un budget total de 800 000 $.
- Le comité X a examiné 51 demandes, et le comité Y, 44 demandes. Dans chaque comité, les demandes ont été classées selon leur cote finale (moyenne des cotes attribuées par chaque membre du comité), puis classées par rang centile selon leur rang par rapport au nombre total de demandes soumises au comité :
Comité X Comité Y No Cote Classement par rang centile No Cote Classement par rang centile 1 4,37 1,96 1 4,68 2,27 2 4,16 3,92 2 4,59 4,55 3 3,94 5,88 3 4,44 6,82 4 3,92 7,84 4 4,39 9,09 5 3,86 9,80 5 4,25 11,36 6 3,76 11,76 6 4,04 13,63 7 3,74 13,73 7 3,99 15,91 8 3,45 15,69 8 3,87 18,18 ... ... ... ... ... ... 51 1,90 100,00 44 2,25 100,00 - Les demandes sont combinées dans un seul classement, fondé sur le classement par centile de chaque demande dans son comité, et le total cumulatif des demandes est ensuite calculé :
No Classement par rang centile Comité Cote Total cumulatif 1 1,96 X 4,37 110 000 $ 2 2,27 Y 4,68 207 696 $ 3 3,92 X 4,16 264 750 $ 4 4,55 Y 4,59 421 124 $ 5 5,88 X 3,94 546 544 $ 6 6,82 Y 4,44 695 120 $ 7 7,84 X 3,92 788 100 $ 8 9,09 Y 4,39 862 521 $ 9 9,80 X 3,86 973 406 $ 10 11,36 Y 4,25 1 149 306 $ ... ... ... ... ... 94 100,00 X 1,90 ... 95 100,00 Y 2,25 ... - Pour calculer le total cumulatif des demandes, on établit une liste reflétant leur classement par rang centile, en commençant par la meilleure. On détermine ensuite le rang centile constituant le seuil de financement, en fonction du budget affecté au concours. Ce seuil est par la suite appliqué à chaque comité, et les demandes classées au-dessus du seuil sont financées. Dans cet exemple, si le budget est de 800 000 $, les quatre meilleures demandes (4/51 ou 7,84 %) dans le comité X et les trois meilleures demandes (3/44 ou 6,82 %) dans le comité Y seraient financées.
Supplemental content (right column)
- Mise à jour :