Programme des évaluateurs en formation

Modalités du programme

Les mentorés se verront attribuer jusqu’à trois demandes en fonction de la capacité d’évaluation qu’ils auront déclarée. Ils seront jumelés à un mentor qui leur offrira conseils et soutien tout au long du processus. Ils devront envoyer leurs évaluations à leur mentor au moins deux (2) semaines avant la réunion du comité pour que le mentor puisse commenter leur travail. Les mentorés assisteront à l’ensemble de la réunion du comité; ils auront alors l’occasion de présenter une évaluation. Il est à noter toutefois que seules les demandes les plus concurrentielles feront l’objet d’une discussion et que les mentorés ne participent pas à l’établissement des cotes finales ni aux échanges sur les budgets. Les modalités de participation aux réunions peuvent varier selon le contexte du comité tout en respectant les principes du programme.

Admissibilité

• Les candidats doivent satisfaire à la définition de CDC des IRSC à la date limite de présentation des demandes au concours de subventions Projet;
• Ils doivent travailler dans un établissement canadien à la date limite de présentation des demandes au concours de subventions Projet;
• Les candidats ne doivent pas avoir déjà participé au PEF;
• Ils ne doivent pas avoir été évaluateurs à un concours de subventions Projet;
• Ils ne doivent pas être membres à part entière du Collège des évaluateurs.

Mentorat

Le Collège des évaluateurs a préparé un guide du mentoré pour faciliter le processus de mentorat au cours du PEF. Ce guide sera transmis avant la réunion du comité.

Rôles et responsabilités

Avant la réunion

Le mentoré :

• suivra les modules d’apprentissage :
  • Les préjugés et le processus d’évaluation par les pairs
  • Effectuer des évaluations de qualité
  • l’un des modules ci-dessous, selon son expertise méthodologique :
    • Introduction à la prise en compte du sexe et du genre en science fondamentale
    • Introduction à la prise en compte du sexe et du genre en recherche clinique et épidémiologique
  • les formations supplémentaires pour les membres du Comité de la recherche en santé autochtone :
    • Mise en contexte de la recherche en santé autochtone
    • La recherche visant les Premières Nations, les Inuits ou les Métis du Canada (EPTC 2, Chapitre 9) – webinaire
• se familiarisera avec toute la documentation fournie par les IRSC;
• déclarera tout conflit d’intérêts;
• confirmera sa capacité d’évaluation dans RechercheNet;
• sera présenté par le personnel des IRSC à son mentor, président ou agent scientifique du comité;
• se verra assigner jusqu’à trois demandes correspondant à son expertise;
• demandera des conseils et de l’aide à son mentor et lui soumettra ses évaluations aux fins de commentaires sur MS Teams deux semaines avant la réunion;
• avisera le personnel des IRSC en cas de problème au cours du programme.

Important : Bien qu’un mentoré puisse poser des questions à son mentor sur le processus d’évaluation et la qualité de son travail dans le cadre de l’exercice d’évaluation, l’accent ne doit pas être mis sur les opinions scientifiques ni sur le mérite d’une demande.

Pendant la réunion

Le mentoré :

• assistera à toute réunion du comité dans son intégralité;
• sera prêt à présenter n’importe laquelle de ses évaluations, tout en sachant que ce ne sont pas toutes les demandes qui feront l’objet d’une discussion à la réunion;
• présentera son évaluation et sa cote préliminaire selon l’ordre du jour et la séquence des étapes établie;
• sera en mesure de comparer la cote qu’il a attribuée dans son exercice à la cote consensuelle;
• se conformera aux modalités de participation à la réunion énoncées par le président en début de réunion;
• ne posera pas de questions à son mentor durant la réunion, car celui-ci sera occupé à d’autres tâches (le personnel des IRSC demeurera accessible en tout temps);
• ne participera pas aux échanges visant à obtenir un consensus ou à déterminer la cote finale d’une demande;
• ne participera pas aux échanges pour décider du budget d’une demande.

Après la réunion

Le mentoré :

• reconnaît que ses évaluations sont réalisées à des fins d’apprentissage et qu’ainsi elles ne sont pas communiquées aux candidats;
• sera invité à participer au processus d’évaluation par les pairs des IRSC lorsqu’il sera disponible;
• sera invité à devenir membre associé s’il répond aux critères d’admissibilité du programme.

Assurance de la qualité des évaluations

Après leur participation à la réunion de comité, les présidents et agents scientifiques ainsi que le personnel des IRSC formuleront des commentaires sur les mentorés en suivant une méthode s’apparentant à la façon de faire établie aux IRSC, le formulaire de rétroaction sur la qualité du travail de l’évaluateur. Par la suite, les mentorés recevront par écrit une rétroaction fondée sur l’aide-mémoire pour assurer la qualité de l’évaluation et leur rendement au cours du processus d’évaluation par les pairs. Ils y verront, selon le cas :

1. Contribution exceptionnelle : Dans l’ensemble, le mentoré a surpassé les attentes dans tous les aspects du PEF – qualité des évaluations, participation et réactivité.
2. Collaboration efficace : Dans l’ensemble, le mentoré a répondu aux attentes dans tous les aspects du PEF – qualité des évaluations, participation et réactivité.
3. Amélioration nécessaire : Le mentoré n’a pas satisfait aux critères d’un ou de plusieurs aspects du PEF – qualité des évaluations, participation et/ou réactivité.

Le but de cette rétroaction est d’aider les mentorés à mettre à profit leur expérience du PEF en étant en mesure d’appliquer leurs apprentissages dans le cadre de prochaines évaluations par les pairs.

Modalités du programme

Les CDC évaluateurs se verront attribuer jusqu’à cinq demandes en fonction de la capacité d’évaluation qu’ils auront déclarée. Ils devront respecter le calendrier de leur comité pour la soumission des évaluations. Les CDC évaluateurs assisteront à la réunion d’évaluation par les pairs dans son intégralité; ils présenteront leurs évaluations et participeront aux discussions, y compris à l’établissement des cotes finales par consensus, au vote individuel et à l’évaluation des budgets. Les CDC évaluateurs présenteront leurs évaluations plus tard au cours de la réunion et auront à leur disposition toutes les ressources offertes par les IRSC aux membres des comités.

Admissibilité

• Les candidats doivent satisfaire à la définition de CDC des IRSC à la date limite de présentation des demandes au concours de subventions Projet;
• Ils doivent travailler dans un établissement canadien à la date limite de présentation des demandes pour le concours de subventions Projet;
• Ils doivent être des chercheurs principaux titulaires d’au moins une subvention fédérale récente (ou l’équivalent) ayant fait l’objet d’une évaluation par les pairs;
• Les candidats ne doivent pas avoir déjà participé au PEF dans le rôle de CDC évaluateur.
• Ils ne doivent pas avoir été évaluateurs à un concours de subventions Projet.

Les candidats qui ont déjà participé au PEF dans le rôle de mentoré, et qui respectent maintenant les critères susmentionnés, sont admissibles dans le rôle de CDC évaluateur.

Rôles et responsabilités

Les CDC évaluateurs assumeront les mêmes rôles et responsabilités que les évaluateurs énoncés dans le Guide d’évaluation par les pairs – Projet, sauf lorsqu’il est indiqué autrement ci-dessous. En bref :

Avant la réunion

Le CDC évaluateur :

• suivra les modules d’apprentissage :
  • Les préjugés et le processus d’évaluation par les pairs
  • Effectuer des évaluations de qualité
  • l’un des modules ci-dessous, selon son expertise méthodologique :
    • Introduction à la prise en compte du sexe et du genre en science fondamentale
    • Introduction à la prise en compte du sexe et du genre en recherche clinique et épidémiologique
  • les formations supplémentaires pour les membres du comité de la recherche en santé autochtone :
    • Mise en contexte de la recherche en santé autochtone
    • La recherche visant les Premières Nations, les Inuits ou les Métis du Canada (EPTC 2, Chapitre 9) – webinaire
• déclarera tout conflit d’intérêts;
• confirmera sa capacité d’évaluation dans RechercheNet;
• se verra assigner jusqu’à cinq (5) demandes en fonction de la capacité d’évaluation qu’il aura déclarée;
• fera une évaluation critique, mais aussi constructive, des demandes qui lui ont été assignées en se fondant sur les objectifs et les critères de sélection énoncés dans la possibilité de financement;
• saisira ses cotes initiales (à une décimale) dans RechercheNet;
• déterminera parmi ses demandes, lesquelles se classent dans le groupe supérieur (demandes concurrentielles) et dans le groupe inférieur (demandes non concurrentielles), en fonction de leur qualité globale;
• se familiarisera avec toutes les demandes assignées à son comité en vue de participer aux discussions durant la réunion;
• avisera le personnel des IRSC en cas de problèmes au cours du programme.

Pendant la réunion

Le CDC évaluateur :

• assistera à toute réunion du comité dans son intégralité;
• présentera les évaluations des demandes qui lui ont été assignées;
• aura l’occasion de présenter ses évaluations plus tard au cours de la réunion;
• participera aux discussions du comité;
• votera sur toutes les demandes évaluées par le comité pour lesquelles il ne se trouve pas en conflit d’intérêts.

Après la réunion

Le CDC évaluateur :

• aura l’option de réviser ses évaluations dans les cinq jours ouvrables suivant la fin de la réunion;
• sera invité à participer au processus d’évaluation par les pairs des IRSC lorsqu’il sera disponible;
• sera invité à devenir membre associé s’il répond aux critères d’admissibilité du programme.

Assurance de la qualité des évaluations

Après leur participation à la réunion de comité, les présidents et agents scientifiques ainsi que le personnel des IRSC formuleront des commentaires sur les CDC évaluateurs en suivant la façon de faire établie aux IRSC, le formulaire de rétroaction sur la qualité du travail de l’évaluateur. Par la suite, les CDC évaluateurs recevront par écrit une rétroaction fondée sur l’aide-mémoire pour assurer la qualité de l’évaluation et leur rendement au cours du processus d’évaluation par les pairs. Ils y verront, selon le cas :

1. Contribution exceptionnelle : Dans l’ensemble, le participant a surpassé les attentes dans tous les aspects du PEF – qualité des évaluations, participation et réactivité.
2. Collaboration efficace : Dans l’ensemble, le participant a répondu aux attentes dans tous les aspects du PEF – qualité des évaluations, participation et réactivité.
3. Amélioration nécessaire : Le participant n’a pas satisfait aux critères d’un ou de plusieurs aspects du PEF – qualité des évaluations, participation et/ou réactivité.

Mentorat

Le Collège des évaluateurs a préparé un guide du mentor pour faciliter le processus de mentorat pour le PEF. Ce guide sera transmis avant la réunion du comité.

Rôles et responsabilités

Avant la réunion

Le mentor :

• sera jumelé à un mentoré par le personnel des IRSC en collaboration avec les membres-cadres du comité;
• sera présenté au mentoré et devra répondre à ses questions dans MS Teams;
• lira les exercices d’évaluation du mentoré pour juger de leur qualité avant la réunion;
• fournira au mentoré des commentaires constructifs sur la qualité de ses évaluations.

Important : Bien que le mentor puisse répondre à des questions sur le processus d’évaluation et la qualité des évaluations, et commenter les exercices réalisés, l’accent ne doit pas être mis sur les opinions scientifiques ni le mérite d’une demande.

Pendant la réunion

Il n’y a plus de mentorat structuré, mais le président et l’agent scientifique du comité :

• expliqueront les modalités de participation du mentoré en début de réunion durant la présentation de la séquence des étapes;
• encourageront le mentoré à participer activement aux échanges et lui donneront l’occasion de le faire;
• observeront la participation du mentoré tout au long de la réunion du comité.
• consigneront les commentaires formulés par le mentoré pendant les échanges, car tout ce qu’il dira sera pris en compte pour l’établissement du consensus final.

Après la réunion

Le mentor :

• aura l’occasion de rencontrer le mentoré pour faire le bilan de son expérience.

Rôles et responsabilités

Le personnel des IRSC sera à la disposition des mentorés, des mentors et des CDC évaluateurs à toutes les étapes du PEF.

Avant la réunion

Le personnel des IRSC :

• présentera le mentoré au mentor et leur fournira un environnement pour collaborer (MS Teams);
• assignera aux fins d’évaluation jusqu’à trois (3) demandes de subvention Projet au mentoré (jusqu’à cinq [5] demandes au CDC évaluateur);
• assurera l’accès au matériel didactique et aux webinaires appropriés;
• fournira le guide du mentoré et des directives précisant les modalités de participation à la réunion

Pendant la réunion

Le personnel des IRSC :

• s’assurera que le mentoré présente son évaluation comme prévu à l’ordre du jour et selon la séquence des étapes établie;
• s’assurera que le mentoré respecte les modalités de participation.

Après la réunion

Le personnel des IRSC :

• recueillera les formulaires de rétroaction sur la qualité de l’évaluateur des présidents et agents scientifiques;
• transmettra la rétroaction découlant du processus d’assurance de la qualité aux mentorés et aux CDC évaluateurs;
• recueillera des commentaires auprès de tous les participants sur leur expérience du programme.