Le point sur le concours de subventions Projet de l'automne 2017

Le 10 juillet 2017

Chers collègues,

Depuis que les IRSC ont annoncé le report du concours de subventions Projet de l'automne 2017 dans un courriel en date du 5 mai 2017 destiné au milieu de la recherche, nous avons longuement discuté de ce concours – dont la date limite de présentation des inscriptions est fixée au 15 août 2017, et celle des demandes, au 15 septembre 2017 – avec les directeurs scientifiques des IRSC, les présidents du collège des évaluateurs et les délégués universitaires; nous avons également rapidement consulté certains chefs de file du milieu.

Les directeurs scientifiques, Anne Martin-Matthews (vice-présidente à la recherche par intérim) et moi avons tous convenu que nous devons revenir aux réunions en personne pour évaluer les propositions en vue du concours de cet automne. C'est pourquoi j'ai demandé aux présidents du collège, groupe formé de 17 chefs de file dans le domaine de la recherche avec, à sa tête, Paul Kubes de l'Université de Calgary, de bien vouloir agir comme conseillers principaux en ce qui concerne les programmes de subventions et l'évaluation par les pairs, tout en conservant leur rôle consultatif auprès des IRSC sur la question de l'établissement du collège des évaluateurs.

Les présidents du collège ont tenu une rencontre d'une journée et demie la semaine dernière, rencontre à laquelle ont également assisté neuf présidents du concours précédent de subventions Projet ainsi que deux membres du comité exécutif des délégués universitaires. Cette rencontre a mené à des suggestions fort judicieuses visant l'amélioration du prochain concours de subventions Projet, mais aussi des concours ultérieurs. Ces suggestions forment l'essence des changements décrits ci-dessous.

En outre, lors de ma tournée de dix universités de l'ensemble du Canada au cours des dernières semaines, j'ai entendu d'excellents commentaires au sujet de l'évaluation par les pairs (et plus encore!), dont bon nombre sont à la source des changements ci-dessous. Je tiens d'ailleurs à remercier la contribution de tous ceux et celles qui ont participé à ces discussions.

Les changements décrits ci-dessous ne constituent que la première étape pour améliorer le concours de subventions Projet. Nous ne disposions que d'environ six semaines pour étudier et apporter ces changements, mais j'ai bon espoir que le concours s'en trouvera grandement amélioré. Toutefois, le système doit continuer d'évoluer en prévision du concours du printemps 2018. Nous devons notamment déterminer la meilleure façon d'évaluer les propositions de recherche multidisciplinaire qui ne cadrent pas parfaitement avec les comités antérieurs. Les IRSC se pencheront sur cette question avec le milieu de la recherche pour le prochain concours du printemps.

Les changements suivants ont été apportés au concours de subventions Projet de l'automne 2017 :

  1. Les demandes de subvention seront évaluées par des comités se réunissant en personne, sans aucune évaluation en ligne ni autre évaluation précédente
    • Réunis, les comités couvriront l'ensemble des domaines de la recherche en santé. À l'instar des comités d'évaluation antérieurs des IRSC, chacun sera nommé et doté d'un mandat, et chacun se réunira en personne.
    • Cinquante-trois comités seront formés. La taille des comités pourrait être plus grande que par le passé, afin que l'expertise scientifique requise au sein des comités soit suffisante pour couvrir l'ensemble des domaines abordés par les demandes soumises.
    • Le mandat des comités dans le cadre du Programme ouvert de subventions de fonctionnement (POSF) du printemps 2015 servira de point de départ à la création des comités pour le concours de l'automne 2017.
    • Un changement de fond au mandat des comités du POSF n'était pas possible dans les délais alloués pour mener à bien le concours de l'automne 2017, mais les IRSC solliciteront la rétroaction des présidents du collège, des délégués universitaires, des présidents de comité, des agents scientifiques, des évaluateurs et des candidats pour évaluer et ajuster la liste des comités pour le concours du printemps 2018. Le milieu souhaite que la structure des comités soit revue de manière à mieux refléter la diversité du mandat des IRSC, la multidisciplinarité croissante de la recherche et le défi que représente l'évaluation de demandes de subvention hautement novatrices, ce que les IRSC s'engagent fermement à faire. La modernisation du mandat des comités sera une priorité pour le concours du printemps 2018. La façon de faire pour formuler des commentaires sera communiquée aux chercheurs au cours des prochaines semaines.
    • Le processus itératif d'évaluation utilisé pour les demandes liées à la recherche en santé autochtone sera conservé.
  2. Les candidats devront choisir le comité le mieux en mesure d'évaluer leur proposition
    • Chaque candidat devra sélectionner les comités (1er et 2e choix) qui, selon lui, correspondent le mieux à sa demande. Ce choix se fera à l'étape de l'inscription. Veuillez lire le mandat complet de chaque comité, car certains changements ont été apportés par rapport au POSF.
    • Les candidats devront en outre rédiger un résumé clair et éloquent de la proposition de recherche. Un bon résumé est essentiel pour guider les présidents et les agents scientifiques qui doivent décider si un comité particulier possède l'expertise voulue pour évaluer une demande de manière équitable et compétente. Si une demande est difficile à classer, le résumé aidera alors les présidents et les agents scientifiques à trouver le comité qui convient le mieux à son évaluation ou encore à décider d'élargir un comité de manière à offrir l'expertise requise.
    • Il sera permis de modifier le résumé de la proposition de recherche à l'étape de la présentation de la demande, mais l'idée de base de la demande devra demeurer la même afin qu'il ne soit pas nécessaire d'attribuer la demande à un comité différent.
  3. Les évaluateurs seront recrutés à un seul comité
    • Chaque comité comptera un président d'expérience et deux agents scientifiques (AS) qui aideront le personnel des IRSC à identifier les évaluateurs pourvus de l'expertise voulue.
    • Les présidents et les agents scientifiques prendront part à la sélection des évaluateurs ainsi qu'à l'attribution des demandes aux membres du comité.
    • Une fois que les membres du comité auront été recrutés et confirmés, chaque membre sera appelé à se soumettre au processus de déclaration des conflits et de la capacité d'évaluer pour chaque demande confiée à son comité. Les résultats de ce processus – où les niveaux d'expertise seront classés d'après l'échelle élevée/moyenne/faible/insuffisante – permettront aux présidents, aux agents scientifiques et au personnel des IRSC de finaliser l'appariement entre les demandes et les pairs évaluateurs.
    • Chaque évaluateur recevra en moyenne 10 demandes à évaluer, et chaque demande sera confiée à trois évaluateurs (un évaluateur principal et deux évaluateurs secondaires), qui rédigeront chacun une évaluation.
    • Les évaluateurs noteront les demandes selon une échelle de 0 à 4,9.
    • Si vous recevez une invitation à évaluer des demandes au concours de l'automne, je vous encourage à l'accepter. La qualité de l'évaluation par les pairs repose entièrement sur la participation du milieu au processus. L'envoi des invitations débutera la semaine du 10 juillet 2017.
  4. Léger changement au formulaire de demande de subvention Projet
    • Le formulaire de demande détaillée ainsi que les instructions relatives à l'inscription et au processus de demande seront accessibles le 11 juillet 2017 dans la base de données des possibilités de financement des IRSC.
    • La proposition de recherche comptera au plus 10 pages (incluant les figures et les tableaux). La structure de la proposition est laissée entièrement à la discrétion du candidat. Chaque candidat peut donc rédiger cette section de la demande de la façon qu'il jugera appropriée pour répondre aux critères de sélection.
    • Les critères de sélection seront pondérés comme suit :
      • Critère 1. Concept (25 %)
        • Importance et impact de la recherche (25 %)
      • Critère 2. Faisabilité (75 %)
        • Approches et méthodes (50 %)
        • Expertise, expérience et ressources (25 %)
    • Les candidats peuvent maintenant inclure un nombre illimité de pièces jointes, mais les évaluateurs ne sont pas tenus de les examiner.
    • Les candidats ont maintenant la possibilité d'inclure une réponse à des évaluations antérieures (maximum de 2 pages).
  5. Toutes les demandes liées à la santé, y compris les demandes multidisciplinaires, sont admissibles.
    • Les présidents et les agents scientifiques travailleront avec les IRSC pour s'assurer que l'expertise pertinente est disponible pour permettre l'évaluation d'une demande multidisciplinaire par n'importe quel comité.

L'avenir de l'évaluation par les pairs aux IRSC

Rappelons que les changements décrits ci-dessus ne sont qu'une première étape et que les IRSC sont résolus à poursuivre leur collaboration itérative avec le milieu de la recherche pour assurer l'évolution du système d'évaluation par les pairs. Les présidents du collège ont présenté d'autres recommandations importantes aux IRSC concernant les subventions Projet, mais il est malheureusement impossible d'apporter ces changements supplémentaires au concours actuel en raison des limites opérationnelles (par exemple, le système de RechercheNet ne pourrait pas être modifié à temps pour le concours). Cela dit, les directeurs scientifiques, Anne Martin-Matthews et moi réfléchirons sérieusement aux recommandations suivantes en vue des prochains concours de subventions Projet :

  • En plus du résumé de la proposition de recherche à soumettre à l'étape de l'inscription, exiger que les candidats justifient leur objectif et leur choix de comité, dans la mesure du possible, afin de leur permettre de conserver le comité de leur choix. S'il est impossible de respecter ce choix, aviser les candidats que leur demande sera transférée à un autre comité.
  • Mettre en place un processus périodique, systématique et fondé sur des données probantes pour la mise à jour de la composition et du mandat des comités afin de garantir qu'ils couvrent l'étendue du mandat des IRSC.
  • Réfléchir à la meilleure façon d'évaluer les demandes multidisciplinaires et les demandes qui s'intègrent mal à la structure des comités.
  • Adopter l'échelle de cotation allant de 0 à 100.
  • Lorsque les candidats répondent aux évaluations antérieures, inclure les évaluations en question.
  • Donner aux comités l'objectif de concentrer leur discussion sur les 40 % des demandes formant la tranche supérieure, selon les cotes initiales des évaluateurs et les décisions des agents scientifiques et des présidents des comités.
  • Limiter le nombre de pièces jointes que doivent examiner les évaluateurs (p. ex. 5 pages).
  • Rendre la participation au système d'évaluation par les pairs obligatoire pour les personnes qui reçoivent du financement des IRSC.

Changements à venir au Programme de subventions Fondation

Pour terminer, veuillez noter que les commentaires ci-dessus concernent seulement le concours de subventions Projet, et non le concours de subventions Fondation. Il ressort des discussions avec les directeurs scientifiques, les présidents du collège, les délégués universitaires et le milieu de la recherche que nous devons également apporter des changements au Programme de subventions Fondation. D'ailleurs, le comité international d'experts sur l'évaluation par les pairs parvient au même constat dans son rapport. Cela dit, une évaluation rigoureuse du programme doit d'abord être réalisée par les directeurs scientifiques des IRSC, les présidents du collège, les délégués universitaires et certains chefs de file du milieu de la recherche. Puisque cette analyse prendra du temps, nous serons seulement en mesure d'apporter des changements mineurs (s'il en est) au prochain concours de subventions Fondation. Par conséquent, nous continuerons de recevoir les inscriptions et les demandes pour le concours de subventions Fondation de 2017-2018 (date limite d'inscription : 8 août 2017, date limite de présentation des demandes de l'étape 1 : 12 septembre 2017). Nous vous communiquerons de plus amples renseignements sur le Programme de subventions Fondation au cours de la semaine du 17 juillet.

Je vous remercie encore une fois de votre participation à l'amélioration de l'évaluation par les pairs aux IRSC.

Sincères salutations,
Roderick McInnes, C.M., O.Ont., M.D., Ph.D., MSRC
Président par intérim, Instituts de recherche en santé du Canada

Date de modification :