Analyse du processus d’évaluation par les pairs

Le Conseil des arts du Canada et Imprint Consulting Inc. ont mené un projet de recherche sur le processus d’évaluation par les pairs.

But de la recherche

Ce projet visait à mieux comprendre l’efficacité de ses pratiques d’évaluation par les pairs et explorer les manières d’améliorer le processus en fonction des commentaires des évaluatrices et évaluateurs et du personnel.

Méthodologie

Imprint Consulting Inc. a sondé 507 pairs évaluatrices et évaluateurs et a mené des groupes de discussion et des entrevues individuelles avec 47 pairs évaluatrices et évaluateurs et 73  personnel participant à l’évaluation par les pairs.

Résultats

Les constats de cette recherche démontrent un grand respect pour le processus d’évaluation par les pairs.  Les principaux points forts comprennent :

• Processus bien organisé, bien soutenu et fondé sur des données. 
• Interactions respectueuses et constructives entre les pairs. 
• Professionnalisme du personnel du Conseil des arts. 
• Connaissances, points de vue et diversité des comités. 
• Intégrité, transparence et inclusivité du processus d’évaluation. 

Certains défis identifiés comprennent :

• Le processus est exigeant pour les évaluatrices et évaluateurs et le personnel, et l’augmentation du nombre de demandes complique les choses.
• En dépit de la flexibilité des horaires que permettent les évaluations virtuelles, celles-ci présentent aussi des obstacles pour certaines personnes, en particulier les évaluatrices sourdes et évaluateurs sourds ou ayant un handicap.
• Le passage à l’évaluation multidisciplinaire a posé des défis, notamment celui d’assurer l’accès à l’expertise disciplinaire ou celui de la représentation des groupes prioritaires en cas de conflits d’intérêts, de même qu’aider les pairs évaluatrices et évaluateurs à se sentir à l’aise d’évaluer des demandes dans un champ de pratique inconnu.

Voici un résumé des recommandations visant à renforcer le processus. La liste complète des recommandations se trouve dans le rapport ci-dessous.

• Réduire les exigences du processus pour les pairs en améliorant les formulaires de candidature et le processus de présélection.
• Améliorer la cohérence et l’organisation du regroupement des dossiers pour les comités d’évaluation par les pairs.
• Explorer les avantages d’un retour aux évaluations en personne pour certains comités, par exemple, pour les comités autochtones et les comités sur les pratiques des artistes handicapés ou sourds.
• Améliorer l’évaluation grâce à une calibration comparée entre les comités, au recours à des conseillers et à la communication sur l’évaluation multidisciplinaire.
• Mise à jour de la formation et des ressources pour les évaluateurs sur la réduction des préjugés et la manière d’appliquer les critères d’évaluation.
• Améliorer le processus de candidature des candidats en examinant les formulaires et en fournissant des commentaires.
• Explorer la présence des comités permanents chargés de l’évaluation par les pairs.
• Réévaluer la rémunération et les attentes envers les pairs.
• Offrir davantage des mesures d’adaptation et de soutien aux évaluateurs sourds ou handicapés, ou qui ont été affectés par un traumatisme.
• Fournir plus de contexte aux demandes des groupes stratégiques du Conseil des arts du Canada et prioriser le recrutement d’évaluateurs pairs de différentes régions.

Le Conseil des Arts du Canada intègre les résultats et les recommandations de cette recherche pour orienter les améliorations de ses processus d'évaluation.

Des questions?

Veuillez contacter le Service de la recherche, des mesures et de l’analyse des données à recherche@conseildesarts.ca.