Chez Positive Science, nous considérons l'évaluation par les pairs comme une collaboration d'experts structurée. Notre workflow s'inspire de l'organisation du travail expert complexe dans l'industrie : rôles clairs, responsabilité partagée, étapes transparentes et décisions responsables.
Nous offrons une technologie alternative d'évaluation par les pairs pour les auteurs et revues qui souhaitent :
Un nouveau standard évolutif pour les revues qui veulent une évaluation par les pairs structurée, transparente et collaborative.
Ce que nous offrons
• une division claire des responsabilités entre les évaluateurs
• l'option d'anonymat pour les auteurs et certains évaluateurs
• des retours constructifs documentés qui peuvent être utilisés pour les travaux futurs
• et des incitations justes et durables pour les évaluateurs
1. Soumission et Options d'Anonymat
Processus de Soumission
L'auteur soumet un manuscrit anonymisé via notre plateforme.
Options d'Anonymat
Nous comprenons que l'anonymat complet est difficile dans un monde de prépublications.
• Les auteurs peuvent choisir de conserver les prépublications liées en ligne ou de suspendre temporairement leur visibilité sur les services de prépublication, s'ils souhaitent maximiser l'anonymat
• Tous les fichiers visibles par les évaluateurs sont dépourvus d'identifiants directs de l'auteur (noms, affiliations, remerciements, références auto-identifiantes si possible)
Cela donne aux auteurs un choix réaliste : bénéficier de prépublications ouvertes ou privilégier un processus d'évaluation plus anonyme selon leur contexte et leurs préférences.
2. Attribution à l'Évaluateur Principal
Chaque soumission est d'abord traitée par un Évaluateur Principal (un expert senior titulaire d'un doctorat dans le domaine concerné).
L'Évaluateur Principal est responsable de :
• vérifier l'adéquation avec le périmètre de la revue
• vérifier la conformité aux normes éthiques et d'intégrité (y compris le traitement des données, les conflits d'intérêts, les préoccupations éthiques potentielles)
• décider si le manuscrit doit être envoyé pour une évaluation complète par les pairs ou renvoyé à l'auteur à ce stade
Si le manuscrit est dans le périmètre et répond aux critères éthiques et formels de base, il passe à l'évaluation complète.
3. Panel de Trois Évaluateurs
Pour chaque manuscrit accepté, nous constituons un panel de trois évaluateurs :
Composition du Panel
• l'Évaluateur Principal, et
• deux évaluateurs supplémentaires avec une expertise de niveau doctorat dans la discipline concernée
Dimensions Couvertes
Les trois évaluateurs partagent la responsabilité du manuscrit mais avec des domaines de concentration clairement définis. À travers le panel, les dimensions suivantes sont couvertes :
• logique et cohérence globales de l'argumentation
• pertinence et contribution au domaine
• sources de données et qualité des données
• conception de la recherche et méthodologie
• exactitude et transparence des calculs et de l'analyse empirique
• vérification des faits de base dans le cadre de l'expertise des évaluateurs
Cette configuration reflète les équipes de projet dans l'industrie : un petit groupe stable avec des responsabilités qui se chevauchent mais pas identiques.
4. Réseaux d'Experts et Consultation Contrôlée
Nous reconnaissons qu'aucun évaluateur ne peut être expert dans tous les détails techniques.
Processus de Consultation Contrôlée
• Si nécessaire, les évaluateurs peuvent consulter des collègues de confiance dans leur réseau professionnel pour clarifier des questions spécifiques et limitées
• Seules des parties limitées du manuscrit pertinentes pour la question peuvent être partagées, et toujours dans un format non copiable via notre plateforme
• Ces collègues ne deviennent pas des évaluateurs formels et ne voient pas la soumission complète
Cette consultation contrôlée permet aux évaluateurs de vérifier des points spécialisés sans compromettre la confidentialité de l'auteur ni transférer le manuscrit hors de notre environnement sécurisé.
5. Utilisation d'Outils d'Intelligence Artificielle
Les évaluateurs peuvent utiliser des modèles d'IA comme assistants pour leur travail, par exemple pour :
Utilisations de l'Assistant IA
• aider aux vérifications de cohérence
• soutenir la vérification des faits de base
• détecter les erreurs évidentes dans les références, tableaux ou formules
• structurer leurs propres rapports d'évaluation
Nos Engagements
• Nous travaillons à faire fonctionner les modèles d'IA sur nos propres serveurs locaux, afin que les données des manuscrits ne soient pas transférées à des fournisseurs tiers
• Les évaluateurs restent entièrement responsables de leurs jugements ; les outils d'IA sont des assistants, pas des décideurs
• L'utilisation de l'IA ne doit jamais remplacer la lecture critique et l'évaluation experte
6. Transparence et Anonymat des Évaluateurs
Nous utilisons un modèle d'identité hybride pour les évaluateurs :
Modèle d'Identité
• L'identité de l'Évaluateur Principal est visible sur la plateforme (pour la revue et l'auteur)
• Les deux évaluateurs supplémentaires restent anonymes par défaut
• Ils peuvent choisir de révéler leur identité à l'auteur après le processus, par exemple s'ils souhaitent entamer un dialogue scientifique ou une collaboration potentielle
Avantages de l'Approche Combinée
• responsabilité (grâce à un Évaluateur Principal clairement identifié), et
• protection pour les évaluateurs qui préfèrent rester anonymes
7. Rapports d'Évaluation et Communication avec les Auteurs
Chacun des trois évaluateurs prépare un rapport structuré dans son domaine de responsabilité. Le retour final envoyé à l'auteur comprend :
Composants du Retour
• une recommandation globale
• des commentaires détaillés et des demandes de clarification ou d'amélioration
• une séparation claire entre les changements obligatoires et les suggestions optionnelles
Points Clés
• Tous les rapports d'évaluation sont stockés dans Positive Science et partagés avec l'auteur
• Ils ne sont pas publiés publiquement par défaut
• Les revues peuvent choisir d'adopter des politiques supplémentaires (par ex. rapports ouverts) en accord avec Positive Science, mais le workflow de base garde les rapports privés
8. Décisions, Révisions et Délais
Acceptation sans révisions
Si le panel ne trouve aucun problème substantiel, le manuscrit peut être accepté. Après paiement des frais de traitement d'article (APC), l'article est publié sur le site web de la revue.
Révisions
Si les évaluateurs identifient des problèmes nécessitant des changements :
1. L'auteur reçoit les retours consolidés des trois évaluateurs
2. L'auteur a deux mois pour réviser le manuscrit et préparer une réponse aux évaluateurs
3. La version révisée est resoumise via la plateforme et évaluée par (généralement) le même panel
Après une réévaluation réussie et l'acceptation, l'article est publié après paiement des APC. Si des problèmes majeurs persistent après révision, le panel peut recommander un rejet ou un tour d'évaluation supplémentaire, selon la politique de la revue.
9. Motivation et Récompenses des Évaluateurs
Une évaluation cohérente et de haute qualité nécessite du temps et de l'énergie. Pour soutenir ce travail, nous développons un système de récompense financière flexible pour les évaluateurs.
Nos Objectifs
• reconnaître l'évaluation par les pairs comme une forme de travail expert professionnel
• réduire l'épuisement professionnel et la dépendance excessive à un petit groupe d'évaluateurs
• encourager la collaboration à long terme entre les évaluateurs et notre plateforme
Le système de récompense évoluera avec le temps en même temps que Positive Science, à mesure que nous collectons des données, des retours et des meilleures pratiques de notre communauté.
10. Ce que ce Modèle Vise à Offrir
• garder les options des auteurs ouvertes concernant l'anonymat
• fournir un processus clair et documenté au lieu de décisions opaques
• distribuer l'évaluation à travers une équipe d'évaluateurs avec des responsabilités définies
• permettre une utilisation prudente des réseaux d'experts et des outils d'IA sans compromettre l'intégrité
• et créer des incitations durables pour les évaluateurs
Nous voyons ceci comme un nouveau standard évolutif pour les revues qui veulent une évaluation par les pairs structurée, transparente et collaborative.
Méthodologie d'Évaluation par les Pairs Positive Science v1.0
