我们的同行评议方法论

一个结构化、透明和协作的同行评议方法

在Positive Science,我们将同行评议视为结构化的专家协作。我们的工作流程灵感来自工业界复杂专家工作的组织:明确的角色、共同的责任、透明的步骤和负责任的决策。

我们为希望以下内容的作者和期刊提供替代性同行评议技术:

为想要结构化、透明和协作同行评议的期刊提供一个不断发展的新标准。

我们提供什么

• 评议者之间明确的责任分工
• 作者和某些评议者的匿名选择
• 可用于未来工作的建设性反馈记录
• 以及评议者公平和可持续的激励

1. 提交和匿名选项

提交流程

作者通过我们的平台提交匿名化的手稿。

匿名选项

我们理解,在预印本世界中完全匿名是具有挑战性的。

• 作者可以选择是保持相关预印本在线还是暂时暂停其在预印本服务上的可见性,如果他们希望最大化匿名性
• 所有评议者可见的文件都会去除直接的作者标识(姓名、单位、致谢、可能的自我识别引用)

这为作者提供了现实的选择:受益于开放的预印本或根据其背景和偏好优先考虑更匿名的评审过程。

2. 分配给主评议者

每份提交首先由主评议者(相关领域的博士级高级专家)处理。

主评议者负责:

• 检查是否符合期刊范围
• 验证是否符合伦理和诚信标准(包括数据处理、利益冲突、潜在伦理问题)
• 决定手稿是否应该进行完整的同行评议或在此阶段退回给作者

如果手稿在范围内并符合基本的伦理和形式标准,它将进入完整评审。

3. 三人评议小组

对于每份被接受的手稿,我们组建一个由三名评议者组成的小组:

小组组成

• 主评议者,以及
• 两名在相关学科具有博士级专业知识的额外评议者

涵盖的维度

三名评议者共同承担手稿的责任,但有明确定义的重点领域。整个小组涵盖以下维度:

• 论证的整体逻辑和连贯性
• 对该领域的相关性和贡献
• 科学新颖性
• 数据来源和数据质量
• 研究设计和方法论
• 计算和实证分析的正确性和透明度
• 评议者专业知识范围内的基本事实核查

这种设置反映了工业界的项目团队:一个小型、稳定的团队,具有重叠但不完全相同的责任。

4. 专家网络和受控咨询

我们承认没有一个评议者可以成为每个技术细节的专家。

受控咨询流程

• 在需要时,评议者可以咨询其专业网络中的可信同事,以澄清特定的、狭窄的问题
• 只有与问题相关的手稿有限部分可以共享,并且始终通过我们的平台以不可复制的格式共享
• 这些同事不会成为正式的评议者,也看不到完整的提交

这种受控咨询允许评议者仔细检查专业要点,而不会损害作者的保密性或将手稿转移到我们的安全环境之外。

5. 人工智能工具的使用

评议者可以使用AI模型作为其工作的助手,例如:

AI助手用途

• 帮助进行一致性检查
• 支持基本事实核查
• 检测参考文献、表格或公式中的明显错误
• 构建他们自己的评议报告

我们的承诺

• 我们正在努力在自己的本地服务器上运行AI模型,这样手稿数据就不会转移到第三方提供商
• 评议者对其判断完全负责;AI工具是助手,而不是决策者
• AI的使用绝不能取代批判性阅读和专家评估

6. 评议者的透明度和匿名性

我们对评议者使用混合身份模式:

身份模式

• 主评议者的身份在平台上可见(对期刊和作者)
• 两名额外的评议者默认保持匿名
• 他们可以选择在流程结束后向作者透露身份,例如如果他们希望开始科学对话或潜在的合作

组合方法的好处

• 问责制(通过明确识别的主评议者),以及
• 保护希望保持匿名的评议者

7. 评议报告和与作者的沟通

三名评议者中的每一位都在其责任领域准备一份结构化报告。发送给作者的最终反馈包括:

反馈组成部分

• 总体建议
• 详细评论和澄清或改进请求
• 强制性更改和可选建议之间的明确分隔

关键点

• 所有评议报告都存储在Positive Science中并与作者共享
• 默认情况下不公开发布
• 期刊可以选择采用额外的政策(例如公开报告)并与Positive Science达成一致,但基线工作流程保持报告私密

8. 决策、修订和时间表

无需修订即可接受

如果小组没有发现实质性问题,手稿可以被接受。在支付文章处理费(APC)后,文章将在期刊网站上发表。

修订

如果评议者发现需要更改的问题:

1. 作者收到来自三名评议者的综合反馈
2. 作者有两个月的时间修订手稿并准备对评议者的回应
3. 修订版通过平台重新提交,并由(通常)同一小组评估

在成功重新评审和接受后,文章在支付APC后发表。如果修订后仍存在重大问题,小组可能会根据期刊政策建议拒绝或进行额外一轮评审。

9. 评议者激励和奖励

一致、高质量的评议需要时间和精力。为了支持这项工作,我们正在开发一个灵活的评议者财务奖励系统。

我们的目标

• 将同行评议视为一种专业专家工作的形式
• 减少倦怠和对小部分评议者的过度依赖
• 鼓励评议者与我们平台之间的长期合作

随着时间的推移,奖励系统将与Positive Science一起发展,因为我们从社区收集数据、反馈和最佳实践。

10. 该模型旨在提供什么

• 保持作者在匿名性方面的选择开放
• 提供清晰、有记录的流程而不是不透明的决策
• 在具有明确责任的评议者团队中分配评估
• 在不损害诚信的情况下谨慎使用专家网络和AI工具
• 并为评议者创造可持续的激励

我们将此视为想要结构化、透明和协作同行评议的期刊的新的、不断发展的标准。

Positive Science同行评议方法论v1.0