1. 缘起

  • 视频和资料下载链接：http://pan.baidu.com/s/1i46w5oh
  • 可重复的类型：概念重复和直接重复。研究者更关注直接重复（why？）
  • 争论的爆点，数据造假和不可重复事件屡屡曝光！ Bem 2011 JPSP 预知未来； Stapel 2011 造假事件；Simmons 2011 PS (Psycho Scien) 每个cell至少20个人，但后来又说至少50个人
  • science 上心理学研究的可重复很低- find the article！ Attention，no just psychology!
  • 文件抽屉效应——阴性结果的重复实验被雪藏。
  • 质疑声四起，大规模心理学实验重复活动/组织的出现

2. 原因

  • 对Null Hypothesis Significance Testing (NHST，零假设显著性检验)过度依赖
  • 对NHST的误解，导致可疑的操作（增加样本）
  • 30个样本，50%的统计检验力意味着重复实验若干次，只有一半的实验P值会小于0.05
  • 奖励机制-出版偏见-P hacking

3. 解决

3.1 统计学解决方法

3.11 指标 替换P 依然基于NHST？

  • p-curve 方法（接收程度较高）
  • 可重复指数R-index
  • The test of insufficient varience

3.12 新的统计方法 替换NHST

    1. 基于估计的统计方法（cuming 2012，2014）
      • 效应量 （effect size）
      • 置信区间
      • 元分析：常规的元分析（traditional MA, 大规模，系统化，完整）+ 迷你元分析（mini MA）
    1. 贝叶斯方法（Miller，2011）. see 胡传鹏（2017） ChinaXiv
    1. 稳健统计（Roubust stastics）

3.2 开放透明的实践标准

  • 完整公开： 数据采集（样本量如何确定）+ 数据结果报告（both positive and negative）
  • 提前注册。cortex/PS 可以提前注册，只要研究计划OK，后面结果无论阴性还是阳性都可以接收。
  • 开放数据和材料。部分杂志已经成为硬性标准。例如cognition PS Nature Science
  • 解决出版偏见 pre-register pre-print（预发布平台） 鼓励重复实验
  • 奖励机制

4. OSF

  • OSF、COS是什么(what are OSF and COS); 注册一个帐号
  • 注册一个研究计划
  • Registered Reports
  • 如何使用OSF来进行合作？
  • 使用OSF来提高自己的科研能力——有真实的数据，有相应的分析代码，有友好的研究者。例如，对元分析感兴趣，可以直接搜索元分析，查看他人的元分析计划，分析代码等等。

参考文献

  1. False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant Joseph P. Simmons, Leif D. Nelson, Uri Simonsohn