教育调研首先要回答“哪里需要改”，其次才是“课程是否有效”。满意度、感知收获、作业完成和能力变化处在不同证据层级：满意说明体验是否符合预期，完成说明学习者是否走完流程，前后测说明同一批人的结果是否变化，只有可信的同期比较或随机对照，才更接近回答变化是否由课程造成。把四者合成一个“课程效果分”会让好体验冒充学习成效，也会让真正有效但有挑战的课程被低估。
因此，一项可执行的课程评价不应从“需要问多少道题”开始，而应先写清决策：是修改第二单元的讲解，调整教师支持，判断是否扩大试点，还是决定续购。不同决策需要不同证据。如果目标只是修复学习路径，过程数据、短问卷与观察已经很有价值；如果要公开宣称课程提高了成绩，就需要更严谨的结果指标、基线、比较组、失访处理和推断边界。
先把学习证据拆成四层
- 条件层：设备、网络、时间、先修知识、语言与无障碍支持是否到位。这些因素决定学习者有没有公平参与的机会。
- 实施层：课程内容是否按计划交付，教师是否完成关键活动，学习者实际接触多少课时、练习和反馈。没有实施记录，低结果可能来自课程设计，也可能来自课程根本没有被完整执行。
- 体验与过程层：目标是否清楚、难度是否合适、反馈是否及时、哪里卡住、是否敢求助。这一层最适合问卷、访谈和任务观察。
- 结果层：与目标一致的知识、技能、迁移任务或后续行为是否改变。结果要用能够复核的测量，并与更长期的成绩、升学或就业主张保持距离。
四层之间有关联，却不能替代。学习者觉得“讲得很清楚”，不保证他能独立解决新问题；测试分数上升，也不说明课程令人愿意坚持。管理者应分别设置指标：例如实施率、关键任务完成率、困难点、目标技能表现和退出率，而不是只追求一个综合平均值。
谁有资格回答什么：不要让一个角色替所有人作证
学习者最有资格报告理解、努力、情绪、求助障碍和具体经历；教师能报告备课负担、课堂执行、常见错误和资源适配；家长可描述家庭支持、沟通、时间安排和在家可观察的变化；管理员或采购者了解部署、培训、成本和组织目标。教师不能准确代答每个学生是否焦虑，家长也不能仅凭孩子“愿意上课”断言能力提高。
实际问卷可先确认角色、课程、班级与参与阶段，再进入对应模块，只保留少数共同问题。对于“教师反馈是否及时”，只询问提交过需要反馈的作业者；对于家长沟通，只覆盖实际接收过通知的人。分母必须跟随经历，而不是让“不适用”被计算成不满意。
从一个可观察学习目标倒推测量
“提升数学能力”过于宽。可改写为：“完成四周课程后，学习者能否在没有步骤提示时，为一个新情境选择合适的比例关系并解释理由？”随后再设计一个与此目标一致的任务，并在课程开始前和结束后使用难度、评分规则相当的版本。若前测题与后测题完全相同，分数上升还可能来自记题；若两个版本难度不同，又可能把试卷差异误作学习变化。
体验问题也要对准行动。例如不要只问“课程是否满意”，而要问学习者在哪一步第一次不确定、如何尝试恢复、是否找到反馈、反馈是否解释了错误以及下一题能否独立完成。开放追问用来发现机制，结构化指标用来估计范围；先通过认知预测试确认目标年龄的学习者怎样理解题目，再正式回收。
二百名学员案例：完成者进步十六分，不能代表全班
下面是一个示例性案例。某四周在线课程共有二百名报名且完成前测的学员，前测总平均为五十二分。结课时只有一百六十人完成后测，四十人失访。完成后测者的前测平均为五十五分，后测平均为七十一分，所以这批完成者的平均增益是十六分。
如果报告只写“学习成绩平均提高十六分”，就隐去了两个问题。第一，失访率是百分之二十；第二，四十名失访者的前测平均只有四十分，明显低于完成者的五十五分。也就是说，留下来的人起点更高，完成者已经不是最初二百人的等价缩影。失访不仅减少样本量，还改变了样本构成。
团队可以做一个透明的敏感性分析，但不能把假设包装成观测事实。若仅作为情景假设，把四十名失访者的结课分数设为其前测四十分，也就是假设他们没有进步，那么全队列结课平均为：
（160 × 71 + 40 × 40）÷ 200 = 64.8
与全队列前测五十二分相比，情景下增益为十二点八分。若采用更不利的压力情景，假设失访者结课平均比前测低五分，即三十五分，则全队列结课平均为：
（160 × 71 + 40 × 35）÷ 200 = 63.8
对应增益为十一点八分。两种结果都低于完成者的十六分。它们不是缺失值的真实答案，也不是推荐用单次填补替代完整分析；价值在于让决策者看到结论对未观测结果有多敏感。正式效果研究还应说明缺失机制、比较响应者与失访者的已知基线，并采用适合设计和数据的缺失处理方法。
即使分数上升，也不能自动归因于课程
上面的十六分、十二点八分或十一点八分都只是变化描述。没有同期比较组时，练习效应、自然成长、校内同步教学、考前辅导、选择性坚持和测试环境变化都可能解释一部分增益。结论可以写成“完成者在本次测量中平均提高十六分；考虑失访的两个假设情景下，全队列变化为十一点八至十二点八分”，不能写成“课程使成绩提高十六分”。
如果决策关系到扩大投入，可以从合格对象中随机分配课程版与比较版，或在班级层面随机安排先后实施。比较两组的同期结果，并在分析中尊重原始分配。无法随机时，可寻找合理比较组、记录关键基线并谨慎调整，但未测量的差异仍可能存在。美国教育科学研究院的 What Works Clearinghouse 将失访、基线等价与混杂因素分别列为研究质量判断要点，说明“有前后测”本身并不足以建立因果主张。
班级、教师和学校会让样本彼此相关
同一教师的学生共享讲解方式、作业节奏和课堂氛围，同一学校还共享招生、资源与评价制度。收集五百名学生不等于获得五百个完全独立观察。如果新版课程只由甲教师授课、旧版只由乙教师授课，那么课程版本与教师完全混在一起，任何差异都无法分辨来自课程还是教师。
设计时应尽量让多个教师或班级出现在每个条件中，并保存学校、班级、教师和课程版本标识；分析和不确定性估计要考虑分组结构。报告还应并列呈现实施差异：若平均结果没有提高，但按计划完成核心活动的班级进步明显，这只是一个值得验证的实施线索，不能事后挑选表现好的班级作为有效证明。
失访分析要追踪“谁没回来”和“在哪一步离开”
结课问卷天然只能触达留下来的人。真正困难的学习者可能在第二周已经退出，满意度因此被系统性抬高。项目应从名单建立开始记录邀请、同意、前测、实际参与、每个关键节点、后测和分析纳入状态，给每种退出定义互斥处置码。失访率至少以最初符合分析资格的人为分母，同时比较不同组的总体失访和差异失访。
降低失访比事后修补更重要：在项目开始时说明后续联系；把测量安排在不受成绩影响的时段；使用适龄、短而清楚的问卷；为缺席者设置合理补测；在合规范围内保留最少的联系方式；让停止课程的人仍能自愿提供退出经历。不要用强制提交换取表面完整，也不要因为后测缺失就删除其前测和参与记录。
涉及未成年人时，伦理不是一张同意书
UNICEF 关于儿童研究的指南强调儿童尊严、权利与福祉，并把伤害与收益、知情同意、隐私和保密作为持续判断，而非一次性手续。具体项目应按所在地区、机构和研究风险接受专业伦理与合规审查。需要监护人许可的情形，不意味着可以忽略儿童本人的适龄说明与同意表达；儿童拒绝或中途退出不应影响成绩、教师态度或资源获得。
学校中的权力关系尤其重要。若任课教师站在旁边收集对自己课程的评价，学生很难相信负面回答没有后果。可由非授课人员说明目的、分开身份与评价数据、允许跳过敏感问题，并明确谁能看到原始回答。不要为了“以后可能有用”收集姓名、精确住址、完整成绩或家庭敏感信息；小班级交叉表即使删除姓名，也可能通过年级、班级与特殊经历重新识别个人，应合并小单元或停止发布。
一份能支持决策的教育研究报告怎么写
报告首页先给决策结论，再按证据等级展开。可以使用下面的句式：
- 观察事实：第二单元的按计划完成率为百分之六十二，是四个单元中最低；退出者更集中在先修测验低分组。
- 参与者解释：访谈中反复出现“示例直接跳到公式”和“不知道怎样请求私密帮助”，提示需要检查讲解跨度与求助通道。
- 可执行行动：为第二单元增加一个诊断练习、一个错误示例和非公开求助入口，并保持其他内容不变。
- 验证方案：下一轮预先定义关键任务完成为主要过程指标、同等难度后测为结果指标，同时监测退出率与求助负担。
- 推断边界：本轮没有同期对照，分数变化不能归因于课程；结课体验只代表实际响应者。
每张图都要写清总体、分母、时间点、缺失和课程版本。将学习者、班级或学校的原始分数公开排名，既可能伤害参与者，也容易把背景和实施差异误读为能力差异。对于小样本分组，宁可报告范围和不确定性，也不要用小数点制造精确感。
发布前检查清单
- 研究决策、学习目标、主要结果和成功阈值在回收前写明。
- 条件、实施、体验和结果指标分开，不用满意度代替学习效果。
- 学习者、教师、家长与管理员只回答自己能够观察的问题。
- 前测、后测或等值任务与学习目标一致，评分规则可以复核。
- 名单能追踪邀请、参与、退出、失访和最终分析状态。
- 完整报告失访率，并比较响应者与失访者的已知基线。
- 因果主张有可信比较；没有比较时只描述变化与机制线索。
- 教师、班级与学校聚类进入设计、分析和结论边界。
- 未成年人研究完成适龄说明、同意或同意表达、退出、保护和数据最小化设计。
- 报告公开观察事实、参与者解释、行动、验证计划与限制。
设计前可先用调研问题框架把“评价课程”改成可验证决策；需要规划基线、指标与分组时，结合回收前分析计划；处理未完成后测者时，继续阅读问卷缺失数据分析和无回答偏差评估。教育研究最有价值的产出，不是证明项目“总体不错”，而是指出哪一环证据已经成立、哪一环仍不确定，以及下一轮怎样用最小改动验证。
方法依据与延伸资料
- IES What Works Clearinghouse：Procedures and Standards Handbook, Version 5.0：教育研究中的随机设计、失访、基线等价、缺失处理与研究报告标准。
- IES What Works Clearinghouse：Standards Briefs：失访、基线等价与混杂因素的简要解释。
- UNICEF Innocenti：Ethical Research Involving Children：儿童研究中的尊严、权利、福祉、伤害收益、同意、隐私与保密。
- UNICEF：Policy on Ethics in Evidence Activities Involving People：证据活动全生命周期的伦理审查、保护、风险管理、同意与数据管理要求。