正式邀请发出前十五分钟,项目负责人收到一句“大家再点一遍链接,没问题就发”。五个人都用电脑走了同一条合格主路径,于是问卷上线;半小时后才发现,18岁边界用户被筛掉、手机端排序题无法提交、两个选项导出成同一个编码。这不是检查得不够认真,而是根本没有定义要证明什么。
发布前验收应该把问卷当作一个会产生研究数据的系统:给定一组已知身份和答案,页面、跳转、终态、导出字段和主指标必须产生事先写好的预期结果。通读文字只能发现一部分表面问题;真正高风险的错误通常藏在条件组合、边界值、配额满额、随机分配、异常输入和分析文件里。
先冻结候选版 RC-07,检查才有共同对象
测试开始时生成一个不再随手修改的发布候选版,例如 RC-07,并把以下材料放进同一验收包:
- 目标总体、资格、配额、样本来源和各终态定义;
- 题目、选项、素材、跳转、随机和结束页的当前版本;
- 主指标、分母、派生公式、质量规则和计划分析表;
- 同意说明、数据用途、联系方式、访问权限和保存要求;
- 正式链接、渠道参数、激励说明、监控负责人和停投条件。
如果有人在测试途中改了一道题,却没有产生 RC-08,其他人的通过记录就可能针对旧版本。每次修复都要标明缺陷、修改者、时间、受影响路径和需要重跑的用例。发布验收不是聊天记录中的“我看过了”,而是版本、用例与结果的对应关系。
把研究规则改写成可判定的断言
“逻辑没问题”无法测试;“过去90天未购买者选择‘否’后,必须进入不合格结束页,主体满意度题不展示,导出 eligibility=0、disposition=screenout”才是断言。每条关键业务规则至少要写出输入、页面预期、数据预期和终态。
| 规则 | 给定输入 | 页面与数据应出现什么 |
|---|---|---|
| 年龄资格含18岁 | 出生日期恰好达到18岁边界 | 继续主体,age_band落入18—24而非筛除 |
| 未使用功能不评价 | 功能使用选择“从未” | 跳过体验量表,字段标记不适用而非普通缺失 |
| 配额满额 | 符合已满的交叉配额 | 进入 quota-full 终态,不计入不合格或完成 |
| 选项随机 | 多次新测试会话 | 展示顺序变化,导出稳定选项值而非屏幕位置 |
| 拒绝同意 | 不同意参与 | 不进入研究题,不产生超出必要范围的答卷数据 |
边界值应成对测试:17岁364天与18岁、89天与90天、配额剩一位与已满、多选上限内与超出上限。程序错误常发生在大于和大于等于、日期时区、空字符串和零值这些细节上。
RC-07的五张“合成受访者卡”
下面这组说明性测试卡不是真实参与者,也不得混入正式数据:
- 资格边界卡:刚满18岁、购买日期恰好90天,验证边界是否符合研究定义。
- 最长路径卡:符合所有后续模块、触发“其他”文本和敏感题拒答,验证真实最慢路径与缺失编码。
- 最短合格卡:大量合法跳过但仍完成,确认未展示字段不会被当作项目无回答。
- 配额与来源卡:携带渠道参数进入已满交叉格,检查来源保存、终态和激励资格。
- 异常交互卡:手机窄屏、弱网重连、返回修改、多次点击提交、超长文本和特殊字符,检查恢复、去重与导出。
每张卡应由不同的人按脚本执行,并保存测试会话标识、设备、截图或录屏、实际导出行和通过/失败。测试者不能只说“感觉顺畅”,而要逐项对照预期。问卷很复杂时,可再加入每种语言、辅助技术、浏览器、随机实验组和高风险人群卡。
美国人口普查局的问卷测试方法指出,题目内容、顺序、跳转和格式都可能造成误差,多种预测试方法各有作用;自动化问卷的可用性还需检查输入、纠错和导航。发布前脚本测试不能取代早先的认知访谈,但能证明定稿程序执行了研究规则。
做一次“零真实数据分析”:先导出,再算主结论
让五张测试卡再补足若干已知答案,形成一小份合成数据。分析负责人不用口头解释,直接执行正式计划:
- 检查每列变量名、类型、选项值、标签、语言和问卷版本;
- 确认多选题展开方式、其他文本、随机组、时间戳和渠道字段;
- 区分未展示、不知道、拒答、中断和系统缺失;
- 应用质量标记和纳入规则,确认原值没有被静默覆盖;
- 按预定分母复算一个主要比例、一项分组差异和一张最终图表。
假设一份合成答卷明确选择概念B并给4分,而导出后 concept_code 与概念A相同,页面再漂亮也必须停发。零数据演练还能提前发现“分析计划需要订单层数据,问卷却只有用户层一行”“题目随机后用展示位置当选项值”等结构问题。字段定义应同步进入调研数据代码本。
内容检查不是校对字词,而是核对测量承诺
每道题应能回到研究问题和计划输出。核对参考期、主体、单位、条件和量表方向;双重问题、诱导前提、含糊频率和内部术语要在发布前消失。选项需覆盖现实状态,“其他”“不知道”“不适用”“拒答”各自解决不同问题,不能为了页面简洁统一删除。
完整题序也要测试,因为前文信息会改变后题理解。UK Government Analysis Function 的问卷设计指南建议尽量以正式媒介测试整份问卷,而不是脱离上下文测试单题。测试时记录的时长应按最长/最短路径和设备分别看,邀请不能用编辑者自己的最快速度承诺。
手机可用不等于所有人都能完成
在目标人群实际使用的手机、桌面和内置浏览器中检查字号、缩放、横竖屏、键盘遮挡、图片替代信息、视频字幕、弱网重试、返回和错误恢复。矩阵、拖拽与排序应提供清晰且可操作的替代方式,不能把精细手势当作唯一入口。
W3C WAI 要求表单控件具有可识别标签,以支持屏幕阅读和语音输入;WCAG 2.2 的触控目标最小尺寸说明强调尺寸或间距对触屏误触的影响。验收至少要包括键盘导航、焦点顺序、错误提示能否定位、文本放大和颜色之外的状态提示。无障碍不是发布后美化项,它决定一部分目标人群有没有真实回答机会。
同意、隐私和激励必须走到每个结束状态
欢迎页需准确说明研究主体、目的、参与自愿性、预计负担、数据用途、潜在风险、联系与退出方式;只收集完成研究所必需的信息。联系方式用于发奖时,尽量与答卷分开保存,并定义授权角色、保存期限和删除流程。未成年人、员工、医疗、金融和跨境场景应由有权限的合规或伦理人员按适用规则复核。
逐一测试拒绝同意、不合格、配额已满、中途退出、正常完成和质量复核后的激励规则。结束页不能向筛除者暴露筛选答案,也不应误导其重复尝试。渠道文案、问卷同意和实际数据处理必须一致;“匿名”只有在确实无法合理回连身份时才能使用。
发布门只有三种状态:通过、带条件通过、拒绝
拒绝发布适用于同意或隐私错误、目标资格错判、关键路径不可达、数据编码覆盖、随机分配失效、配额错误、核心题在主要设备无法完成,以及任何使主结果无法解释的问题。截止日期不能降低这些缺陷的严重度。
带条件通过只适用于不改变测量和参与权利的轻微问题,且需写明接受风险、负责人和修复期限。例如非关键帮助文字的小排版问题可能延后,但“企业客户路径尚未测试”不是轻微问题,只是证据缺失。
通过要求所有关键断言有测试证据,零数据演练跑通,正式链接与样本参数确认,监控人知道何时停投,发布人签署唯一版本。AAPOR 的调查最佳实践建议在正式执行前预测试,并以 pilot 验证招募、施测和清洗等完整过程;程序异常应及时识别。
发布前验收和小流量试投是前后两道门
本文的验收发生在首个正式参与者进入之前,使用已知输入和合成答卷证明系统按规则工作。通过后再进入小流量试投,用有限真实样本检验发生率、渠道构成、路径时长、设备差异、开放题质量和生产数据分布。预发布测试无法预测所有真实行为,试投也不该替团队发现本可用合成用例抓住的编码错误。
上线后若必须修改,先暂停并生成新版本,评估修改是否改变资格、题意、选项、刺激、路径或数据结构,再决定旧答卷能否合并。修改记录至少包含时间、原因、受影响会话、数据处理和批准人。不要直接覆盖线上问卷,让前后样本看起来来自同一个工具。
最终签字页只保留可验证事实
- 候选版号、问卷链接、测试日期和正式发布日期;
- 每张风险卡的执行人、设备、会话标识和通过证据;
- 所有缺陷的严重度、修复版本、重测结果和未关闭风险;
- 模拟导出、主指标复算结果和分析负责人确认;
- 样本、技术、研究、隐私/合规与最终发布责任人;
- 首批暂停量、监控频率、红灯条件和回滚方式。
使用问卷派时,应先通过预览按风险身份完成测试,并把合成答卷与正式回收隔离;确认回收终态与导出后再启用正式链接。平台提供编辑、回收与数据能力,发布责任仍在项目团队;任何自动检查都无法判断一道题是否真正对应业务决策。
发布前最后一个问题不应是“还有没有错别字”,而是:“如果明天只收到这一批数据,我们能否证明每个参与者看到了正确内容、进入了正确终态,并从原始答卷复算主要结论?”只有答案有证据地为是,问卷才准备好进入真实世界。
