指南问卷发布发布验收逻辑测试数据质量

问卷正式发布前检查什么?用合成答卷完成一次发布验收

在首个正式受访者进入前冻结候选版本,以风险身份逐路径测试同意、筛选、配额、随机与移动端,并用模拟导出复算主指标和回滚条件。

最近更新 2026年9月2日 12 分钟 阅读

正式邀请发出前十五分钟,项目负责人收到一句“大家再点一遍链接,没问题就发”。五个人都用电脑走了同一条合格主路径,于是问卷上线;半小时后才发现,18岁边界用户被筛掉、手机端排序题无法提交、两个选项导出成同一个编码。这不是检查得不够认真,而是根本没有定义要证明什么。

发布前验收应该把问卷当作一个会产生研究数据的系统:给定一组已知身份和答案,页面、跳转、终态、导出字段和主指标必须产生事先写好的预期结果。通读文字只能发现一部分表面问题;真正高风险的错误通常藏在条件组合、边界值、配额满额、随机分配、异常输入和分析文件里。

先冻结候选版 RC-07,检查才有共同对象

测试开始时生成一个不再随手修改的发布候选版,例如 RC-07,并把以下材料放进同一验收包:

  • 目标总体、资格、配额、样本来源和各终态定义;
  • 题目、选项、素材、跳转、随机和结束页的当前版本;
  • 主指标、分母、派生公式、质量规则和计划分析表;
  • 同意说明、数据用途、联系方式、访问权限和保存要求;
  • 正式链接、渠道参数、激励说明、监控负责人和停投条件。

如果有人在测试途中改了一道题,却没有产生 RC-08,其他人的通过记录就可能针对旧版本。每次修复都要标明缺陷、修改者、时间、受影响路径和需要重跑的用例。发布验收不是聊天记录中的“我看过了”,而是版本、用例与结果的对应关系。

把研究规则改写成可判定的断言

“逻辑没问题”无法测试;“过去90天未购买者选择‘否’后,必须进入不合格结束页,主体满意度题不展示,导出 eligibility=0、disposition=screenout”才是断言。每条关键业务规则至少要写出输入、页面预期、数据预期和终态。

规则给定输入页面与数据应出现什么
年龄资格含18岁出生日期恰好达到18岁边界继续主体,age_band落入18—24而非筛除
未使用功能不评价功能使用选择“从未”跳过体验量表,字段标记不适用而非普通缺失
配额满额符合已满的交叉配额进入 quota-full 终态,不计入不合格或完成
选项随机多次新测试会话展示顺序变化,导出稳定选项值而非屏幕位置
拒绝同意不同意参与不进入研究题,不产生超出必要范围的答卷数据

边界值应成对测试:17岁364天与18岁、89天与90天、配额剩一位与已满、多选上限内与超出上限。程序错误常发生在大于和大于等于、日期时区、空字符串和零值这些细节上。

RC-07的五张“合成受访者卡”

下面这组说明性测试卡不是真实参与者,也不得混入正式数据:

  1. 资格边界卡:刚满18岁、购买日期恰好90天,验证边界是否符合研究定义。
  2. 最长路径卡:符合所有后续模块、触发“其他”文本和敏感题拒答,验证真实最慢路径与缺失编码。
  3. 最短合格卡:大量合法跳过但仍完成,确认未展示字段不会被当作项目无回答。
  4. 配额与来源卡:携带渠道参数进入已满交叉格,检查来源保存、终态和激励资格。
  5. 异常交互卡:手机窄屏、弱网重连、返回修改、多次点击提交、超长文本和特殊字符,检查恢复、去重与导出。

每张卡应由不同的人按脚本执行,并保存测试会话标识、设备、截图或录屏、实际导出行和通过/失败。测试者不能只说“感觉顺畅”,而要逐项对照预期。问卷很复杂时,可再加入每种语言、辅助技术、浏览器、随机实验组和高风险人群卡。

美国人口普查局的问卷测试方法指出,题目内容、顺序、跳转和格式都可能造成误差,多种预测试方法各有作用;自动化问卷的可用性还需检查输入、纠错和导航。发布前脚本测试不能取代早先的认知访谈,但能证明定稿程序执行了研究规则。

做一次“零真实数据分析”:先导出,再算主结论

让五张测试卡再补足若干已知答案,形成一小份合成数据。分析负责人不用口头解释,直接执行正式计划:

  • 检查每列变量名、类型、选项值、标签、语言和问卷版本;
  • 确认多选题展开方式、其他文本、随机组、时间戳和渠道字段;
  • 区分未展示、不知道、拒答、中断和系统缺失;
  • 应用质量标记和纳入规则,确认原值没有被静默覆盖;
  • 按预定分母复算一个主要比例、一项分组差异和一张最终图表。

假设一份合成答卷明确选择概念B并给4分,而导出后 concept_code 与概念A相同,页面再漂亮也必须停发。零数据演练还能提前发现“分析计划需要订单层数据,问卷却只有用户层一行”“题目随机后用展示位置当选项值”等结构问题。字段定义应同步进入调研数据代码本。

内容检查不是校对字词,而是核对测量承诺

每道题应能回到研究问题和计划输出。核对参考期、主体、单位、条件和量表方向;双重问题、诱导前提、含糊频率和内部术语要在发布前消失。选项需覆盖现实状态,“其他”“不知道”“不适用”“拒答”各自解决不同问题,不能为了页面简洁统一删除。

完整题序也要测试,因为前文信息会改变后题理解。UK Government Analysis Function 的问卷设计指南建议尽量以正式媒介测试整份问卷,而不是脱离上下文测试单题。测试时记录的时长应按最长/最短路径和设备分别看,邀请不能用编辑者自己的最快速度承诺。

手机可用不等于所有人都能完成

在目标人群实际使用的手机、桌面和内置浏览器中检查字号、缩放、横竖屏、键盘遮挡、图片替代信息、视频字幕、弱网重试、返回和错误恢复。矩阵、拖拽与排序应提供清晰且可操作的替代方式,不能把精细手势当作唯一入口。

W3C WAI 要求表单控件具有可识别标签,以支持屏幕阅读和语音输入;WCAG 2.2 的触控目标最小尺寸说明强调尺寸或间距对触屏误触的影响。验收至少要包括键盘导航、焦点顺序、错误提示能否定位、文本放大和颜色之外的状态提示。无障碍不是发布后美化项,它决定一部分目标人群有没有真实回答机会。

同意、隐私和激励必须走到每个结束状态

欢迎页需准确说明研究主体、目的、参与自愿性、预计负担、数据用途、潜在风险、联系与退出方式;只收集完成研究所必需的信息。联系方式用于发奖时,尽量与答卷分开保存,并定义授权角色、保存期限和删除流程。未成年人、员工、医疗、金融和跨境场景应由有权限的合规或伦理人员按适用规则复核。

逐一测试拒绝同意、不合格、配额已满、中途退出、正常完成和质量复核后的激励规则。结束页不能向筛除者暴露筛选答案,也不应误导其重复尝试。渠道文案、问卷同意和实际数据处理必须一致;“匿名”只有在确实无法合理回连身份时才能使用。

发布门只有三种状态:通过、带条件通过、拒绝

拒绝发布适用于同意或隐私错误、目标资格错判、关键路径不可达、数据编码覆盖、随机分配失效、配额错误、核心题在主要设备无法完成,以及任何使主结果无法解释的问题。截止日期不能降低这些缺陷的严重度。

带条件通过只适用于不改变测量和参与权利的轻微问题,且需写明接受风险、负责人和修复期限。例如非关键帮助文字的小排版问题可能延后,但“企业客户路径尚未测试”不是轻微问题,只是证据缺失。

通过要求所有关键断言有测试证据,零数据演练跑通,正式链接与样本参数确认,监控人知道何时停投,发布人签署唯一版本。AAPOR 的调查最佳实践建议在正式执行前预测试,并以 pilot 验证招募、施测和清洗等完整过程;程序异常应及时识别。

发布前验收和小流量试投是前后两道门

本文的验收发生在首个正式参与者进入之前,使用已知输入和合成答卷证明系统按规则工作。通过后再进入小流量试投,用有限真实样本检验发生率、渠道构成、路径时长、设备差异、开放题质量和生产数据分布。预发布测试无法预测所有真实行为,试投也不该替团队发现本可用合成用例抓住的编码错误。

上线后若必须修改,先暂停并生成新版本,评估修改是否改变资格、题意、选项、刺激、路径或数据结构,再决定旧答卷能否合并。修改记录至少包含时间、原因、受影响会话、数据处理和批准人。不要直接覆盖线上问卷,让前后样本看起来来自同一个工具。

最终签字页只保留可验证事实

  • 候选版号、问卷链接、测试日期和正式发布日期;
  • 每张风险卡的执行人、设备、会话标识和通过证据;
  • 所有缺陷的严重度、修复版本、重测结果和未关闭风险;
  • 模拟导出、主指标复算结果和分析负责人确认;
  • 样本、技术、研究、隐私/合规与最终发布责任人;
  • 首批暂停量、监控频率、红灯条件和回滚方式。

使用问卷派时,应先通过预览按风险身份完成测试,并把合成答卷与正式回收隔离;确认回收终态与导出后再启用正式链接。平台提供编辑、回收与数据能力,发布责任仍在项目团队;任何自动检查都无法判断一道题是否真正对应业务决策。

发布前最后一个问题不应是“还有没有错别字”,而是:“如果明天只收到这一批数据,我们能否证明每个参与者看到了正确内容、进入了正确终态,并从原始答卷复算主要结论?”只有答案有证据地为是,问卷才准备好进入真实世界。

发布验收与可用性依据