故事版广告的喜欢度达到75%，演示版只有57%，创意团队认为胜负已定。可当参与者在没有选项提示的情况下复述广告信息并写出品牌，故事版只有39%同时答对，演示版是52%。大家喜欢的是故事，却未必知道它在为谁、说什么。
广告创意测试首先要检验一项具体传播任务是否完成，例如“让第一次接触的人知道该品牌能把访谈原话归纳为可追溯主题”。注意、理解、品牌归因、可信、情绪和行动意向是不同环节，不应平均成一个综合创意分。最受喜欢的版本可以被选中，但前提是情感联结本来就是主要任务；若目标是建立新品用途，无法把利益与品牌连在一起的高喜欢并不构成胜出。
创意测试之前，先冻结“必须传达什么”
先写一张不超过一页的传播任务卡：
- 谁：尚未熟悉该功能、近期有相关任务的目标人群；
- 在何处：信息流短视频、前贴片、门店屏幕或落地页，不同环境不能混写；
- 要形成什么：正确品牌、一个核心利益和可信的行动理由；
- 绝不能形成什么：把辅助分析误解为自动替人决策，或记住情节却归给竞品；
- 下一步行为：了解功能、查看案例、试用，而不是笼统“促进转化”。
若 A 版说节省时间，B 版说更准确，同时还改变演员、音乐、品牌露出和价格，它们不是同一传播任务的表达比较。团队只能选择“整支广告哪个在本研究中表现更好”，无法把差异归因于某个元素。若产品价值主张本身尚未验证，应先做产品概念测试；创意研究不负责证明一个未经证实的承诺是真的。
六层证据不要压成一个“效果分”
| 层次 | 研究问题 | 典型证据 |
|---|---|---|
| 展示机会 | 素材是否正确加载、可视、可听 | 加载、播放、可见与音频状态 |
| 注意/继续接触 | 在真实干扰中是否停留或跳过 | 停留、跳过、播放进度，配合验证 |
| 无提示理解 | 参与者认为广告主要在说什么 | 原话复述及预设代码本 |
| 品牌归因 | 信息是否连到正确品牌 | 无提示品牌、混淆对象和信心 |
| 判断与感受 | 是否相关、可信、独特，产生何种情绪 | 分开的量表与原因 |
| 下一步 | 是否愿意搜索、了解或试用 | 声明意向及后续行为实验 |
IAB 与 MRC 2025 年注意测量框架区分了“有机会被看到”与注意，并明确注意是需要与创意、版位和结果共同验证的补充信号，不应单独作为广告效果结果。完播可能因为不能跳过，停留可能因为内容令人困惑；注意到了也不表示正确理解或愿意行动。
强制看完适合诊断，模拟信息流更接近自然竞争
把15秒视频全屏播放且禁止跳过，能保证参与者接触完整素材，适合找哪一句被误解；它却移除了广告在真实媒体中必须争取注意的难题。模拟信息流保留内容竞争和跳过，更接近自然接触，但对设备、加载、滚动和周边内容的控制更难。
研究不必在两者中永久二选一。早期可用控制曝光诊断信息，成熟版本再放回目标版位验证。任何结果都要注明展示尺寸、声音默认状态、可跳过时点、播放次数和周围内容，不能把实验室全屏结果当作信息流投放表现。
1000人2×2实验：喜欢度冠军为何没有胜出
以下是虚构案例，不代表问卷派产品、广告或行业基准。研究从近期有相关分析需求但不了解新功能的人群中招募1000人，随机进入演示版 A 或故事版 B，再随机进入强制完整观看或模拟信息流，共四组，每组250人。主要指标在上线前定义为“无提示核心信息正确且品牌归因正确”，并以所有被分配者为分母。
| 指标 | 演示版 A（N=500） | 故事版 B（N=500） |
|---|---|---|
| 无提示核心信息正确 | 315（63%） | 235（47%） |
| 无提示品牌归因正确 | 310（62%） | 345（69%） |
| 信息与品牌同时正确 | 260（52%） | 195（39%） |
| 喜欢高两档 | 285（57%） | 375（75%） |
| 愿意进一步了解高两档 | 220（44%） | 225（45%） |
故事版的品牌归因并不差，但很多人没有复述出核心利益；演示版的两个边际指标都不算极高，却有更多人把正确利益与正确品牌同时连起来。不能用“信息正确63%”和“品牌正确62%”就宣称62%上下完成传播，因为这可能是两批不同的人。联合指标必须逐人计算。
A 的联合有效接收比 B 高13个百分点。按两个独立随机组的大样本近似，差异95%区间约为6.9到19.1个百分点。进一步了解意向只差1个百分点，近似区间约-5.2到7.2，无法支持明确差异。若传播任务是建立新功能与品牌的连接，现有证据支持 A；如果任务是给成熟品牌增加情感好感，则需要以相关、情绪与长期品牌指标重新设计研究，不能事后改主要指标让 B 获胜。
同一创意在两种环境中掉了多少
| 联合有效接收 | 强制完整观看 | 模拟信息流 | 环境点差 |
|---|---|---|---|
| 演示版 A | 160/250（64%） | 100/250（40%） | -24个百分点 |
| 故事版 B | 125/250（50%） | 70/250（28%） | -22个百分点 |
两支创意回到信息流后都明显下降，说明强制观看会抬高信息接收。这里仍按随机分配的250人计算，即使有人立即划走也留在分母；若只分析看完者，会选择出本来就更感兴趣或更能观看的人，破坏版本可比性。加载失败可以单独报告并做敏感性分析，但不应悄悄把所有不理想曝光删掉。
环境没有改变版本排序，并不保证未来任何平台都一样。短视频、静音信息流、户外屏和落地页的尺寸、时长、声音及用户任务不同，应在目标媒介中验证，而不是把“视频素材”当作统一环境。
问题顺序决定你测到自然记忆还是刚被提示的答案
素材结束后，先记录技术与行为状态，再依次问：
- “请用自己的话说明这段内容主要想告诉你什么”，不展示利益选项；
- “你认为这是哪个品牌的内容”，先无提示，再按需要有提示核验；
- 对相关、可信和独特分别评价，并追问关键理由；
- 记录具体情绪与不适，避免只问喜欢/不喜欢；
- 最后才问进一步了解、搜索或试用意向。
Pew 的问卷设计证据指出，开放与封闭问法、选项内容和顺序都会改变回答，前题还会给后题提供语境。若先让人从“自动归纳、节省时间、准确洞察”中选择亮点，再问主信息，所谓无提示理解已经被问卷教出来。品牌名单、卖点和情绪词的随机化只能分散位置偏差，不能恢复被污染的自然回忆。
开放回答编码要允许“品牌对、信息错”
在正式看数据前建立核心信息代码本：完全正确、方向正确但过度承诺、只复述剧情、错误理解、无法判断；品牌另行编码为正确、竞品、品类词和未知。允许一条回答多主题，但“联合有效接收”只在两个必要条件都满足时为1。高风险误解由两名编码者复核，保留原文和分歧理由。
例如“AI 会自动替我决定市场策略”包含了分析相关词，却超出“辅助归纳可追溯主题”的承诺，不能为了提高正确率判为部分成功。研究是检查传播风险，不是给广告文案找宽松阅卷标准。
预投放测试不能回答真实增量和回报
实验室或面板测试控制了素材比较，却没有真实竞价、频次、版位、人群触达和购买后果。45%的进一步了解意向不能直接换算点击率或销售额。上线后应根据假设观察合格曝光、品牌搜索、落地页任务和真实转化，并尽可能保留随机未曝光对照。
Google Research 的在线广告 Brand Lift 方法以随机实验估计广告影响，同时处理调查邀请与响应、预期和实际暴露不一致，以及只比较行动者带来的偏差。Google Ads 的 Brand Lift 也将广告回忆、品牌关联、认知和考虑视为不同结果。事后比较“看过广告的人”和“没看过的人”通常不是因果证据，因为两组在平台活跃、兴趣和可触达性上已经不同。
研究报告必须让别人能重建测试条件
AAPOR 的披露标准要求公开测量材料、前置语境、研究总体、样本生成与招募、收集模式、日期、各组基数、权重、数据处理和限制。创意测试还应附素材版本或哈希、展示环境、随机单元、加载/观看规则、主要指标和开放编码规则。只给两张创意缩略图和一列百分比，无法独立核验。
问卷派可以承接目标人群筛选、图文/视频版本随机、无提示开放回答与分组分析，也可辅助归纳大量复述；研究团队仍要审查素材权利、人物肖像、敏感或误导内容，复核 AI 编码，并把预投放结果连接到真实增量验证。
这项案例可下的结论是：“在本次人群与展示条件下，演示版更能让同一参与者正确连接核心信息和品牌；故事版更受喜欢，但未提高进一步了解意向。推荐演示版进入目标媒介的小规模增量验证，并继续优化情感表达。”它不支持“演示版一定卖得更多”，也不支持“故事版无效”。好的创意研究不是替审美投票，而是把传播任务、证据和下一次验证锁在一起。