有条件的结论是:截图能证明某次操作在该样本上出现过变化,但不能证明这种变化可以复制到其他页面或更长周期。识别选择性展示的关键,不是怀疑所有截图,而是检查样本选择规则、时间窗口和分母是否被交代。只要其中一项缺失,截图就只能当作线索,不能当作可照搬的依据。
一张“排名点击提升”的效果图,可能回答三种完全不同的问题:某个词在某个时间点上升了、某组页面在短期内点击变多了、或者整体账户在统计周期内表现更好。三者需要的证据不同。若截图只给出一条曲线,却不说明它对应的是单词、单页还是整站,读者就无法判断这个结果是否与自己的场景同构。
可区分的原因至少有三类:一是样本本身特殊,比如该页面原本就有品牌词需求或站内入口;二是时间窗口恰好避开了波动期;三是截图只保留了表现最好的那一部分。前两类属于条件差异,第三类才是选择性展示。识别时先问“这张图里有多少个被处理对象”,再问“其中多少个没有出现在图里”。
选择性展示很少表现为直接撒谎,更多表现为口径收缩。常见痕迹包括:
这些痕迹单独出现不一定有问题,但同时出现两项以上,就应把该材料降级为“待验证线索”。
假设有人对十个页面做了同类调整,截图只展示其中三个页面的排名点击变化,并称“效果明显”。此时不能直接推断另外七个也变好,也不能直接推断方法无效。正确的下一步是索取完整样本清单:十个页面的初始状态、调整时间、观察周期和各自结果。若对方只能提供三个页面的数据,那么可用的结论仅限于“这三个页面在该周期内出现过变化”,不能扩展到“该方法可规模化”。
这个例子的边界在于:它假设十个页面属于同一站点、同一类词、同一时间段。若页面分属不同主题或不同语言,即使补齐十个样本,也不能直接合并比较,需要先按主题或词类分组。
截图并非没有价值。若它同时满足以下条件,可以作为小范围参考:说明了样本总数和入选标准;给出了观察周期的起止;保留了至少一个未处理或未变化的对照对象;并且允许查看原始数据而非只给成品图。满足这些条件时,截图的作用是提示“这里可能有一个可验证的现象”,而不是证明“照做就能得到同样结果”。
反过来说,只要缺少样本总数或对照对象,截图就不能用于推导规模化结论。这是本篇要划出的硬边界:个别样本成立,不等于方法在更大范围内成立。
实际动作是向提供方索取一张对照清单,字段包括:页面或词、是否被处理、观察起止日期、初始值、结束值、是否被纳入截图。拿到清单后,先数被处理对象的总数和其中被展示的数量,再检查未展示对象的去向。若未展示对象数量明显多于展示对象,且没有合理解释,就应把该材料标记为选择性展示,后续决策不能以它为主要依据。
这个动作的结果会直接影响下一步:清单完整时,可以进入小范围复测;清单缺失时,应先补数据,而不是先扩大投入。