把自动评分保留为筛选器,而不是裁决者:先按“错误成本”给待判断项目分级,高成本项强制走人工复核并留下可核对证据,低成本项才允许自动评分直接放行。这样做的直接结果是,团队不会因为一个总分好看就跳过对搜索意图、商业价值和内容可执行性的判断。
自动评分适合处理错了能低成本纠正的项目,比如一批候选词里先筛掉明显不相关的。人工判断必须留给错了要返工的项目,比如决定一个词是否值得单独建页面、是否与现有页面互相竞争、是否指向与业务无关的搜索意图。
区分依据不是分数高低,而是纠正成本。可以问三个问题:这个词判断错了,是删掉一行就行,还是已经写进选题、分派给作者、排进发布计划?改动的下游环节越多,越应该人工判断。反过来,只在候选池里排序、还没进入任何交付流程的项目,自动评分可以先行。
一个常见的反常现象是:自动评分把某个词排得很高,人工看却发现它对应的搜索意图与站点能提供的内容不匹配。这时不要急着调低评分权重,先确认是评分口径的问题,还是这个词本身就不该进入候选池。两种原因对应完全不同的动作。
出现与直觉相反的结果时,最容易犯的错是直接相信直觉或直接相信分数。更稳的做法是各找一条可核对证据:
如果两边证据都弱,正确动作不是投票,而是补一次人工抽查:打开这个词的实际搜索结果,看排在前面的页面是什么类型、解决什么问题。这一步的结果决定下一步——若页面类型与站点能力一致,可以放回自动评分流程;若不一致,就标记为需要人工判断,不进入自动放行队列。
需要说明的是,某个词在工具里的请求量或抓取量归零,并不能单独证明它没有价值。归零还可能来自数据源更换、口径调整、统计周期变化或采集范围缩小。把这些解释逐一排除之前,不要把归零当成删除依据。
条件一:项目处于候选阶段,尚未进入任何交付流程。此时可以设一个自动评分阈值,高于阈值的进入人工复核,低于阈值的直接归档。人工复核只做一件事:确认这个词的搜索意图与站点能提供的内容是否一致。一致就放行,不一致就退回候选池并记录原因。
条件二:项目已经进入选题、写作或发布计划。此时自动评分只能作为参考,不能作为放行或否决的唯一依据。人工判断要回答的是:这个词对应的页面是否与现有页面重复、是否会分散同一主题的权重、是否值得占用一个独立URL。回答不了就先挂起,而不是先发布再观察。
两种条件的区别在于可逆性。候选阶段几乎完全可逆,所以可以更多依赖自动评分;交付阶段不可逆或返工成本高,所以必须保留人工裁决。把这条可逆性标准写进流程,比争论“自动评分准不准”更有用。
具体动作可以拆成三步,每一步的结果都影响下一步:
这样做的影响是,自动评分不再承担它不擅长的判断,人工判断也不再被大量低价值项目淹没。团队能说清楚每个放行决定是基于什么证据,而不是基于一个总分。
当项目满足以下全部条件时,可以暂时不设人工闸门:项目只用于内部排序、不产生对外内容、错了直接删除且不影响任何下游环节、数据来源和口径在本次使用中保持一致。只要其中一条不满足,就应保留人工判断。
反过来,当自动评分与人工判断反复冲突,且冲突集中在同一类项目上,说明评分口径或候选池定义需要调整,而不是继续加人工。此时的动作是回到口径定义,而不是增加复核人力。具体工具的功能、数据规模和可用入口需要以实际核对为准,不同工具之间不宜直接套用同一套阈值。
把自动评分当筛子、把人工判断当闸门,是防止前者替代后者的可行做法;真正需要警惕的,是在交付阶段用一个总分替掉本该由人回答的取舍。