提到内容审核，很多人首先想到敏感词库。词库确实有用，但它只能解决一部分明确问题。真实内容里的风险常常取决于上下文、对象、语气和发布场景，单靠“出现某个词就拦截”既会漏掉风险，也会误伤正常表达。 ### 规则适合处理确定问题 规则适合检查格式和边界清楚的条件，例如是否出现明文联系方式、是否缺少必要声明、文件类型是否允许、字段是否为空。它速度快、结果稳定，也容易解释。 但同一个词在新闻引用、科普解释和恶意攻击中含义不同。规则一旦承担语境判断，就会不断增加例外，最后变得难以维护。 ### 模型适合识别复杂语义 分类模型或大模型可以结合上下文，判断内容是否可能包含欺骗、攻击、危险建议或不当营销。它能发现没有固定关键词的表达，也能给人工复核提供理由和重点段落。 模型的输出不是最终事实。不同类别、语言和写作方式下，误报与漏报可能不同；版本更新后结果也可能变化。因此必须用真实样本分别评估，而不能只看一个总体准确率。 ### 人工负责边界和责任 人工适合处理高风险、不确定和需要背景知识的内容。审核者要看到原文、来源、发布对象和模型理由，并能够选择通过、修改、拒绝或升级。 如果系统只给“通过/不通过”两个按钮，复杂问题会被迫压缩成简单结论。更好的设计是记录风险类别、证据、处置和复核意见，让后续申诉能够回到具体判断。 ### 三层怎样配合 第一层用规则处理确定性问题；第二层由模型筛出复杂风险并给出优先级；第三层把高风险和不确定内容交给人工。发布后的投诉、撤销和申诉结果，再回流到规则与测试集。 这个流程不是为了让模型替代审核团队，而是把人工精力放在真正需要判断的内容上。规则负责稳定，模型负责扩大识别范围，人负责理解边界并承担决定。 企业建设审核能力时，应先写清自己的内容政策，再选择工具。没有明确政策，模型就算能输出一个分数，团队也不知道应该采取什么动作。 本文在提纲整理和初稿撰写中使用了AI辅助，发布前已人工复核事实与表达。