一个内容审核模型报告“准确率很高”，听起来已经足够可靠。但如果测试集中绝大多数都是容易判断的正常内容，总体准确率可能很好看，同时漏掉真正重要的高风险样本。 ### 先看测试集里有什么 假设一千条内容中，九百八十条都是普通内容，二十条属于严重风险。模型把所有内容都判断为普通，也能得到百分之九十八的表面准确率，但二十条风险一条都没有识别。 这个例子说明，指标必须结合类别分布理解。企业至少要分别查看每类内容的识别情况，而不是把所有样本合成一个数字。 ### 漏判和误判成本不同 把正常文章误判为风险，会增加人工复核和发布延迟；把严重风险误判为正常，可能造成用户伤害、监管问题或品牌损失。两者都需要控制，但不能只为了减少审核量而忽略漏判。 不同类别也有不同成本。错过一个格式问题和错过一次隐私泄露，影响显然不同。评测报告应按类别、严重度和使用场景分别展示。 ### 不能只测模型熟悉的数据 测试集应包含不同长度、语言、表达方式和边界样本，还要加入容易混淆的正常反例。真实业务会出现错别字、谐音、图片文字、上下文引用和新型表达，只测标准句子无法代表上线表现。 训练或调试时使用过的样本，不应直接充当最终验收集。否则模型可能只是熟悉题目，而不是具备稳定能力。 ### 上线后仍需监测 离线测试通过，只说明模型在固定样本和版本下达到要求。上线后数据分布、用户表达和平台政策都会变化。团队需要持续查看人工改判、投诉、申诉和漏审事件，并用新样本做回归测试。 每次更换模型、提示词、阈值或规则，都要在同一套版本化测试集上重新评估。不能用旧模型的报告证明新配置可靠。 好的评测不是寻找一个最大的数字，而是回答：哪些风险能够识别，哪些仍会漏掉，失败时由谁接手，系统变化后怎样及时发现退化。只有这些问题清楚，准确率才具有决策价值。 本文在提纲整理和初稿撰写中使用了AI辅助，发布前已人工复核事实与表达。