内容审核模块换用 12 类本地词库:误判率从 8.7% 降到 2.3%
3 月 11 日,内容审核模块完成词库换代,词条从 26,000 条扩到 38,000 条,分为 12 个类别,增加了方言、同音变体、行业黑话三类。上线首周处理新帖 4.6 万条。
误判率是这次的重点。旧词库对“港”“霸蛮”这类湘阴口语经常误伤,抽样 2,000 条人工复核,误判 174 条,占 8.7%;新词库把方言词单独建类,误判降到 46 条,占 2.3%。
机审耗时没有明显上升。单条平均 0.31 秒,比旧版多 0.04 秒,主要花在拼音与拆字还原上;队列峰值出现在晚 8 点到 10 点,每小时 3,800 条,积压不超过 6 分钟。
人工队列按风险分排序,高风险、被举报、含联系方式三类优先。审核员在后台能看到命中词编号与原文快照,处理一条平均 22 秒,比旧版少 8 秒。
词库每月增量约 300 条,由运营与技术各出 1 人评审。下一批计划补 600 条农机与病虫害术语,避免专业讨论被误拦。
检测集用了 12,000 条真实帖子,覆盖 12 类风险,误判率从 8.7% 降到 2.3%,漏判率从 4.1% 降到 1.6%。单条平均耗时 0.31 秒,峰值 1,200 条/分钟时队列积压不超过 40 秒。词库按行业分包,读书会只用 4 类,职校加 3 类校园用语,农机站加 2 类机型术语。3 月 11 日全量替换后,人工复核量从每天 310 条降到 84 条,按 1 人日 260 元算,每月省 2,100 元左右。
增量词条的评审固定在每月第一周,由运营与技术各出 1 人评审,一条词从提交到生效平均 2.6 天。3 月的评审会上,13 条农机术语因边界不清被退回,改成“机型 + 故障词”的组合规则后通过。误拦申诉入口放在提问成功页,7 天收到 46 条申诉,改判 11 条。词库支持导出 CSV,字段含词条、类别、处置方式与生效时间,方便客户自己做审计。
12 类风险里,广告与引流占拦截量 47%,人身攻击占 21%,涉政与涉黄合计不到 3%。这套比例每季度复核一次,最近一次在 3 月 10 日。
三个可核对的事实
- 词库 12 类 38,000 条,首周处理 4.6 万条
- 误判率 8.7% 降到 2.3%
- 机审 0.31 秒/条,队列积压不超 6 分钟