有效分母的唯一口径与九个在流通口径的归位
这个项目有一条铁律:每个比率必须附有效分母,分母为 0 只能写「未经检验」。 但截至本轮,同一份品牌手册语料被九个数字同时当作分母使用,且它们的量纲并不相同——有的算文本层,有的算页面映射台账,有的算字节阈值。比率与分母错配,比没有分母更难发现,因为它看起来是严谨的。
规范口径
可检索件 = 1,043,快照身份:语料目录 1,269 份
.txt,取数时间 2026-10-16 14:32。 定义:去掉全部空白后仍有非零字符的文件数。1,269 − 226 = 1,043,与逐份判定的计数一致。
这个数字之所以是规范值,理由有两条:它是唯一被独立复现的口径;并且它的判定与 pdftotext 调用模式、字节/字符单位都无关——另几个口径恰恰栽在这两处(同一份语料在换过工具参数后从 1,159 变成 1,245)。
凡引用「N 份可检索/有效语料」,必须同时声明的四项限定
| 限定 | 数值 | 为什么必须写 |
|---|---|---|
| 快照身份 | 1,269 @ 2026-10-16 14:32 | 语料目录仍可能被并发写入;换快照数字就变 |
| 件级失明 | 226 份 / 17.8% | 剥空白后零字符的件,全库检索看不见它们 |
| 语种级失明 | 435 份 / 34.3%(⚠️ 待复现) | 英文手册,中文词表完全看不见 |
| 中文检索有效分母 | 608 | 1,269 × 47.9%;中文检索的真实分母是它,不是 1,043 |
⚠️ 1,043 是上界,不是紧界。 它只保证「词能检索到」,不保证「命中的是 VI 手册」——语料里混有生活方式文本等非手册材料。引用时应写「1,043 份可检索件中」,而不是「1,043 份品牌手册」。
⚠️ 「零字节」这个说法要改掉。 实测磁盘上真正的零字节文件只有 1 份;226 份是剥空白后零字符。两者差 226 倍。把 226 称作「零字节」是本项目自己造出的一次口径漂移,归档原稿里已有此写法(保留原文,不改),引用时按本页。
九个在流通口径的归位
| 口径 | 它实际是什么 | 处置 |
|---|---|---|
| 1,043 | 剥空白后非零字符,可复现 ✅ | 规范值 |
| 1,045 | 同规则、旧快照 1,271 时的结果 | 作废;⚠️ 已随它写进操作库的表述改正 |
| 1,018 | 一个数字套了两条不同规则(≥50字符/≥201字节),两条都算不出 | 作废,不得引用 |
| 1,031 | 有阈值无定义,无处可复现 | 作废 |
| 1,159 | plain pdftotext + 每页 ≥50 字符(按字体) | 工具相关,作废;换过 pdftotext 参数后同规则得 1,245,差 86 |
| 1,204 | 🔴 量纲错误:它是页码台账「偏移未测」的行数(1204/1561 = 77.1%),不是文本分母 | 🔴 立即停止使用——它曾被并进对抗轮的分母治理表,把一个页面覆盖率写成了文本分母 |
| 829 | 1,132 − 1 − 302 页面伪影 | 历史口径,保留原引用但须标注已弃用 |
| 840 | 1,271 − 326(<50字/页),⚠️ 算术差 105 无任何记录 | 作废并标注「中间扣减无来源」 |
| 1,045/608 | 608 = 中文检索可见件数 | 608 是配套限定,不是竞争口径 |
三条配套纪律
- 比率与分母必须同源。 用 1,204 算出来的「覆盖率」与用 1,043 算出来的不是同一件事,即便都写成百分比。
- 快照要钉。 任何计数先记录「取数时间 + 文件数」,否则下一轮无法判断数字是否变过。
- 「可检索」不等于「是手册」。 1,043 件里含非手册材料,报比率时写「1,043 份可检索件」。
尚未解决
- 🔴 同一份语料并存三个分母,这比口径漂移更根本。 本轮实测:主语料
GE-corpus1,269 份 ·TA-corpus/GAP-corpus1,271 份 · 全库实测唯一 MD5 1,270 个。gap5那一路的全部件级计数跑在 1,271 那份上,与其余各路不在同一分母上——它的比率与其他稿件的比率不可互比。 ⇒ 引用任何件级数必须写清用的是哪一份语料,只写数字等于没写。 ⇒ 长期解法是只保留一份快照,其余按 MD5 取用其中子集。本轮未执行,属遗留。 - 435 / 34.3% 未精确复现:最接近的口径得 431 / 34.0%,差 4 份。该数字支撑「中文检索有效分母约 608」这一结论,608 因此也应视为近似值。
- 840 中间的 105 份扣减没有任何记录,无法追溯它是漏检还是有意排除。
- 1,031 无阈值定义,可能是某次临时筛选的残留。
- 1,018 的三条候选阈值路径(1,024/1,011/1,019)全部算不出,其原始定义已不可考。
- 案例计数对大小写敏感,而表格未注明:
revision大小写不敏感下命中 21 件、敏感下 19 件,change log相应为 4 与 2。 复现者会得到不同数字。凡检索词含拉丁字母,必须注明是否区分大小写。
一次方法性的教训
这九个数字里有六个(829/840/915/1,018/1,031/1,159)的共同点是:它们是某一次检索在当时工具配置下的副产品,没有写下判据。 判据没写下,就无法复现,也无法判断换个人跑一遍会不会得到同一个数。
⇒ 分母必须连同判据一起记录,只记数字等于没记。 本页存在的意义,是把「可检索」这一个词的完整定义钉死,让它不再随工具参数漂移。
再加一条,来自本轮抽样复核
抽样回像素复核 18 条主张:确认 14 · 推翻 3 · 未能确认 1。六处逐字引文全部正确,而三条推翻里有两条错在页码与符号——一处把 heights exceeding 10 mm 抄成了 ≥10 mm,一处把印刷页 p26 记成偏移 +1 而页脚实印 Page 27。
⇒ 引文对不等于元数据对。 复核必须分两遍:先验逐字内容,再把页码、偏移、比较符号独立验一遍。只看内容通过就放行,是这三条漏网的直接原因。
⇒ 而且同一份稿件内部偏移会时对时错(中信 A18 的偏移正确、gamescom 的错误),说明偏移是逐条临时估的、没有统一实测。凡写偏移必须实测,不能推。