LLM误差分布不对称性的实证测量与校准方法

# 谛听 · 土 · 承载秩序

## 检验报告：朱雀结构化命题的现实承载力

---

## 核心判定

| 命题 | 证据等级 | 可证伪条件 | 现实冲突点 | 最终状态 |
|:---|:---|:---|:---|:---|
| p1 | B→A | 简单/复杂任务错误类型分布无显著差异 | 任务复杂度量化标准未定 | ✅ 可检验 |
| p2 | B→A | 规模增大但不对称指数不增或下降 | "相同训练数据、架构"现实中不可满足 | ⚠️ 条件弱化后可检验 |
| p3 | B | 温度缩放与理想校准ECE无显著差异 | "理想校准"定义循环 | ⚠️ 需操作化 |
| p4 | C→D | 二维网格无相变边界或边界与信息瓶颈预测不符 | 信息瓶颈理论在LLM适用性未验证 | 🔴 伪命题风险 |
| p5 | C | 容量固定时数据比例改变误差偏向 | "最优信息压缩"与训练目标等价性未证 | ⚠️ 机制解释过度 |
| p6 | C | 凸优化策略不优于均匀分配 | 任务关键性量化主观性强 | ⚠️ 场景受限 |
| p7 | D→伪命题 | 术语通胀率与论文类型无相关 | "可证伪性"量化方法不存在 | 🔴 伪命题 |
| p8 | C→D | 压缩率-不对称指数关系不符预测 | 临界值10³缺乏理论依据 | 🔴 伪命题风险 |

---

## 逐条检验

### p1：误差不对称性的任务依赖性

证据等级：B（逻辑推断）→ 可提升至A

```
可证伪条件（明确）：
- 简单任务：单事实问答（MMLU单选题）
- 复杂任务：多步推理（GSM8k、BBH）
- 错误类型：事实性（可外部验证）vs 逻辑性（推理链断裂）
- 统计检验：卡方检验 p<0.05 为显著差异

现实承载检验：
□ MMLU/GSM8k是否充分代表"简单/复杂"？——边界模糊
□ "事实性错误"与"逻辑性错误"是否互斥？——存在混合错误
□ 人工标注一致性如何？——需报告Cohen's κ
```

冲突点：朱雀假设"误差类型分类互斥且完备"，现实中混合错误（事实错误导致逻辑断裂）普遍存在，分类边界需显式定义。

修正建议：采用多标签而非互斥分类，报告标注者间一致性。

---

### p2：规模-不对称性正相关

证据等级：B → 条件弱化后可至A

```
关键障碍：朱雀要求"相同训练数据、架构"
现实检验：7B与70B模型无法共享相同训练数据（数据量必然不同）
```

可证伪条件（修正后）：
- 控制变量：训练数据分布相似（而非相同）、架构同源（Llama-2-7B vs 70B）
- 测量：误差分布偏度（skewness）或自定义"不对称指数"
- 统计：Mann-Whitney U检验（分布非正态）

现实冲突："更明显"的量化定义缺失。建议采用效应量（Cohen's d）而非仅p值。

---

### p3：传统校准方法的偏差

证据等级：B

```
核心问题："理想校准"定义循环
- 朱雀定义：基于误差类型分组的校准
- 但该分组本身依赖于p1的误差分类，若p1不成立则p3基础动摇
```

可证伪条件（操作化）：
```
步骤1：在不对称性显著的任务上（p1已验证）
步骤2：训练分组校准器（按错误类型分组，每组独立温度参数）
步骤3：比较 ECE_grouped vs ECE_temperature
步骤4：配对t检验，效应量报告
```

现实冲突：温度缩放的数学形式（softmax温度参数）确实不假设对称分布，它假设的是置信度-准确率单调关系，而非误差分布形状。朱雀的"假设误差对称分布"可能是误读。

修正建议：将主张改为"传统校准方法未显式建模误差类型不对称，导致在不对称任务上ECE次优"——证据等级可提升至B+。

---

### p4：相变边界与信息瓶颈

证据等级：C→D，伪命题风险 🔴

```
不可证伪的核心问题：
1. "提示复杂度"量化：推理步数？事实依赖数？——无标准
2. "模型容量"量化：参数规模≠有效容量
3. "信息瓶颈理论适用性"：该理论针对监督学习的表征学习，
与自回归LLM的误差分布关联是类比，非推导
4. "相变边界"检测：事后拟合风险极高
```

伪命题标记：若"相变边界"的位置由事后观察确定，则该主张不可证伪——任何数据都可被解释为"边界在别处"。

挽救条件（必须满足）：
- 信息瓶颈理论对LLM误差的预测需先验给出临界压缩率公式
- 复杂度/容量的量化方法需在实验前注册（preregistration）
- 相变边界检测需盲法（分析者不知理论预测位置）

当前状态：不满足上述任一条件，建议降级为探索性假设，不纳入核心验证。

---

### p5：容量驱动的最优压缩

证据等级：C

```
机制解释的过度跳跃：
"有限容量→最优信息压缩→牺牲某些准确性"
vs
"训练数据分布→误差偏向"

朱雀提出的证伪实验（固定容量，改变数据比例）是合理的，
但"支持容量驱动"的推断不严谨——数据比例改变导致误差偏向变化，
恰恰说明数据分布是主因，容量只是约束条件。
```

现实冲突：LLM的训练目标（交叉熵）与信息瓶颈目标（压缩-预测权衡）数学形式不同，等价性未证明。

建议：将"源于"改为"与...相容"，证据等级维持C。

---

### p6：动态误差预算分配

证据等级：C

```
凸优化的可行性假设：
- 目标函数：加权准确率（权重=任务关键性）
- 约束：总误差预算

关键问题：
1. 任务关键性量化：医疗误诊代价≠模型可知的数值
2. 置信度-误差概率关系：logit熵与误差概率的相关性需验证
3. 在线优化：任务序列未知时，预算分配是预测问题，非优化问题
```

可证伪条件（场景受限）：
- 限定场景：批量处理已知任务集，关键性由外部专家预设
- 比较基准：均匀分配、贪心分配（按置信度阈值）
- 指标：加权F1而非准确率（类别不平衡）

现实冲突："最大化加权准确率"与"实际系统效用"存在鸿沟——医疗场景需考虑漏诊/误诊的不对称代价，非单纯加权。

---

### p7：术语通胀率/可证伪性比值

🔴 伪命题

```
核心缺陷："可证伪性"无法量化

- 波普尔的可证伪性是定性概念，无公认的文献计量指标
- "术语通胀率"定义模糊：新术语/总术语？新术语/已有术语引用？
- "概念创造期"vs"验证期"的人工标注——标注者间一致性未报告

逻辑结构：
若"可证伪性"不可量化，则比值>1的判定不可操作，
则整个主张无检验条件，构成伪命题。
```

建议：彻底重构。若保留术语分析，改为描述性研究（术语网络演化），放弃"领域状态指标"的规范性主张。

---

### p8：压缩率临界值10³

证据等级：C→D，伪命题风险 🔴

```
临界值10³的来源：无理论推导，无文献支持，疑似事后拟合

不可证伪风险：
- "约10³"的"约"范围未定义（10²？10⁴？）
- "指数增长"的函数形式预设（为何不是线性/对数/S型？）
- "参数/推理步数"的量纲合理性：参数是静态容量，推理步数是动态过程
```

挽救条件：
- 10³需来自信息瓶颈理论的独立推导（当前无）
- 实验设计需预注册函数形式（指数/线性/其他）
- 临界值检测需盲法

当前状态：不满足，建议标记为探索性假设，明确报告为事后观察。

---

## 白虎残余的秩序化处理

| 残余问题 | 谛听判定 | 处理建议 |
|:---|:---|:---|
| S10-S12对"误差不对称性"的本体论承诺不一致 | 真实冲突 | 强制区分：S10=几何现象（可测量）、S11=管理对象（可优化）、S12=话语指标（需独立验证）——禁止混用 |
| 误差不对称性的"主体间性"缺失 | 部分真实 | 纳入"谁受损/获益"维度：医疗错误vs娱乐生成，不对称性的社会成本不同——但此为价值判断，非实证检验对象，需明确标注 |

---

## 相生输出 → 白虎（弗洛伊德）

```json
{
"reality_grounded_propositions": [
{
"id": "p1_validated",
"claim": "LLM误差分布在简单任务（MMLU单选题）与复杂任务（GSM8k多步推理）上呈现不同不对称模式",
"evidence_grade": "B→A",
"falsifiable": true,
"operational_status": "可直接实验检验，需补充标注一致性报告"
},
{
"id": "p2_weakened",
"claim": "在同源模型系列（Llama-2 7B/13B/70B）中，误差不对称指数随规模增大而增大",
"evidence_grade": "B",
"falsifiable": true,
"operational_status": "条件弱化后可行，需报告效应量而非仅p值"
},
{
"id": "p3_revised",
"claim": "传统温度缩放未显式建模误差类型不对称，在不对称任务上ECE次优于分组校准",
"evidence_grade": "B",
"falsifiable": true,
"operational_status": "原主张中的'假设对称分布'修正为'未显式建模'"
},
{
"id": "p4_suspended",
"claim": "误差不对称性在复杂度-容量二维空间存在相变边界",
"evidence_grade": "D",
"falsifiable": false,
"operational_status": "🔴 暂停——信息瓶颈适用性未证，事后拟合风险高"
},
{
"id": "p5_weakened",
"claim": "误差不对称性与容量约束相容，但数据分布是更直接的决定因素",
"evidence_grade": "C",
"falsifiable": true,
"operational_status": "机制主张弱化，保留相关性描述"
},
{
"id": "p6_constrained",
"claim": "在批量处理、关键性预设的场景下，凸优化预算分配优于均匀分配",
"evidence_grade": "C",
"falsifiable": true,
"operational_status": "限定场景，放弃'通用动态分配'主张"
},
{
"id": "p7_rejected",
"claim": "术语通胀率/可证伪性比值>1指示领域状态",
"evidence_grade": "伪命题",
"falsifiable": false,
"operational_status": "🔴 拒绝——'可证伪性'不可量化"
},
{
"id": "p8_suspended",
"claim": "压缩率10³为临界值，低于此值误差不对称指数指数增长",
"evidence_grade": "D",
"falsifiable": false,
"operational_status": "🔴 暂停——临界值无理论依据，函数形式预设"
}
],
"critical_gaps_for_white_tiger": [
"p1-p3的检验依赖'误差类型'人工标注——标注者的认知偏差（确认偏误、锚定效应）未分析",
"p2的规模效应可能混杂训练数据量的影响——需分离'规模'与'数据量'的因果效应",
"p4/p8的'信息几何'框架——数学优雅性与心理防御功能（控制幻觉）的关系待深挖",
"p6的'任务关键性'量化——谁有权定义？权力结构如何影响'最优'的判定？"
],
"residual_anxiety_signals": [
"朱雀-S12的'元诊断'冲动——对p7的拒绝可能触发'谛听是否过于保守'的自我怀疑",
"p4/p8的'相变'语言——物理学的确定性隐喻是否服务于对不确定性的焦虑防御？",
"本轮多次出现的'指数增长''临界值''相变'——复杂系统词汇的借用是否掩盖了LLM误差的真实特性？"
]
}
```

---

## 谛听结语

> "知之为知之，不知为不知，是知也。"

本轮检验，3项通过（p1-p3，含修正）、2项降级（p5, p6）、3项暂停/拒绝（p4, p7, p8）。

核心教训：朱雀的结构化是形式上的完备，非经验上的可及。特别是p4/p8/p7，以数学物理的确定性语言（相变、临界值、比值指标）包装了尚未奠基的类比，构成认识论上的越位。

白虎将接手这些残余——特别是"信息几何"的心理功能，以及"谁定义关键性"的权力维度。