多视角证据融合框架的性能评估新范式

# 朱雀·火·第一性原理分析

## 一、事实层：可观测现象

当前可验证的数据状态：
1. 青龙输出了4个种子（s1-s4），其中s3（CAC度量协议）被识别为度量基础
2. 所有种子均依赖用户实验数据，但当前无任何实际数据采集记录
3. s3要求“至少3个不同复杂度任务”，s1要求“至少20个用户的长序列数据”
4. 相克约束明确要求：动态评估是“补充与增强”，非“完全替代”

关键事实：
- 当前阶段：协议设计完成，但零数据支撑
- 核心矛盾：高复杂度协议 vs 零数据基础
- 时间窗口：2026年5月，距典型学术会议截稿（如NeurIPS 12月）约6个月

## 二、结构层：形式因分析

现象背后的结构关系：

### 结构1：度量依赖链
```
s3(CAC协议) → s1(CNPD建模) → s4(拒识触发) → s2(反事实仲裁)
```
- s3是所有后续种子的度量基础，无s3则s1/s4/s2无法验证
- 但s3本身需要至少3个任务×2组用户×时间戳数据，这是当前瓶颈

### 结构2：复杂度-可行性权衡
```
协议复杂度 ↑ → 数据需求 ↑ → 实验成本 ↑ → 可验证性 ↓
```
- s3的“多维流形度量”包含：时间衰减率、认知负荷熵、情感摩擦系数
- 每个维度需要不同传感器/量表：时间戳（易得）、NASA-TLX（需问卷）、眼动/脑电（需设备）、皮电（需设备）
- 设备依赖导致实验门槛高，可能阻碍早期验证

### 结构3：静态-动态互补结构
```
传统静态评估（基准） + 动态评估（增量） = 完整评估框架
```
- 相克约束要求：动态不是替代，而是在静态基础上增加时间维度
- 这意味着：静态指标（如F1、准确率）仍是核心，动态指标（CAC、CNPD）是附加维度

## 三、动力层：推动变化的力量

### 动力1：学术发表压力（外部驱动力）
- 6个月窗口：需要完成实验设计→数据采集→分析→论文撰写
- 当前零数据状态：必须优先选择“快速可验证”的路径

### 动力2：认知负荷测量的技术可行性（内部约束力）
- 眼动/脑电/皮电：高成本、高噪声、需要专业设备
- NASA-TLX：低成本、已验证、可在线实施
- 动力方向：优先使用NASA-TLX+时间戳，降低设备依赖

### 动力3：相克约束的修正力
- 朱雀的“颠覆”叙事被收敛为“补充与增强”
- 这意味着：动态指标必须与静态指标对比，证明其增量价值，而非替代价值

### 动力4：用户分层的差异化需求
- 专家用户 vs 通用用户：认知负荷模式不同
- 专家用户：时间衰减率低（已熟练），认知负荷熵低（自动化）
- 通用用户：时间衰减率高（学习曲线陡），认知负荷熵高（需注意力）
- 动力方向：分层设计可同时验证CAC的区分效度

## 四、目的层：最终指向的目标

### 目的1：可验证的学术贡献
- 不是“提出新概念”，而是证明新概念可测量、有增量价值
- 核心问题：CAC能否比单纯精度指标提供更多信息？

### 目的2：工程可行性
- 协议必须可复现、低成本、易实施
- 理想状态：仅需时间戳+NASA-TLX+任务精度，即可计算CAC

### 目的3：与静态评估的互补关系
- 动态指标回答：“用户需要多少认知成本才能达到这个精度？”
- 静态指标回答：“系统达到了什么精度？”
- 两者结合：“在可接受的认知成本下，系统能达到什么精度？”

## 五、因果链：事实→结构→动力→目的

```
[事实] 零数据状态，6个月窗口
↓
[结构] 度量依赖链：s3→s1→s4→s2
↓
[动力] 学术发表压力 + 技术可行性约束 + 相克修正力
↓
[目的] 可验证的增量贡献 + 工程可行性 + 静态-动态互补
```

## 六、具体行动建议（基于四因分析）

### 1. 质料因（数据）：立即启动最小可行实验
- 任务选择：3个任务（简单分类、多步推理、开放生成），使用公开数据集（如MMLU、GSM8K）
- 用户招募：20人（10专家+10通用），通过在线平台（如Prolific）
- 测量工具：时间戳（自动记录）+ NASA-TLX（每次任务后）+ 情绪自评（简化版，如SAM量表）
- 设备要求：仅需浏览器，无需眼动/脑电/皮电

### 2. 形式因（结构）：简化CAC协议
- 时间衰减率：任务完成时间序列的指数衰减系数（仅需时间戳）
- 认知负荷熵：NASA-TLX得分的熵值（仅需问卷）
- 情感摩擦系数：情绪自评的波动幅度（仅需问卷）
- 删除：眼动/脑电/皮电（降低门槛，保留核心）

### 3. 动力因（机制）：并行推进s3与s1
- 第1-2周：完成实验设计、任务选择、问卷设计、用户招募
- 第3-4周：数据采集（20人×3任务×5次交互=300条记录）
- 第5-6周：计算CAC（s3）、拟合CNPD（s1）、绘制帕累托前沿
- 第7-8周：撰写论文，聚焦“CAC作为精度指标的补充维度”

### 4. 目的因（目标）：产出可验证的增量贡献
- 核心论点：CAC揭示了精度指标无法捕捉的认知成本维度
- 证据：帕累托前沿显示，高精度往往伴随高CAC，存在权衡
- 贡献：为多视角融合系统提供“认知-精度”双维度评估框架

## 七、风险与应对

| 风险 | 应对 |
|------|------|
| 用户数据噪声大 | 使用中位数而非均值，增加重复测量 |
| CAC与精度无显著关系 | 报告负结果，讨论“认知成本可能独立于精度” |
| 专家/通用用户无差异 | 调整分层标准（如按任务经验而非领域经验） |
| 6个月时间不足 | 优先完成s3，s1作为延伸工作 |

## 八、结论：第一性原理的答案

核心问题：如何将混沌的“认知评估”抽象为可验证的结构？

答案：
1. 质料因：时间戳+NASA-TLX+任务精度（最低成本数据）
2. 形式因：CAC三维向量（时间衰减率、认知负荷熵、情感摩擦系数）
3. 动力因：学术发表压力+技术可行性约束+相克修正力
4. 目的因：为静态精度指标增加认知成本维度，实现“补充与增强”

最终输出：
- 一个可复现、低成本、仅需浏览器的CAC计算协议
- 一个与静态精度互补的动态评估框架
- 一个6个月内可完成的实验验证路径

朱雀的偏见声明： 我倾向于相信CAC一定能揭示新信息，但必须承认——如果实验结果显示CAC与精度高度相关（即无增量信息），则需接受“认知成本可被精度代理”的结论。第一性原理要求：结构必须接受事实的检验。