自我校正机制压测

往 204 条真实前置边里注入 51 条已知为假的边, 合成不同规模的学习者队列,看检出率与误报率随规模怎么变。 真相已知,所以能同时测出「抓得到吗」和「会不会冤枉好边」。

压测结论 加学习者没用

从 30 人加到 500 人,检出率始终在 4% 上下。瓶颈不是样本量 —— 是判定用的统计量本身分不开真假边。

检出率 vs 队列规模

0%25%50%75%100%3060120250500假边检出率(越高越好)真边误报率(越低越好)可判定边占比学习者数(对数轴)

逐档明细

学习者可判定假边检出检出率 假边被判 supported假边 c 行比例真边 c 行比例
3031%1 / 512%50.1770.011
6071%0 / 510%190.1050.016
12081%2 / 514%190.1470.013
25084%0 / 510%210.1300.015
50091%1 / 512%310.1000.010

诊断:为什么加人没用

这不是模拟的问题,是判据的问题。

我先怀疑过两个别的原因,都排除了:把学习者能力差异压到零,检出率不变; 把每节点作答次数从 3 次加到 15 次,检出率仍是 0。 真正的原因是判据落在数据到不了的区间。

修法