就是我要基于这个测评体系

去构建测评集

这个测评集

就是为了去衡量模型的

这个具体的性能指标

第二步是题库

对题库

可以理解为就考试的这个题库

然后第三点就是我如何

就是

把模型在这个题库上的一个表现

去做

设计具体的衡量指标去评价

所以说第三点非常重要的

就是模型的具体的这个评价方法

对所以说测评基准它的最大的目的

第三个就是判分规则

判分规则

没错没错

判分规则

而且往往比较好的一个测评基准

它是需要有完全自动化的这个评测的

对

原因是

因为模型的在刚才说的各个环节中

它的迭代的次数是很多的

它会经常高频率去做训练

那在这个基础上

我是需要有同样的

一套保证一致性的一个测评的基准

去判断我不同模型的版本

迭代的这个

不同模型的一个效果的一个好坏

那如果人工去

就是刚才说判分

如果人工去判分的话

它这个波动性会很大

但是

比如说我们采用自动化的

这个测评的一个方式

它可以去完全

那个对比

客观高效

然后科学的去评判

我各个模型之间的这个

性能的一个差异