自定义RAG评估数据流

 这是前置工作

向量数据构建完成 

开始进行处理

因为我们要对上面构建的数据集添加一些内容，比如检索出来的数据，评分指标等，所以我们把他封装在一个自定义item类中进行操作，然后把item放进自己构建的dataset类中

ef get_dataset(config): """从配置加载数据集。""" # 从配置中获取数据集的路径，这个是我们数据集的路径 dataset_path = config['dataset_path'] # 获取要加载的数据集的分割名称，如'train'、'test'等 all_split = config['split'] # 创建一个字典，用于存储每个分割的数据集对象 split_dict = {split: None for split in all_split} # 遍历每个分割 for split in all_split: # 构建该分割对应的文件路径，这个步骤就是组成完整的文件路径 split_path = os.path.join(dataset_path, f'{split}.jsonl') # 检查文件是否存在 if not os.path.exists(split_path): print(f"{split} file not exists!") # 如果文件不存在，打印提示信息 continue # 如果分割是'test', 'val', 'dev'之一，初始化Dataset类的实例 if split in ['test', 'val', 'dev']: split_dict[split] = Dataset(config, split_path, sample_num=config['test_sample_num'], random_sample=config['random_sample']) else: # 对于其它分割，直接初始化Dataset类的实例 split_dict[split] = Dataset(config, split_path) # 返回包含所有分割数据集的字典 return split_dict

 加载数据

如果没有传递data,那么根据路径进行加载，一行一样的进行读取 ，最后data列表中是一个个的item对象

 此时我们已经拿到所有的数据

all_split是个字典，通过key可以拿到dataset对象，并且在方法上加了@property注解，可以通过书想的方式调用方法 

 然后构建提示模版，根据传递的模型类型判断是生成chat类还是instruct类的提示模版

 然后运行pipeline

 pipeline里面获取检索器，生成器

 获取生成器实例

 

获取检索器

检索器分为两种，这里我们使用的是密集的

 encoder 是用来将query转换为向量的

 

 然后执行run方法

预测完之后，把预测完之后的值放入dataset中 

评估

评估就是拿到预测的值和金标准进行比较

评估的基类

这是子类方法写的一个评估的实例，首先肯定是拿到 生成的答案和金标准答案，然后通过自己写的计算方式进行评估

 f1计算得分的细节，把单词切分为token然后计算交集，或者进行正则

 最终生成的数据

 

re-ranking