YOLOv11-ultralytics-8.3.67部分代码阅读笔记-VOC.yaml

VOC.yaml

ultralytics\cfg\datasets\VOC.yaml

目录

VOC.yaml

1.YAML文件内容

2.所需的库和模块 

3.def convert_label(path, lb_path, year, image_id): 

4.Download 

5.Convert 

---

1.YAML文件内容 # Ultralytics 🚀 AGPL-3.0 License - ultralytics /license # PASCAL VOC dataset http://host.robots.ox.ac.uk/pascal/VOC by University of Oxford # Documentation: # Documentation: docs.ultralytics /datasets/detect/voc/ # Example usage: yolo train data=VOC.yaml # parent # ├── ultralytics # └── datasets # └── VOC ← downloads here (2.8 GB) # 示例用法： yolo train data=VOC.yaml # Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..] 训练/验证/测试集为 1）目录：path/to/imgs，2）文件：path/to/imgs.txt，或 3）列表：[path/to/imgs1, path/to/imgs2, ..] path: ../datasets/VOC train: # train images (relative to 'path') 16551 images 训练图像（相对于“path”） 16551 幅图像。 - images/train2012 - images/train2007 - images/val2012 - images/val2007 val: # val images (relative to 'path') 4952 images val 图像（相对于“path”） 4952 幅图像。 - images/test2007 test: # test images (optional) 测试图像（可选）。 - images/test2007 # Classes names: 0: aeroplane 1: bicycle 2: bird 3: boat 4: bottle 5: bus 6: car 7: cat 8: chair 9: cow 10: diningtable 11: dog 12: horse 13: motorbike 14: person 15: pottedplant 16: sheep 17: sofa 18: train 19: tvmonitor # Download script/URL (optional) 下载脚本/URL（可选） --------------------------------------------------------------------------------------- download: | import xml.etree.ElementTree as ET from tqdm import tqdm from ultralytics.utils.downloads import download from pathlib import Path def convert_label(path, lb_path, year, image_id): def convert_box(size, box): dw, dh = 1. / size[0], 1. / size[1] x, y, w, h = (box[0] + box[1]) / 2.0 - 1, (box[2] + box[3]) / 2.0 - 1, box[1] - box[0], box[3] - box[2] return x * dw, y * dh, w * dw, h * dh in_file = open(path / f'VOC{year}/Annotations/{image_id}.xml') out_file = open(lb_path, 'w') tree = ET.parse(in_file) root = tree.getroot() size = root.find('size') w = int(size.find('width').text) h = int(size.find('height').text) names = list(yaml['names'].values()) # names list for obj in root.iter('object'): cls = obj.find('name').text if cls in names and int(obj.find('difficult').text) != 1: xmlbox = obj.find('bndbox') bb = convert_box((w, h), [float(xmlbox.find(x).text) for x in ('xmin', 'xmax', 'ymin', 'ymax')]) cls_id = names.index(cls) # class id out_file.write(" ".join(str(a) for a in (cls_id, *bb)) + '\n') # Download dir = Path(yaml['path']) # dataset root dir url = ' github /ultralytics/assets/releases/download/v0.0.0/' urls = [f'{url}VOCtrainval_06-Nov-2007.zip', # 446MB, 5012 images f'{url}VOCtest_06-Nov-2007.zip', # 438MB, 4953 images f'{url}VOCtrainval_11-May-2012.zip'] # 1.95GB, 17126 images download(urls, dir=dir / 'images', curl=True, threads=3, exist_ok=True) # download and unzip over existing paths (required) # Convert path = dir / 'images/VOCdevkit' for year, image_set in ('2012', 'train'), ('2012', 'val'), ('2007', 'train'), ('2007', 'val'), ('2007', 'test'): imgs_path = dir / 'images' / f'{image_set}{year}' lbs_path = dir / 'labels' / f'{image_set}{year}' imgs_path.mkdir(exist_ok=True, parents=True) lbs_path.mkdir(exist_ok=True, parents=True) with open(path / f'VOC{year}/ImageSets/Main/{image_set}.txt') as f: image_ids = f.read().strip().split() for id in tqdm(image_ids, desc=f'{image_set}{year}'): f = path / f'VOC{year}/JPEGImages/{id}.jpg' # old img path lb_path = (lbs_path / f.name).with_suffix('.txt') # new label path f.rename(imgs_path / f.name) # move image convert_label(path, lb_path, year, id) # convert labels to YOLO format 2.所需的库和模块  # Example usage: yolo train data=VOC.yaml import xml.etree.ElementTree as ET from tqdm import tqdm from ultralytics.utils.downloads import download from pathlib import Path 3.def convert_label(path, lb_path, year, image_id):  # 这段代码定义了一个名为 convert_label 的函数，用于将 VOC 数据集中的标注文件从 XML 格式转换为 YOLO 格式的标注文件。 # 定义了一个函数 convert_label ，它接受四个参数。 # path ：数据集的根目录路径。 # lb_path ：转换后的标注文件保存路径。 # year ：VOC 数据集的年份（如 2007 或 2012）。 # image_id ：图像的 ID，用于定位对应的 XML 标注文件。 def convert_label(path, lb_path, year, image_id): # 在函数内部定义了一个嵌套函数 convert_box ，用于将 VOC 标注格式的边界框（ xmin , xmax , ymin , ymax ）转换为 YOLO 格式（ x_center , y_center , width , height ）。 def convert_box(size, box): # 计算 宽度和高度的 归一化因子 dw 和 dh ，分别为图像宽度和高度的倒数。 dw, dh = 1. / size[0], 1. / size[1] # 将 VOC 标注格式的边界框转换为 YOLO 格式。 # x 和 y 分别是边界框中心点的坐标，计算公式为 (xmin + xmax) / 2 和 (ymin + ymax) / 2 ，减去 1 是为了将坐标从 1 开始的索引转换为从 0 开始的索引。 # w 和 h 分别是边界框的宽度和高度，计算公式为 xmax - xmin 和 ymax - ymin 。 x, y, w, h = (box[0] + box[1]) / 2.0 - 1, (box[2] + box[3]) / 2.0 - 1, box[1] - box[0], box[3] - box[2] # 返回 归一化后的边界框坐标 ，通过乘以 dw 和 dh ，将坐标值归一化到 [0, 1] 范围内。 return x * dw, y * dh, w * dw, h * dh # 打开 VOC 数据集的 XML 标注文件，文件路径通过组合 path 、 year 和 image_id 构造。 in_file = open(path / f'VOC{year}/Annotations/{image_id}.xml') # 打开 目标标注文件路径 lb_path ，以写入模式打开，用于保存转换后的 YOLO 格式标注。 out_file = open(lb_path, 'w') # ET.parse(source, parser=None) # ET.parse() 是 Python 中 xml.etree.ElementTree 模块提供的一个函数，用于解析 XML 文件并将其加载到内存中，以便进行进一步的处理。 ElementTree 是 Python 标准库中用于解析和操作 XML 数据的模块。 # 参数 ： # source ：类型 ：可以是文件名（字符串）、文件对象或类似文件的对象。 说明 ：指定要解析的 XML 文件的路径或文件对象。 # parser （可选） ： 类型 ： xml.etree.ElementTree.XMLParser 的实例。 说明 ：用于解析 XML 的解析器对象。如果不提供，默认使用 XMLParser 。 # 返回值 ： # 返回一个 xml.etree.ElementTree.ElementTree 对象，表示解析后的 XML 文档的树形结构。 # 详细说明 ： # 解析 XML 文件 ： # ET.parse(source) 会读取指定的 XML 文件，并将其解析为一个树形结构。 # 返回的 ElementTree 对象可以用来访问和操作 XML 文档。 # 获取根节点 ： # 使用 tree.getroot() 方法可以获取 XML 文档的根节点（ <root> ）。 # 遍历 XML 文档 ： # 使用 findall() 方法可以查找所有匹配的子节点。 # 使用 find() 方法可以查找第一个匹配的子节点。 # 使用 .text 属性可以获取节点的文本内容。 # 使用自定义解析器 ： # 如果需要自定义解析行为，可以传递一个 XMLParser 实例作为 parser 参数。例如 ： # parser = ET.XMLParser(encoding='utf-8') # tree = ET.parse('example.xml', parser=parser) # 总结 ： ET.parse() 是一个用于解析 XML 文件的函数，它将 XML 文件加载为一个树形结构，返回一个 ElementTree 对象。通过这个对象，可以方便地访问和操作 XML 文档的各个节点。 # 使用 xml.etree.ElementTree 模块解析 XML 文件，将其加载到内存中。 tree = ET.parse(in_file) # 获取 XML 文件的根节点，用于 后续遍历 。 root = tree.getroot() # 找到 XML 文件中 <size> 标签，该标签 包含图像的宽度和高度信息 。 size = root.find('size') # 从 <size> 标签中提取图像的 宽度 和 高度 ，并将其转换为整数。 w = int(size.find('width').text) h = int(size.find('height').text) # 从 yaml 文件中提取 类别名称列表 。 yaml 文件中包含类别名称的映射， names 是一个列表，存储了 所有可能的类别名称 。 names = list(yaml['names'].values()) # names list # 遍历 XML 文件中所有的 <object> 标签，每个 <object> 标签代表一个 标注对象 。 for obj in root.iter('object'): # 提取当前对象的 类别名称 ，存储在 <name> 标签中。 cls = obj.find('name').text # 检查 类别名称 是否在 names 列表中，并且对象的难度标记（ difficult ）不为 1。如果类别名称不存在或难度为 1，则跳过该对象。 if cls in names and int(obj.find('difficult').text) != 1: # 提取当前对象的 边界框信息 ，存储在 <bndbox> 标签中。 xmlbox = obj.find('bndbox') # 调用 convert_box 函数，将 VOC 格式的边界框转换为 YOLO 格式。 xmin , xmax , ymin , ymax 是从 <bndbox> 标签中提取的边界框坐标。 bb = convert_box((w, h), [float(xmlbox.find(x).text) for x in ('xmin', 'xmax', 'ymin', 'ymax')]) # 获取 当前类别的索引 cls_id ，即类别名称在 names 列表中的位置。 cls_id = names.index(cls) # class id # 将 类别 ID 和 归一化后的边界框坐标 写入 目标标注文件 ，格式为 class_id x_center y_center width height ，每行代表一个标注对象。 out_file.write(" ".join(str(a) for a in (cls_id, *bb)) + '\n') # 这段代码的主要功能是将 VOC 数据集的 XML 标注文件转换为 YOLO 格式的标注文件。它通过解析 XML 文件，提取图像尺寸、对象类别和边界框信息，并将这些信息转换为 YOLO 所需的格式。代码中使用了嵌套函数 convert_box 来完成边界框格式的转换，并通过条件判断过滤掉了难度为 1 的标注对象。最终，转换后的标注信息被写入指定的文件中，以便用于 YOLO 模型的训练或推理。 4.Download  # 这段代码的作用是下载并解压 VOC 数据集的压缩文件到指定的目录。 # Download # 从 yaml 配置中获取 path 键对应的值，并将其作为 数据集的根目录路径 。 使用 Path （来自 pathlib 模块）来处理路径， Path 提供了更方便的路径操作方法。 dir = Path(yaml['path']) # dataset root dir # 定义一个基础 URL，用于构建完整的下载链接。这里指向的是一个托管在 GitHub 的资源仓库，可能是用于存储数据集文件的仓库。 url = ' github /ultralytics/assets/releases/download/v0.0.0/' # 定义一个列表 urls ，包含三个 VOC 数据集的下载链接。 # VOCtrainval_06-Nov-2007.zip ：包含 VOC 2007 的训练和验证集，大小约为 446MB，包含 5012 张图像。 # VOCtest_06-Nov-2007.zip ：包含 VOC 2007 的测试集，大小约为 438MB，包含 4953 张图像。 # VOCtrainval_11-May-2012.zip ：包含 VOC 2012 的训练和验证集，大小约为 1.95GB，包含 17126 张图像。 urls = [f'{url}VOCtrainval_06-Nov-2007.zip', # 446MB, 5012 images f'{url}VOCtest_06-Nov-2007.zip', # 438MB, 4953 images f'{url}VOCtrainval_11-May-2012.zip'] # 1.95GB, 17126 images # 调用 download 函数，用于 下载和解压数据集文件 。 # urls ：包含下载链接的列表。 # dir=dir / 'images' ：指定下载和解压的目标目录，路径为 yaml['path'] 下的 images 文件夹。 # curl=True ：使用 curl 命令进行下载（ curl 是一个常用的命令行工具，用于从网络下载文件）。 # threads=3 ：同时使用 3 个线程进行下载，提高下载效率。 # exist_ok=True ：如果目标路径已经存在，允许覆盖现有文件。这对于重新下载或更新数据集很有用。 # def download(url, dir=Path.cwd(), unzip=True, delete=False, curl=False, threads=1, retry=3, exist_ok=False): -> 用于从指定的 URL 下载文件，并支持多种功能，包括多线程下载、自动解压、删除源文件、使用 curl 下载等。 download(urls, dir=dir / 'images', curl=True, threads=3, exist_ok=True) # download and unzip over existing paths (required) # 这段代码的作用是下载 VOC 数据集的三个压缩文件，并将它们解压到指定的目录。具体步骤如下。从 yaml 配置中获取数据集的根目录路径。构建包含数据集压缩文件下载链接的列表。调用 download 函数，使用 curl 和多线程下载并解压文件到目标目录。如果目标路径已存在，允许覆盖现有文件。 5.Convert  # 这段代码的作用是将 VOC 数据集的图像和标注文件从原始格式转换为 YOLO 格式，并将它们重新组织到指定的目录结构中。 # Convert # 定义 path ，指向 VOC 数据集的根目录，通常是 VOCdevkit 文件夹。 path = dir / 'images/VOCdevkit' # 遍历 VOC 数据集的 不同年份 和 数据集类型 （训练集、验证集、测试集）。这里涉及 VOC 2007 和 VOC 2012 的 train 、 val 和 VOC 2007 的 test 。 for year, image_set in ('2012', 'train'), ('2012', 'val'), ('2007', 'train'), ('2007', 'val'), ('2007', 'test'): # 定义 目标图像路径 ，格式为 dir/images/{image_set}{year} ，例如 dir/images/train2012 。 imgs_path = dir / 'images' / f'{image_set}{year}' # 定义 目标标注路径 ，格式为 dir/labels/{image_set}{year} ，例如 dir/labels/train2012 。 lbs_path = dir / 'labels' / f'{image_set}{year}' # 创建目标图像路径的目录，如果目录已存在则忽略（ exist_ok=True ），同时创建所有必要的父目录（ parents=True ）。 imgs_path.mkdir(exist_ok=True, parents=True) # 创建目标标注路径的目录，逻辑同上。 lbs_path.mkdir(exist_ok=True, parents=True) # 打开 VOC 数据集的图像列表文件，路径为 VOCdevkit/VOC{year}/ImageSets/Main/{image_set}.txt 。这个文件包含当前数据集的图像 ID 列表。 with open(path / f'VOC{year}/ImageSets/Main/{image_set}.txt') as f: # 读取文件内容，去除首尾空白字符后按空格分割，得到图像 ID 列表。 image_ids = f.read().strip().split() # 遍历图像 ID 列表，使用 tqdm 显示进度条，进度条的描述为 {image_set}{year} 。 for id in tqdm(image_ids, desc=f'{image_set}{year}'): # 构造 原始图像路径 ，格式为 VOCdevkit/VOC{year}/JPEGImages/{id}.jpg 。 f = path / f'VOC{year}/JPEGImages/{id}.jpg' # old img path # 构造 目标标注路径 ，将图像文件名（ f.name ）替换为 .txt 后缀，用于保存 YOLO 格式的标注文件。 lb_path = (lbs_path / f.name).with_suffix('.txt') # new label path # Path.rename(target) # 在 Python 的 pathlib 模块中， Path.rename() 是一个方法，用于将文件或目录从一个路径重命名为另一个路径。它是 pathlib.Path 类的一部分，提供了面向对象的方式来操作文件系统路径。 # 参数 ： # source ：调用 rename() 方法的 Path 对象，表示要被重命名的文件或目录的原始路径。 # target ：目标路径，表示重命名后的文件或目录的路径。 # 功能 ： # rename() 方法将文件或目录从 source 路径移动到 target 路径。如果目标路径已经存在 ： # 如果目标路径是一个文件，它会被覆盖。 # 如果目标路径是一个目录，行为取决于操作系统。在某些系统中，会抛出错误；在其他系统中，可能会将文件移动到该目录下。 # 返回值 ： # rename() 方法返回一个新的 Path 对象，表示目标路径。 # 注意事项 ： # 覆盖文件 ：如果目标路径已经存在， rename() 会覆盖目标文件。 # 跨文件系统移动 ：在某些操作系统中，如果 source 和 target 不在同一个文件系统上，可能会抛出错误。在这种情况下，可以先复制文件，然后删除原始文件。 # 权限问题 ：如果目标路径的目录不可写， rename() 会抛出 PermissionError 。 # 将原始图像移动到目标图像路径。 rename 方法会将文件从原始路径移动到新路径。 f.rename(imgs_path / f.name) # move image # 调用 convert_label 函数，将 VOC 格式的标注文件转换为 YOLO 格式，并保存到目标标注路径。 convert_label(path, lb_path, year, id) # convert labels to YOLO format # 这段代码的主要功能是将 VOC 数据集的图像和标注文件从原始格式转换为 YOLO 格式，并重新组织到指定的目录结构中。具体步骤如下。遍历 VOC 数据集的不同年份和数据集类型。创建目标图像和标注文件的目录。读取每个数据集的图像 ID 列表。遍历图像 ID，将原始图像移动到目标目录。调用 convert_label 函数，将 VOC 格式的标注文件转换为 YOLO 格式，并保存到目标路径。通过这种方式，代码实现了 VOC 数据集到 YOLO 格式的转换，同时将文件组织到适合 YOLO 训练的目录结构中。