标注工作区

用户可以在标注工作区查看数据信息、进行标注、查看日志。 不同类型的数据集支持的标注类型有:

表 100 各类型数据集支持的标注类型

实例类型

图片

视频

音频

文生图模型

分类标注

实例正框

实例多边形

关键点

语义多边形

实例线

OCR 文本标注

音频分割标注

追踪实例正框

追踪实例多边形

追踪关键点

追踪语义多边形

父级实例

多标签实例

图像描述

图像标签

标注工作区布局

图片数据集

../../_images/annotation_image_workspace.png

图 148 图片标注页面

图片数据区(1)

用户可以在这里,查看图片状态、过滤图片、删除图片。

标注工具区(2)

从左至右依次为数据分类、实例正框、实例多边形、关键点、实例线、语义多边形、OCR 文本、缩放、明亮度和对比度。

配置实例区(3)

在这里对选中的标注实例进行编辑。

标签实例区(4)

分三栏显示,分别为实例(包含实例多边形、正框、关键点、线)、分类、语义。工作区只显示当前类别的标注。 标注列表的右侧,有显示或隐藏该标注的按钮。

视频数据集

../../_images/annotation_video_workspace.png

图 149 视频标注页面

视频数据区(1)

用户可以在这里查看视频状态、过滤视频、删除视频。

视频播放区(2)

用户可以播放、暂停、前进/后退多帧、跳转开头/末尾、跳转至某一帧;视频播放条可以拖动,并显示视频缓冲进度。

标注工具区(3)

从左至右依次为数据分类、实例正框、追踪实例正框、实例多边形、追踪实例多边形、关键点、追踪关键点、语义多边形、追踪语义多边形、缩放、明亮度和对比度。

配置实例区(4)

在这里对选中的标注实例进行编辑。

标签实例区(5)

分三栏显示,分别为实例(包含常规与追踪实例正框、多边形、关键点)、分类、语义。工作区只显示当前类别的标注。 标注列表的右侧,有显示或隐藏该标注的按钮。 对于追踪模式的标注,有关键帧和结束帧的设置按钮。

音频数据集

../../_images/annotation_audio_workspace.png

图 150 音频标注页面

音频数据区(1)

用户可以在这里查看音频状态、过滤音频、删除音频、切换音频。

音频波形图(2)

用户可以播放、暂停、调整音量;音频播放条可以拖动。用户可以在波形图上直接添加、合并分段标注、调整分段标注的起始时间,具体操作见 音频分段标注

音频转写区(3)

用户可以在这里对添加的分段标注实例编写转写文本,点击某个分段实例后当前播放进度将跳至此分段起始时间;

标注工具区(4)

若数据集子类支持分类标注,则可用标注工具为数据分类。

配置实例区(5)

在这里对选中的标注实例进行编辑、配置属性值。

标签实例区(6)

分三栏显示,分别为实例(包含音频分段标注)、分类。工作区只显示当前类别的标注。 标注列表的右侧,有删除该标注的按钮。

标注

每个标注实例在新建、修改之后,需要在“配置实例区”,单击“确认”按钮(或使用 Ctrl+S 快捷键)。 在切换标注实例时,如果未保存,会提示保存,且无法切换。

单个标注实例保存后,该数据的全部实例仍未保存,需要单击页面底部的“保存标注”按钮(或使用 Shift+S 快捷键)。 在切换数据时,如果未保存,会提示保存,且无法切换。

使用快捷键 Alt+X 可删除当前正在编辑的实例。

分类标注

对数据进行分类,如“晴天”、“雨天”。一个数据只能有一个分类标注。

操作步骤:

  1. 左侧数据区选择数据;

  2. 顶部标注工具区单击或使用快捷键选择标注;

  3. 右侧配置实例区选择分类;

  4. 右侧配置实例区选择或填写实例属性;

  5. 单击或使用快捷键 Ctrl+S 确认。

实例正框标注

操作步骤:

  1. 左侧数据区选择数据;

  2. 顶部标注工具区单击或使用快捷键选择标注;

  3. 右侧配置实例区选择分类;

  4. 第一次单击,选定正框的第一个顶点;

  5. 拖动鼠标;

  6. 第二次单击,确定对角顶点,完成绘制;

  7. 右侧配置实例区选择或填写实例属性;

  8. 单击或使用快捷键 Ctrl+S 确认。

拖动正框顶点,可以编辑正框形状。

实例多边形标注

操作步骤:

  1. 左侧图片数据区选择图片;

  2. 顶部标注工具区单击或使用快捷键选择标注;

  3. 右侧配置实例区选择分类;

  4. 右侧配置是否开启边缘吸附模式,具体参见 边缘吸附模式

  5. 右侧配置是否开启 Segment Anything 模式,开启后操作步骤参见 Segment Anything 模式

  6. 第一次单击,选定多边形的第一个顶点;

  7. 拖动鼠标;

  8. 第二次单击,确定多边形的下一个顶点,若开启边缘吸附,则将同时确定先前自动检测出的顶点;

  9. 重复步骤6、7,画出多边形的各个顶点;

  10. 使用快捷键 Alt+C ,完成绘制;

  11. 右侧配置实例区选择或填写实例属性;

  12. 单击或使用快捷键 Ctrl+S 确认。

绘制过程中,使用快捷键 Alt+Z 可以撤销多边形标注点。

拖动多边形顶点,可以编辑多边形形状。

单击多边形边的中点,可以在该位置增加一个顶点。

单击多边形顶点,使用快捷键 X 可以删除该顶点。

实例关键点标注

  1. 左侧图片数据区选择图片;

  2. 顶部标注工具区单击或使用快捷键选择标注;

  3. 右侧配置实例区选择分类;

  4. 每次鼠标单击,确定一个关键点,当关键点数量达到所选规则要求的个数时,绘制完成;

  5. 右侧配置实例区选择或填写实例属性;

  6. 单击或使用快捷键 Ctrl+S 确认。

使用快捷键 Alt+M ,显示/隐藏全部关键点标号。

实例线标注

  1. 左侧图片数据区选择图片;

  2. 顶部标注工具区单击或使用快捷键选择标注;

  3. 右侧配置实例区选择分类;

  4. 鼠标单击,确定起点,拖拽鼠标至终点,点击绘制完成;

  5. 右侧配置实例区选择或填写实例属性;

  6. 单击或使用快捷键 Ctrl+S 确认。

使用快捷键 Alt+M ,显示/隐藏全部线标注点。

拖动线的顶端,可以编辑线长度与位置。

语义多边形标注

操作步骤同实例多边形。

右侧标签实例区,选择实例,单击“上移/下移”调整图层前后覆盖顺序。

单击右上角“效果图”按钮,打开/关闭语义分割结果预览图。

OCR 文本标注

  1. 顶部标注工具区单击或使用快捷键选择标注;

  2. 右侧配置实例区选择分类;

  3. 第一次单击,选定正框的第一个顶点;

  4. 拖动鼠标;

  5. 第二次单击,确定对角顶点,完成绘制;

  6. 右侧配置实例区填入文本内容与实例属性;

  7. 单击或使用快捷键 Ctrl+S 确认。

边缘吸附模式

4.2 版本新增: 支持多边形边缘吸附。

../../_images/annotation_edge_detection.png

图 151 边缘吸附

开启边缘吸附模式后,将自动检测图形边缘并标记为顶点。仅实例多边形与语义多边形支持边缘吸附功能。

  1. 顶部标注工具区单击或使用快捷键选择多边形标注;

  2. 右侧配置点击开启边缘吸附模式;

  3. 调整边缘吸附精确度,可调整 0 ~ 10 的精确度,精确度越高自动吸附的点数越多;

  4. 第一次单击,选定多边形的第一个顶点;

  5. 拖动鼠标后,可以看见自动吸附的顶点,移动鼠标,自动吸附的顶点也将发生改变;

  6. 鼠标单击确定一个关键点,将记住先前自动吸附的顶点;

  7. 开始标注后允许开关边缘吸附与调整精确度。

Segment Anything 模式

5.4 版本新增: 支持多边形 Segment Anything 标注。

../../_images/annotation_segment_anything.png

图 152 Segment Anything

开启 Segment Anything 模式前需要先进行图片编码,参考 智能标注

开启 Segment Anything 模式后,将根据点击提供的前景点和背景点进行多边形自动标注。仅实例多边形与语义多边形支持 Segment Anything 自动标注功能。

  1. 顶部标注工具区单击或使用快捷键选择多边形标注;

  2. 右侧配置点击开启 Segment Anything 模式;

  3. 30分钟内不点击图片则自动关闭;

  4. 左键点击图片生成前景点为绿色,表示该点在想要标注的多边形内部,右键点击图片生成背景点,表示该点在想要标注的多边形外部;

  5. 再次点击图片上已有的前景点或背景点,会删除该点;

  6. 随着前景点和背景点的更新,自动在图片渲染多边形轮廓;

  7. 使用快捷键 Alt+C 完成自动标注;

  8. 此时可以对自动标注结果进行拖拽修改;

  9. 单击或使用快捷键 Ctrl+S 确认。

追踪模式标注

  1. 在起始帧创建追踪实例,创建步骤同上述普通模式;

  2. 在播放区使用控件播放视频,此时前一步创建的实例仍然会显示;

  3. 暂停到需要改动的帧上,编辑实例的形状和位置;

    对于多边形,允许增加、删除顶点。正框和多边形都允许拖动顶点、移动位置。

  4. 单击或使用快捷键 Ctrl+S 确认;该帧被自动标记为“关键帧”;

  5. 在不同帧上重复步骤 2-4,完成追踪标注。

  6. 如需结束追踪,则暂停到结束帧,单击右侧标签实例区该实例的“设为结束帧”按钮。

对于追踪语义多边形标注,在某一帧上调整该语义多边形的层级,会应用到该追踪标注所有帧上。

对于非关键帧,会自动根据前后关键帧计算出实例在当前帧的位置、大小和形状,并实现连续的变换。

音频分段标注

当用户创建了支持分段标注的音频标注数据集后,可以直接在音频波形图上操作分段实例。

操作步骤:

  1. 自定义起终时间,添加分段实例: 等待波形图加载完成后,左键拉出选择框,框选出需要标注的时间分段,右键点击“添加分段”,即可获得分段实例;

  2. 点击一个时间点,在此时间点前后分成两个分段实例: 左键单击某个时间点,光标高亮此时间点后,右键点击“添加分段”,即可以此时间点为分界,获得前后两个分段实例;

  3. 更改分段实例起终时间: 选择波形图上的一个分段实例,拖拽更改起始时间线或结束时间线,不可与其他分段实例重叠;

  4. 合并分段实例: 框选出需要合并的时间段,右键点击“合并分段”,将会把选择框内的分段实例合并为一个分段实例,转写内容将被继承至合并后的分段实例;

  5. 配置标签等实例属性: 右侧配置实例区选择或填写实例属性;

  6. 删除分段实例: 右侧标签实例区选择分段实例,点击删除图标或通过快捷键删除。

父级实例

../../_images/annotation_instance.png

图 153 父级实例和多标签实例

在配置实例区选择父级实例,单击确认。下方标签实例区会显示父子关系。 如上图中,实例 2 的父级实例为实例 1 。

父子集的实例双方,必须都有支持父子集的规则。

父级实例在取消父子集关系前,不能成为其他实例的子级实例。

复制粘贴实例

实例正框标注,实例多边形标注,实例关键点标注,语义多边形标注以及追踪模式标注支持复制粘贴实例,操作步骤如下:

  1. 左侧图片(视频)数据区 选择图片(视频);

  2. 单击选择一个已经创建好的实例,使用快捷键 Ctrl+C,此时该实例被保存到剪切板;

  3. 左侧图片(视频)数据区选择另一个图片(视频);

  4. 在绘制区使用快捷键 Ctrl+V,可以看到实例显示在了这个图片(视频);

  5. 右侧配置实例区选择或填写实例属性;

  6. 单击确认按钮或使用快捷键 Ctrl+S 确认。

Tips:

  • 父级实例信息不会保存;

  • 多标签实例只能复制全部标签;

  • 只支持在不同数据间执行复制和粘贴;

多标签实例

支持多标签规则的实例,可以在配置实例区添加多个标签。如上图中,实例 5 拥有两个标签。

图像描述

支持输入文本内容,单个样本仅支持保存单个图像描述实例。

../../_images/annotation_instance_image_description.png

图 154 图像描述配置实例

图像标签

支持选择标注规则集中的图像标签类别,根据不同的图像标签类别可以在标签栏选择多个标签,这些标签来自选中的图像标签类别下的标签集合。

../../_images/annotation_instance_image_tag.png

图 155 图像标签配置实例

标注状态

数据有以下几种状态:

  1. 未标注:用户未保存过实例;

  2. 标注中:用户保存过实例,但未单击“完成标注“按钮;

  3. 标注完成:用户单击“完成标注“按钮;

  4. 待修正:审核或验收时驳回数据;

  5. 修正中:用户对待修正数据中的实例修改并保存,但未单击“完成标注“按钮;

  6. 修正完成:用户对修正中的数据单击“完成标注“;

  7. 通过:审核或验收时给出通过状态。

标注完成和修正完成的数据可以被审核。

所有实例都标注完成或无可标注内容时,用户可以单击下方的“完成标注”按钮,设置数据为“标注完成”。

../../_images/annotation_complete.png

图 156 设置数据为标注完成

日志

单击右上角“查看日志”按钮,打开日志。

../../_images/annotation_audit.png

图 157 标注日志

日志中每一行是该数据的操作日志。从左至右依次是操作的用户、操作类型、实例、分类、属性、标签坐标和父级实例。

单击某一条操作日志,如果该条日志中的实例未被删除,会将其设置为当前实例,以便用户查看和编辑。

单击右上角的“放大”按钮,可以放大日志区;放大状态下,单击右上角的“缩小”按钮,可以使日志区缩小至初始状态。

单击右上角的“关闭”按钮,可以关闭日志区。日志处于打开状态时,用户无法进行其他操作,如切换数据、进行标注、编辑或删除实例等。

快捷键

单击右上角“快捷键”按钮,打开快捷键列表。用户可以查看所有可以使用的快捷键,灵活使用快捷键可以有效地提高标注效率。