团队标注平台

团队标注平台拥有独立的帐号,仅标注团队的管理员和标注员可以登录。 标注团队可以查看被分配的标注任务,完成标注,提交验收,并查看验收反馈。

标注任务

标注员可以看到自己被分配的任务、任务状态和数据统计信息,并进行标注。

管理员除上述功能外,还可以看到任务总体完成情况,并分配任务; 以及审核标注员的标注结果,并提交给算力平台用户进行验收。

标注

  1. 左侧功能栏选择“标注任务”;

  2. 选择需要标注的任务;

  3. 单击“标注”即可跳转至标注工作区进行标注。具体标注步骤请参考 标注工作区

查看规则集

  1. 左侧功能栏选择“标注任务”;

  2. 选择需要查看对应规则集的任务;

  3. 单击标注规则集的名称即可跳转至规则集页面 。

分配任务

仅管理员可以分配标注任务。

  1. 左侧功能栏选择“标注任务”;

  2. 选择状态为“待分配”的任务;

  3. 单击“分配任务”按钮;

  4. 按照页面提示配置参数;

  5. 可单击选择“单人”或者“选举”分配模式,“选举”模式需要设置“差异容忍率”;

  6. 可单击“平均分配”快速分配任务给每个标注员;

  7. 单击“确认分配”。

../../_images/assign_task.png

图 140 标注团队管理员分配任务

选举分配:

  1. 每条数据都必须分配给两位不同的标注员;

  2. 差异容忍率规定了对同一张数据两位标注员标注结果的最大差异阈值;

  3. 在机器审核时,机器通过计算两位标注员的标注结果差异率,对于小于等于最大差异率的结果进行合并,并输出为最终的标注结果。

审核

单人标注任务审核

  1. 左侧功能栏选择“标注任务”;

  2. 选择状态为“待完成”的任务;

  3. 选择单个标注员的子任务;

  4. 单击“审核”按钮,进入标注工作区进行审核;

  5. 可在右侧实例列表中单击“驳回”按钮,驳回单个实例,被驳回实例左侧有“黄色感叹号“;

  6. 当标注结果符合要求时,选择右下角的“通过”选项;

  7. 当标注结果不符合要求时,选择右下角的“驳回”选项,可在备注框中填写对标注结果的反馈;

  8. 单击“提交”按钮,提交当前数据的审核结果;

  9. 单击左下角“剩余全部通过”或“剩余全部驳回”按钮,可以通过或驳回当前子任务的所有待审核的数据。

    ../../_images/review_data_manager.png

    图 141 标注团队管理员审核标注员的任务

选举标注任务审核

  1. 左侧功能栏选择“标注任务”;

  2. 在任务列表中,单击“机器审核”发起机器审核,任务状态会变为“审核中”;

  3. 当任务中不存在“标注中”、“修正中”的数据时,“机器审核”按钮才会变为可点击状态。

  4. 待机器审核结束后,任务状态会重新变为“待审核”,可单击“机器审核”进入标注工作区查看或驳回机器审核结果。

    ../../_images/review_election_detail.png

    图 142 标注团队管理员查看机器审核结果

    ①:标注员选择器:选择并查看标注员或机器选举之后的标注结果。

    ②:管理员只可以驳回,对于驳回的结果,在标注员修正之后由管理员发起机器审核。

完成任务

当任务的所有数据均被标注完成,且被审核通过后,管理员可以确认完成任务。 任务将被提交给算力平台用户进行验收,进入“待验收”状态,此时任务不可被修改。

  1. 左侧功能栏选择“标注任务”;

  2. 选择状态为“待完成”且所有数据均为“通过”状态的任务;

  3. 单击“完成任务”按钮;

  4. 单击“确认完成”。

../../_images/complete_task.png

图 143 完成团队标注任务

标注团队管理

添加标注员

  1. 左侧功能栏选择“标注团队管理”;

  2. 单击右上角“添加标注员”;

  3. 按照页面提示配置参数:

    表 99 团队标注平台添加标注员

    参数

    必填项

    说明

    标注员名称

    密码

    密码须包含大小写字母、数字和特殊字符,长度在8~30个字符之间

    描述

编辑标注员的资料或修改密码

  1. 左侧功能栏选择“标注团队管理”;

  2. 单击“编辑资料”或“修改密码”按钮;

  3. 编辑需要修改的内容;

  4. 单击“确定”。

删除标注员

  1. 左侧功能栏选择“标注团队管理”;

  2. 查找需要删除的标注员,单击该标注员的“操作”按钮;

  3. 在下拉列表中,单击“删除”;