分类

支持在模型工程中训练图像分类模型。 支持使用数据集对训练所得模型进行评估、推理,并展示结果。

模型版本

模型版本用于管理训练得到的模型,通过创建模型版本可以一键进行模型的训练、训练可视化 (TensorBoard)、评估、推理。 训练的基本配置信息、日志、监控等内容可在模型版本详情页中查看。训练可视化、评估、推理的配置等信息可以在任务详情页中查看。

创建模型版本

创建之前,需要先创建 模型工程、用于训练的 标注数据集。 标注数据集要求使用“分类”规则标注,“分类”规则的创建方式可以参考 标注规则集

  1. 左侧功能栏选择“0 代码训练”;

  2. 在模型工程列表页单击创建好的模型工程名称;

  3. 单击上方“模型版本”,进入子页面;

  4. 单击“创建模型版本”按钮,打开创建页面;

  5. 按照页面提示配置参数:

    表 68 创建“分类”类型的模型版本参数

    名称

    必填项

    说明

    模型版本名称

    需要包含3位数字,如 1.0.0

    存储集群

    可视化时长

    TensorBoard 的使用时长

    类型

    模型类型,此处应该选择“分类”

    模型规模

    预置模型的规模,有“大”、“中”、“小”三种选择

    预训练模型

    该选项的可选值由“类型”和“模型规模”配置决定,

    因此,该选项在填写完成“类型”和“模型规模”之后出现

    单节点规格

    依托于模型版本创建的训练、评估、推理任务的算力规格, 支持多选

    节点数

    每个任务总的资源量为 单节点规格 x 计算节点数量

    训练数据

    使用“分类”规则标注的标注数据集,用于训练模型

    训练参数

    “learning_rate”: 训练学习率

    “batch_size”: 每张卡每批次训练的样本数

    “cycle_count”: 训练周期数

    评估数据

    使用“分类”规则标注的标注数据集,用于评估训练得到的模型,

    如果填写,模型版本在训练完成后将会自动创建评估任务

    评估参数

    “batch_size”: 每张卡每批次测试的样本数

    推理数据

    可选“标注数据集”、“我的数据集”或“数据集收藏”,

    模型推理所用数据。 如果填写,模型版本在训练完成

    后将会自动创建推理任务

    推理参数

    “batch_size”: 每张卡每批次推理的样本数

  6. 单击“创建”。

    ../../_images/create_codeless_classification_model_version.png

    图 82 创建模型版本

查看模型版本精度变化

4.3 版本新增: 支持查看模型版本精度变化。

  1. 左侧功能栏选择“0 代码训练”;

  2. 在模型工程列表页单击模型版本所在的模型工程的名称;

  3. 单击上方“模型版本”,进入子页面;

  4. 在“整体精度”一栏可以对比不同模型版本的整体评估结果,从而分析精度变化。

搜索模型版本

  1. 左侧功能栏选择“0 代码训练”;

  2. 在模型工程列表页单击模型版本所在的模型工程的名称;

  3. 单击上方“模型版本”,进入子页面;

  4. 单击左上角搜索框;

  5. 在下拉列表中,基于“名称”或“状态”搜索模型版本。

查看模型版本详情

  1. 左侧功能栏选择“0 代码训练”;

  2. 在模型工程列表页单击模型版本所在模型工程的名称;

  3. 单击上方“模型版本”,进入子页面;

  4. 单击模型版本名称,进入模型版本详情页,可查看详情、算力规格列表与当前运行使用的规格、训练参数等信息;

  5. 单击“配置信息”中的 TensorBoard、评估任务、推理任务名称,可以在其各自页面查看详情;

  6. 在模型版本详情页,单击上方“监控 ”功能,可查看 CPU、MLU/GPU、内存、网络流量等资源利用率;

  7. 在模型版本详情页,单击上方“日志”功能,可查看训练日志、事件信息。

停止模型版本

  1. 左侧功能栏选择“0 代码训练”;

  2. 在模型工程列表页单击模型版本所在模型工程的名称;

  3. 单击上方“模型版本”,进入子页面;

  4. 选择需要停止的模型版本,单击其“操作”按钮;

  5. 在下拉列表中,单击“停止”;

  6. 单击“确认停止”。

克隆模型版本

  1. 左侧功能栏选择“0 代码训练”;

  2. 在模型工程列表页单击模型版本所在模型工程的名称;

  3. 单击上方“模型版本”,进入子页面;

  4. 选择需要克隆的模型版本,单击其“操作”按钮;

  5. 在下拉列表中,单击“克隆”;

  6. 调整配置;

  7. 单击“创建”。

删除模型版本

  1. 左侧功能栏选择“0 代码训练”;

  2. 在模型工程列表页单击创建好的“模型工程”;

  3. 单击上方“模型版本”,进入子页面;

  4. 单个删除:选择需要删除的模型版本,单击其“操作”按钮,在下拉列表中单击“删除”;

  5. 批量删除:单击表格右上角“编辑”按钮,勾选多个需要删除的模型版本,单击表格右上角“删除”按钮;

  6. 单击确认删除。

TensorBoard

TensorBoard 在 创建模型版本 后将会自动创建。 用户可以打开“运行中”状态的 TensorBoard 可视化界面,查看“分类”模型训练过程。

搜索 TensorBoard

  1. 左侧功能栏选择“0 代码训练”;

  2. 在模型工程列表页单击 TensorBoard 所在模型工程的名称;

  3. 单击页面上方 TensorBoard,进入子页面;

  4. 单击左上角搜索框;

  5. 在下拉列表中,基于“名称”或“状态”搜索模型版本。

查看 TensorBoard

  1. 左侧功能栏选择“0 代码训练”;

  2. 在模型工程列表页单击 TensorBoard 所在模型工程的名称;

  3. 单击页面上方 TensorBoard,进入子页面;

  4. 查找需要可视化的 TensorBoard, 单击 TensorBoard 地址;

  5. 查看“分类”模型的训练过程中每个 iteration 在训练集的 loss 曲线,每个 epoch 在测试集上的 accuracy 曲线。

    ../../_images/codeless_classification_iteration_loss.png

    图 83 iteration 在训练集的 loss 曲线

    ../../_images/codeless_classification_epoch_accuracy.png

    图 84 每个 epoch 在测试集上的 accuracy 曲线

停止 TensorBoard

  1. 左侧功能栏选择“0 代码训练”;

  2. 在模型工程列表页单击 TensorBoard 所在模型工程的名称;

  3. 单击页面上方 TensorBoard,进入子页面;

  4. 查找需要停止的 TensorBoard,单击该 TensorBoard 的“操作”按钮;

  5. 在下拉列表中,单击“停止”;

  6. 单击“确认停止”。

启动 TensorBoard

用户可以启动“停止”和“过期”状态的 TensorBoard,操作步骤:

  1. 左侧功能栏选择“0 代码训练”;

  2. 在模型工程列表页单击 TensorBoard 所在模型工程的名称;

  3. 单击页面上方 TensorBoard,进入子页面;

  4. 查找需要启动的 TensorBoard,单击该 TensorBoard 的“操作”按钮;

  5. 在下拉列表中,单击“启动”;

    启动确认框中会显示“使用时长”配置,选择或输入使用时长。

  6. 单击“确认启动”。

评估任务

评估任务用于评估 模型版本 中的模型。

创建评估任务的方式有两种:

  1. 创建模型版本 时,表单中填写“评估数据”和“评估参数”,在训练完模型之后将会自动创建评估任务;

  2. 选择已经创建的模型版本,配置“评估数据”和“评估参数”,对模型进行评估,过程参见 创建评估任务

用户可以打开“成功”状态的评估任务的“可视化”界面,查看“分类”模型评估指标。

创建评估任务

创建之前,需要先 创建模型版本, 并确保其类型为“分类”,状态为“成功”。

  1. 左侧功能栏选择“0 代码训练”;

  2. 在模型工程列表页单击待评估的模型版本所在的模型工程名称;

  3. 单击上方“评估任务”,进入子页面;

  4. 单击“创建评估任务”按钮,打开创建页面;

  5. 按照页面提示配置参数:

    表 69 创建评估任务参数

    名称

    必填项

    说明

    评估任务名称

    模型版本

    数据

    使用“分类”规则标注的标注数据集

    评估参数

    “batch_size”: 每张卡每批次测试的样本数

    单节点规格

    评估任务的算力规格

    节点数

    每个任务总的资源量为 单节点规格 x 计算节点数量,

    评估任务中“节点数”固定为 1

  1. 单击“创建”。

    ../../_images/create_codeless_classification_evaluation.png

    图 85 创建评估任务

搜索评估任务

  1. 左侧功能栏选择“0 代码训练”;

  2. 在模型工程列表页单击评估任务所在模型工程名称;

  3. 单击页面上方“评估任务”,进入子页面;

  4. 单击左上角搜索框;

  5. 在下拉列表中,可基于“名称”或“状态”搜索评估任务。

查看评估任务详情

  1. 左侧功能栏选择“0 代码训练”;

  2. 在模型工程列表页单击评估任务所在模型工程名称;

  3. 单击页面上方“评估任务”,进入子页面;

  4. 单击评估任务名称,进入评估任务详情页,可查看评估任务状态、详情、规格、评估参数等信息;

  5. 在评估任务详情页,单击上方“监控 ”功能,可查看评估任务 CPU、内存、MLU、网络流量等资源的监控;

  6. 在评估任务详情页,单击上方“日志 ”功能,可查看评估任务的日志、事件信息;

  7. 在评估任务详情页,单击上方“检测结果”功能,可查看被评估模型对标注数据集中图像的检测结果。如下图所示,左侧为图像列表,点击名称,右侧会展示相应预测图像预览及预测结果。

    ../../_images/codeless_classification_detection.png

    图 86 “分类”模型的评估任务检测结果

    检测结果包含 dclasses, dconfidences 字段,分别对应:物体检测的类别列表,每个检测结果的置信度列表。 更多说明可参见 在线测试 中输出格式部分。

  8. 在评估任务详情页,单击上方“可视化”功能,可查看“分类”模型的以下评估指标:总体评估 accuracy 值,以及每个类别的 精确率、召回率、F1-score、样本数。

    ../../_images/codeless_classification_total_accuracy.png

    图 87 总体评估 accuracy 值

    ../../_images/codeless_classification_category_evaluation.png

    图 88 每个类别的精确率、召回率、F1-score、样本数

停止评估任务

  1. 左侧功能栏选择“0 代码训练”;

  2. 在模型工程列表页单击评估任务所在模型工程名称;

  3. 单击页面上方“评估任务”,进入子页面;

  4. 选择需要停止的评估任务,单击该任务的“操作”按钮;

  5. 在下拉列表中,单击“停止”;

  6. 单击“确认停止”。

删除评估任务

  1. 左侧功能栏选择“0 代码训练”;

  2. 在模型工程列表页单击评估任务所在模型工程名称;

  3. 单击页面上方“评估任务”,进入子页面;

  4. 单个删除:选择需要删除的评估任务,单击其“操作”按钮,在下拉列表中单击“删除”;

  5. 批量删除:单击表格右上角“编辑”按钮,勾选多个需要删除的评估任务,单击表格右上角“删除”按钮;

  6. 单击“确认删除”。

评估对比

评估对比支持同时可视化多个模型的评估结果,评估结果来源于 评估任务

创建评估对比

  1. 左侧功能栏选择“0 代码训练”;

  2. 在模型工程列表页单击待对比的评估任务所在的模型工程名称;

  3. 单击上方“评估对比”,进入子页面;

  4. 单击“创建评估对比”,打开抽屉;

  5. 按照页面提示配置参数:

    表 70 创建评估对比配置参数

    名称

    必填项

    说明

    评估对比名称

    评估任务

    只有状态为“成功”的评估任务会出现在下拉列表中

    描述

  1. 单击“添加”。

    ../../_images/create_codeless_classification_evaluation_compare.png

    图 89 创建评估对比

搜索评估对比

  1. 左侧功能栏选择“0 代码训练”;

  2. 在模型工程列表页单击评估对比所在的模型工程名称;

  3. 单击上方“评估对比”,进入子页面;

  4. 单击左上角搜索框;

  5. 可基于“名称”搜索评估对比。

删除评估对比

  1. 左侧功能栏选择“0 代码训练”;

  2. 在模型工程列表页单击评估对比所在的模型工程名称;

  3. 单击上方“评估对比”,进入子页面;

  4. 单个删除:选择需要删除的评估对比,单击操作列的“删除”按钮;

  5. 批量删除:单击表格右上角“编辑”按钮,勾选多个需要删除的评估对比,单击表格右上角“删除”按钮;

  6. 单击“确认删除”。

查看评估对比详情

  1. 左侧功能栏选择“0 代码训练”;

  2. 在模型工程列表页单击评估对比所在的模型工程名称;

  3. 单击上方“评估对比”,进入子页面;

  4. 查找需要查看详情的评估对比,单击评估对比名称;

  5. 点击位于详情页顶部的选择框,选择需要对比展示的模型评估结果。

推理任务

推理任务使用 模型版本 中的模型,推理数据集。

创建“推理任务”的方式有两种:

  1. 创建模型版本 时,表单中填写“推理数据”和“推理参数”,在训练完模型之后将会自动创建推理任务;

  2. 选择已经创建的“模型版本”,配置“推理数据”和“推理参数”,对模型进行推理,过程参见 创建推理任务

创建推理任务

创建之前,需要先 创建模型版本, 并确保其类型为“分类”,状态为“成功”。

  1. 左侧功能栏选择“0 代码训练”;

  2. 在“模型工程”列表页单击待推理的“模型版本”所在的“模型工程”;

  3. 单击上方“推理任务”,进入子页面;

  4. 单击“创建推理任务”按钮,打开创建页面;

  5. 按照页面提示配置参数:

    表 71 创建推理任务参数

    名称

    必填项

    说明

    推理任务名称

    模型版本

    数据

    可选“标注数据集”、“我的数据集”或“数据集收藏”,

    用于推理训练得到的模型

    推理参数

    “batch_size”: 每张卡每批次推理的样本数

    单节点规格

    推理任务的算力规格

    节点数

    每个任务总的资源量为 单节点规格 x 计算节点数量,

    推理任务中“节点数”固定为 1

  1. 单击“创建”。

    ../../_images/create_codeless_classification_predictor_job.png

    图 90 创建推理任务

搜索推理任务

  1. 左侧功能栏选择“0 代码训练”;

  2. 在模型工程列表页单击推理任务所在模型工程名称;

  3. 单击页面上方“推理任务”,进入子页面;

  4. 单击左上角搜索框;

  5. 在下拉列表中,可基于“名称”或“状态”搜索推理任务。

查看推理任务详情

  1. 左侧功能栏选择“0 代码训练”;

  2. 在“模型工程”列表页单击推理任务所在的模型工程名称;

  3. 单击页面上方“推理任务”,进入子页面;

  4. 单击推理任务名称,进入推理任务详情页,可查看推理任务状态、详情、规格、推理参数等信息;

  5. 在推理任务详情页,单击上方“监控 ”功能,可查看推理任务 CPU、内存、MLU、网络流量等资源的监控;

  6. 在推理任务详情页,单击上方“日志 ”功能,可查看推理任务的日志、事件信息;

  7. 在推理任务详情页,单击上方“检测结果”功能,可查看被推理模型对数据集中图像的检测结果,推理任务的检测结果格式和评估任务的检测结果一致。

停止推理任务

  1. 左侧功能栏选择“0 代码训练”;

  2. 在模型工程列表页单击推理任务所在模型工程名称;

  3. 单击页面上方“推理任务”,进入子页面;

  4. 选择需要停止的推理任务,单击该任务的“操作”按钮;

  5. 在下拉列表中,单击“停止”;

  6. 单击“确认停止”。

删除推理任务

  1. 左侧功能栏选择“0 代码训练”;

  2. 在模型工程列表页单击推理任务所在模型工程名称;

  3. 单击页面上方“推理任务”,进入子页面;

  4. 单个删除:选择需要删除的推理任务,单击该任务的“操作”按钮,在下拉列表中,单击“删除”;

  5. 批量删除:单击表格右上角“编辑”按钮,勾选多个需要删除的推理任务,单击表格右上角“删除”按钮;

  6. 单击“确认删除”。