模型转换

3.2 版本新增: 模型转换功能。

使用 寒武纪 MagicMind 对训练好的算法模型文件转换、量化、加速。

创建模型转换

  1. 左侧功能栏选择“模型管理->模型转换”；

  2. 单击右上角“创建模型转换”；

  3. 按照页面提示配置参数，参数分为模型转换任务参数和 MagicMind 参数；

    表 198 模型转换任务参数

    名称

    必填项

    说明

    模型转换名称

    是

    输入框架

    是

    目前只支持 PyTorch

    输入模型路径

    是

    输出框架

    是

    目前只支持 MagicMind

    输出模型路径

    是

    单节点规格

    是

    单个计算节点的配置

    转换模板

    是

    目前只支持 PyTorch PT 转 MagicMind

    是否校准

    是

    校准数据集

    否

    开启后校准后必选，可选“标注数据集”、“数据集”

    模型转换 MagicMind 参数描述详见文档《Cambricon MagicMind Python Developer Guide 0.8.3》， 具体章节如下：

    表 199 模型转换 MagicMind 参数

    名称

    章节

    MLU 型号

    3.3 BuilderConfig Class

    网络精度模式

    校准算法

    3.5 Calibrator Class

    输入数据

    3.95 Parser Class

    输入张量形状

    3.89 ITensor Class

    输出数据

    3.52 INode Class

  4. 单击“创建”按钮。

节点规格说明

节点规格是模型转换中单个节点的资源配置。

4.0 版本新增: 支持根据所选规格查看集群可用资源

  1. 选择一个规格后，单击规格列表下面的 “集群可用资源” 链接；

  2. 页面下方会弹出一个表格，展示所选规格对应的可调度节点；

  3. 信息包括节点名称，状态，OS 和内核版本，内存， CPU 信息，AI 资源信息，驱动版本，适用算力规格和目前使用情况，以表格形式展示；

  4. 表格中内存，CPU 核数，AI 资源数量以分数形式展示，意义为(已经使用的资源 / 资源总量)；

  5. 状态为空闲时，表示规格申请的资源小于等于节点目前可用的资源；状态为紧张时，表示规格申请的某个或某些资源大于节点目前可用的资源；

  6. 目前使用情况的条目显示格式为 1(1):application-name：

    • 1: 物理卡，即板卡在节点中的位置；

    • (1): 虚拟卡，即板卡切分之后的虚拟卡序号；

    • application-name: 应用名称。

4.5 版本新增: 创建模型转换按照人工智能板卡型号筛选算力规格

  1. 选择非 CPU 类型的算力规格；

  2. 在算力规格类型下方会出现具体的人工智能板卡型号；

  3. 在板卡型号下方统计了当前所有在排队中的应用所需的各型号板卡数量；

  4. 选择一个或多个人工智能板卡型号，算力规格列表会根据所选型号过滤。

模型转换目录结构

模型转换任务运行时，容器内的目录结构为：

/workspace
├── build.py（MagicMind 启动脚本）
├── calibrator.py（MagicMind 量化校准脚本）
├── preprocess.py（数据预处理脚本）
├── anno_dataset
│   └── 标注数据集名字 A
├── dataset
│   ├── private
│   │   └── 我的数据集名字 A
│   └── favorite
|       └── 收藏数据集名字_B
|           └── 收藏数据集版本名字_V1
└── model
    ├── pretrained
    │   └── 预训练模型名字 A
    ├── private
    │   ├── 我的模型名字 A
    │   └── 我的模型名字 B
    └── favorite
          └── 收藏模型名字_A
             └── 收藏模型版本名字_V1

搜索模型转换

  1. 左侧功能栏选择“模型管理->模型转换”；

  2. 单击左上角搜索框；

  3. 在下拉列表中，可基于“名称”、“状态”和“创建人”搜索模型转换。

查看模型转换详情

  1. 左侧功能栏选择“模型管理->模型转换”；

  2. 单击模型转换名称，进入模型转换详情页，可查看参数配置、执行命令等信息；

  3. 单击上方“监控”标签页，可以查看 CPU、内存、网络流量等资源利用率；

  4. 单击上方“日志”标签页，可以查看日志、事件信息；

  5. 在模型转换右上角提供了开发环境、克隆、停止、删除等操作按钮。

    单击”开发环境“按钮，可以直接创建出具有相同目录结构的开发环境。

克隆模型转换

  1. 左侧功能栏选择“模型管理->模型转换”；

  2. 选择需要克隆的模型转换，单击该任务的“操作”按钮；

  3. 在下拉列表中，单击“克隆”按钮；

  4. 参考 创建模型转换 调整配置；

  5. 单击“创建”按钮。

停止模型转换

  1. 左侧功能栏选择“模型管理->模型转换”；

  2. 选择需要停止的模型转换，单击该任务的“操作”按钮；

  3. 在下拉列表中，单击“停止”；

  4. 单击“确认停止”。

删除模型转换

  1. 左侧功能栏选择“模型管理->模型转换”；

  2. 单个删除：查找需要删除的模型转换，单击该任务的“操作”按钮，在下拉列表中，单击“删除”；

  3. 批量删除：单击表格右上角“编辑”按钮，勾选多个需要删除的模型转换，单击表格右上角“删除”按钮；

  4. 单击“确认删除”。