大模型精调

5.4 版本新增: 大模型精调功能。

大模型精调是面向各行各业有定制大模型需求、零算法基础或者追求高效率开发大模型的企业用户。用户可选择多种任务类型、应用场景的预训练模型及超参数配置定制开发大模型。

创建大模型精调

  1. 左侧功能栏选择“训练管理->大模型精调”;

  2. 单击右上角“创建大模型精调”;

  3. 按照页面提示配置参数:

    表 161 创建大模型精调参数

    名称

    必填项

    说明

    名称

    他人访问权限

    具体参见 他人访问权限

    优先级

    影响任务排队时的启动顺序

    任务类型

    支持“大语言模型”、“文生图模型”

    应用场景

    参考 应用场景说明

    算法

    选择“应用场景”下内置的算法类型

    训练数据

    训练所使用的数据,只可选则对应应用场景的数据

    验证数据

    每一次训练迭代后使用该数据验证,只可选则对应应用场景的数据

    测试数据

    每一次训练迭代后使用该数据测试,只可选则对应应用场景的数据

    训练参数

    “任务类型”、“应用场景”、“算法”

    确定后,将自动在页面生成可填参数

    保存模型地址

    选择一个模型地址用于保存训练结果,只可选择对应应用场景的模型

    单节点规格

    单个计算节点的配置

    节点名称

    指定大模型精调可运行的节点,不可与“驱动版本”、“专属资源池”同时指定

    专属资源池

    指定大模型精调运行的专属资源池

    节点数

    每个任务总的资源量为 单节点规格 x 计算节点数量

    使用时长

    支持配置使用时长

  4. 排队预测;

    在创建按钮的右边会显示是否需要排队的信息,参考 排队预测

  5. 单击“创建”。

    ../../_images/create_llm_finetune_job.png

    图 218 创建大模型精调

应用场景说明

不同任务类型支持的应用场景如下:

  1. 大语言模型:强化学习、预训练、奖励模型、大语言模型微调。

  2. 文生图模型:文生图模型微调。

节点规格说明

和任务式训练一致,请参考 节点规格说明

调整优先级

和任务式训练一致,请参考 调整优先级

克隆大模型精调

  1. 左侧功能栏选择“训练管理->大模型精调”;

  2. 选择需要克隆的任务,单击该任务的“操作”按钮;

  3. 在下拉列表中,单击“克隆”;

  4. 按需调整配置;

  5. 单击“创建”。

搜索大模型精调

  1. 左侧功能栏选择“训练管理->大模型精调”;

  2. 单击左上角搜索框;

  3. 在下拉列表中,可基于“名称”、“状态”、“创建人”、“算力规格”和“保存模型地址”搜索大模型精调。

状态说明

大模型精调的状态有:“排队中”、“运行中”、“错误”、“停止”、“过期”和“成功”。

“过期”:当大模型精调运行时长超过了配置的“使用时长”,会自动变成“过期”状态。

查看大模型精调详情

  1. 左侧功能栏选择“训练管理->大模型精调”;

  2. 单击大模型精调“名称”,进入大模型精调详情页,可查看大模型精调状态、详情、算力规格列表与当前运行使用的规格、运行指令等信息;

  3. 在大模型精调详情页,单击上方“监控 ”功能,可查看大模型精调 CPU、内存、MLU、网络流量等资源实时数据;

  4. 在大模型精调详情页,单击上方“日志”功能,可查看大模型精调的日志、事件信息。

调整使用时长

用户可以调整“运行中”的任务的使用时长,该操作不会重置容器。

操作步骤:

  1. 左侧功能栏选择“训练管理->大模型精调”;

  2. 选择需要调整使用时长的任务,单击该任务的“操作”按钮;

  3. 在下拉列表中,单击“调整使用时长”;

  4. 选择“使用时长” 或输入自定义时长;

  5. 单击“确认调整”。

    ../../_images/trainingjob-duration.png

    图 219 调整大模型精调使用时长

停止大模型精调

  1. 左侧功能栏选择“训练管理->大模型精调”;

  2. 选择需要停止的任务,单击该任务的“操作”按钮;

  3. 在下拉列表中,单击“停止”;

  4. 单击“确认停止”。

删除大模型精调

  1. 左侧功能栏选择“训练管理->大模型精调”;

  2. 单个删除:选择需要删除的任务,单击“操作”按钮,在下拉列表中,单击“删除”;

  3. 批量删除:单击表格右上角“编辑”按钮,勾选多个需要删除的任务,单击表格右上角“删除”按钮;

  4. 单击“确认删除”。

他人访问权限

创建时,可以限制同项目内其他用户的访问权限,包括:“可读写”、“只读”和“不可读写”。 应用访问权限不得高于资源访问权限。 若管理员关闭共享权限,则他人访问权限只能为“不可读写”。

不同权限支持的操作如下:

表 162 他人支持的操作

可读写

只读

不可读写

查看详情

X

克隆

X

调整使用时长

X

X

调整优先级

X

X

停止

X

X

删除

X

X