快速创建在线服务

本文介绍如何使用在线服务功能，快速部署一个目标检测在线服务。

创建模型包

模型包参考介绍 模型包。

  1. 左侧功能栏选择“部署上线->模型包”；

  2. 选择“Seldon 模型包”选项卡；

  3. 单击右上角“添加 Seldon 模型包”；

  4. 填写名称

  5. 选择我的模型“for-example”中的 /pretrained/example4 目录作为模型；

  6. 选择“cair/seldon-tensorflow-cv-base:20220104”作为基础镜像；

  7. 选择我的算法卷“retinanet”作为推理代码；

  8. 点击“添加”按钮。

等待模型包创建完成。

创建在线服务

在线服务参考介绍 在线服务。

  1. 左侧功能栏选择“部署上线->在线服务”；

  2. 单击右上角“创建在线服务”；

  3. 填写名称；

  4. 选择上一章节创建的 Seldon 模型包；

  5. 选择单节点规格，内存大于 4G；

  6. 输入节点数为 1；

  7. 点击“创建”按钮。

等待在线服务至运行中状态。

在线测试

选择 “在线测试” 选项卡，点击“上传预测图片”按钮，上传待检测图片，查看返回结果。可以使用以下待检测图片：

../_images/realtime_service_online_test_src.png

图 60 在线测试待检测图片

检测结果如下：

../_images/realtime_service_online_test.png

图 61 在线测试

创建金丝雀版本

金丝雀发布参考介绍 金丝雀发布。

金丝雀版本可以切换在线服务中的模型包、算力规格、节点数、参数等配置。下面以切换节点数为例，介绍如何创建金丝雀版本。

  1. 在线服务详情页顶部，点击“+金丝雀版本”按钮；

  2. 选择上一章节使用的 Seldon 模型包和算力规格；

  3. 输入节点数为 2；

  4. 点击“创建”按钮。

在“金丝雀发布”选项卡中，等待金丝雀版本启动。

../_images/realtime_service_canary.png

图 62 金丝雀发布