MMSegmentation 又称mmseg，是一个基于 PyTorch 的开源对象分割工具箱。它是 OpenMMLab 项目的一部分。
请参考官网安装指南。
mmdeploy 有以下几种安装方式:
方式一： 安装预编译包
请参考安装概述
方式二： 一键式脚本安装
如果部署平台是 Ubuntu 18.04 及以上版本， 请参考脚本安装说明，完成安装过程。
比如，以下命令可以安装 mmdeploy 以及配套的推理引擎——ONNX Runtime.
git clone --recursive -b main https://github.com/open-mmlab/mmdeploy.git
cd mmdeploy
python3 tools/scripts/build_ubuntu_x64_ort.py $(nproc)
export PYTHONPATH=$(pwd)/build/lib:$PYTHONPATH
export LD_LIBRARY_PATH=$(pwd)/../mmdeploy-dep/onnxruntime-linux-x64-1.8.1/lib/:$LD_LIBRARY_PATH说明:
- 把
$(pwd)/build/lib添加到PYTHONPATH，目的是为了加载 mmdeploy SDK python 包mmdeploy_runtime，在章节 SDK模型推理中讲述其用法。 - 在使用 ONNX Runtime推理后端模型时，需要加载自定义算子库，需要把 ONNX Runtime 库的路径加入环境变量
LD_LIBRARY_PATH中。 方式三： 源码安装
在方式一、二都满足不了的情况下，请参考源码安装说明 安装 mmdeploy 以及所需推理引擎。
你可以使用 tools/deploy.py 把 mmseg 模型一键式转换为推理后端模型。 该工具的详细使用说明请参考这里.
以下，我们将演示如何把 unet 转换为 onnx 模型。
cd mmdeploy
# download unet model from mmseg model zoo
mim download mmsegmentation --config unet-s5-d16_fcn_4xb4-160k_cityscapes-512x1024 --dest .
# convert mmseg model to onnxruntime model with dynamic shape
python tools/deploy.py \
configs/mmseg/segmentation_onnxruntime_dynamic.py \
unet-s5-d16_fcn_4xb4-160k_cityscapes-512x1024.py \
fcn_unet_s5-d16_4x4_512x1024_160k_cityscapes_20211210_145204-6860854e.pth \
demo/resources/cityscapes.png \
--work-dir mmdeploy_models/mmseg/ort \
--device cpu \
--show \
--dump-info转换的关键之一是使用正确的配置文件。项目中已内置了各后端部署配置文件。 文件的命名模式是：
segmentation_{backend}-{precision}_{static | dynamic}_{shape}.py
其中：
- {backend}: 推理后端名称。比如，onnxruntime、tensorrt、pplnn、ncnn、openvino、coreml 等等
- {precision}: 推理精度。比如，fp16、int8。不填表示 fp32
- {static | dynamic}: 动态、静态 shape
- {shape}: 模型输入的 shape 或者 shape 范围
在上例中，你也可以把 unet 转为其他后端模型。比如使用segmentation_tensorrt-fp16_dynamic-512x1024-2048x2048.py，把模型转为 tensorrt-fp16 模型。
当转 tensorrt 模型时, --device 需要被设置为 "cuda"
在使用转换后的模型进行推理之前，有必要了解转换结果的结构。 它存放在 --work-dir 指定的路路径下。
上例中的mmdeploy_models/mmseg/ort，结构如下：
mmdeploy_models/mmseg/ort
├── deploy.json
├── detail.json
├── end2end.onnx
└── pipeline.json
重要的是：
- end2end.onnx: 推理引擎文件。可用 ONNX Runtime 推理
- *.json: mmdeploy SDK 推理所需的 meta 信息
整个文件夹被定义为mmdeploy SDK model。换言之，mmdeploy SDK model既包括推理引擎，也包括推理 meta 信息。
以上述模型转换后的 end2end.onnx 为例，你可以使用如下代码进行推理：
from mmdeploy.apis.utils import build_task_processor
from mmdeploy.utils import get_input_shape, load_config
import torch
deploy_cfg = 'configs/mmseg/segmentation_onnxruntime_dynamic.py'
model_cfg = './unet-s5-d16_fcn_4xb4-160k_cityscapes-512x1024.py'
device = 'cpu'
backend_model = ['./mmdeploy_models/mmseg/ort/end2end.onnx']
image = './demo/resources/cityscapes.png'
# read deploy_cfg and model_cfg
deploy_cfg, model_cfg = load_config(deploy_cfg, model_cfg)
# build task and backend model
task_processor = build_task_processor(model_cfg, deploy_cfg, device)
model = task_processor.build_backend_model(backend_model)
# process input image
input_shape = get_input_shape(deploy_cfg)
model_inputs, _ = task_processor.create_input(image, input_shape)
# do model inference
with torch.no_grad():
result = model.test_step(model_inputs)
# visualize results
task_processor.visualize(
image=image,
model=model,
result=result[0],
window_name='visualize',
output_file='./output_segmentation.png')你也可以参考如下代码，对 SDK model 进行推理：
from mmdeploy_runtime import Segmentor
import cv2
import numpy as np
img = cv2.imread('./demo/resources/cityscapes.png')
# create a classifier
segmentor = Segmentor(model_path='./mmdeploy_models/mmseg/ort', device_name='cpu', device_id=0)
# perform inference
seg = segmentor(img)
# visualize inference result
## random a palette with size 256x3
palette = np.random.randint(0, 256, size=(256, 3))
color_seg = np.zeros((seg.shape[0], seg.shape[1], 3), dtype=np.uint8)
for label, color in enumerate(palette):
color_seg[seg == label, :] = color
# convert to BGR
color_seg = color_seg[..., ::-1]
img = img * 0.5 + color_seg * 0.5
img = img.astype(np.uint8)
cv2.imwrite('output_segmentation.png', img)除了python API，mmdeploy SDK 还提供了诸如 C、C++、C#、Java等多语言接口。 你可以参考样例学习其他语言接口的使用方法。
| Model | TorchScript | OnnxRuntime | TensorRT | ncnn | PPLNN | OpenVino |
|---|---|---|---|---|---|---|
| FCN | Y | Y | Y | Y | Y | Y |
| PSPNet* | Y | Y | Y | Y | Y | Y |
| DeepLabV3 | Y | Y | Y | Y | Y | Y |
| DeepLabV3+ | Y | Y | Y | Y | Y | Y |
| Fast-SCNN* | Y | Y | Y | N | Y | Y |
| UNet | Y | Y | Y | Y | Y | Y |
| ANN* | Y | Y | Y | N | N | N |
| APCNet | Y | Y | Y | Y | N | N |
| BiSeNetV1 | Y | Y | Y | Y | N | Y |
| BiSeNetV2 | Y | Y | Y | Y | N | Y |
| CGNet | Y | Y | Y | Y | N | Y |
| DMNet | ? | Y | N | N | N | N |
| DNLNet | ? | Y | Y | Y | N | Y |
| EMANet | Y | Y | Y | N | N | Y |
| EncNet | Y | Y | Y | N | N | Y |
| ERFNet | Y | Y | Y | Y | N | Y |
| FastFCN | Y | Y | Y | Y | N | Y |
| GCNet | Y | Y | Y | N | N | N |
| ICNet* | Y | Y | Y | N | N | Y |
| ISANet* | N | Y | Y | N | N | Y |
| NonLocal Net | ? | Y | Y | Y | N | Y |
| OCRNet | Y | Y | Y | Y | N | Y |
| PointRend* | Y | Y | Y | N | N | N |
| Semantic FPN | Y | Y | Y | Y | N | Y |
| STDC | Y | Y | Y | Y | N | Y |
| UPerNet* | N | Y | Y | N | N | N |
| DANet | ? | Y | Y | N | N | Y |
| Segmenter* | N | Y | Y | Y | N | Y |
| SegFormer* | ? | Y | Y | N | N | Y |
| SETR | ? | Y | N | N | N | Y |
| CCNet | ? | N | N | N | N | N |
| PSANet | ? | N | N | N | N | N |
| DPT | ? | N | N | N | N | N |
-
所有 mmseg 模型仅支持 "whole" 推理模式。
-
PSPNet，Fast-SCNN 仅支持静态输入，因为多数推理框架的 nn.AdaptiveAvgPool2d 不支持动态输入。
-
对于仅支持静态形状的模型，应使用静态形状的部署配置文件，例如
configs/mmseg/segmentation_tensorrt_static-1024x2048.py -
对于喜欢部署模型生成概率特征图的用户，将
codebase_config = dict(with_argmax=False)放在部署配置中就足够了。