MultiModalPredictor.optimize_for_inference

MultiModalPredictor.optimize_for_inference(providers: dict | List[str] | None = None)

优化预测器的模型以用于推理。

在底层实现中，该方法会将 PyTorch 模块转换为 ONNX 模块，以便我们可以利用 onnxruntime 中高效的执行提供程序进行更快的推理。

参数：

providers (dict 或 str, 默认为 None) –

onnxruntime 中用于模型预测的执行提供程序列表。

默认情况下，providers 参数为 None。如果正确安装了 tensorrt 包，该方法将生成一个 ONNX 模块，该模块将使用 onnxruntime 中的 TensorrtExecutionProvider 执行模型推理。否则，onnxruntime 将回退到使用 CUDA 或 CPU 执行提供程序。

返回：

onnx_module – 可用于替换 predictor._model 进行模型推理的基于 onnx 的模块。

返回类型：

OnnxModule