无法直接通过调用openai compatible api的方式使用？
#5
by
burrowswang
- opened
无法直接通过调用openai compatible api的方式使用？必须要结合paddleocr客户端才能使用吗？
可不可以参考dots.ocr做到端到端输出呢？
PaddleOCR-VL输出结构化的信息，不只是文本，因此与OpenAI的接口并不兼容。一方面，我们为PaddleOCR-VL提供了端到端的推理服务，可以通过HTTP/gRPC请求调用，不需要用到paddleocr客户端（ https://paddlepaddle.github.io/PaddleX/latest/pipeline_usage/tutorials/ocr_pipelines/PaddleOCR-VL.html#333 ）；另一方面，PaddleOCR-VL-0.9B模型本身也可以被部署为OpenAI compatible服务。详情请参考文档。
You may refer to https://mp.weixin.qq.com/s/VsP2_lTy8JEscYWgSr4Yrw if you want to deploy paddleocr-vl-0.9B through vLLM. Thanks to the paddleocr team for the great work.
A100显卡，如何使用SGLang或VLLM部署