如何使用vLLM部署DeepSeek V2 Lite模型

近期，许多企业在考虑数据隐私问题时，选择在内部部署私有化的大语言模型。常见的部署工具包括ollama、vllm、xinference、sglang和lm studio。其中，ollama和lm studio仅支持gguf类型量化的大语言模型，而vllm、xinference和sglang则支持pytorch或transformer类型的大模型，这些模型通常可以在huggingface上找到。ollama和lm studio适用于桌面显卡领域的个人电脑部署，而vllm、xinference和sglang则更适合服务器领域的部署。本文将重点介绍如何使用vllm部署和量化deepseek大语言模型，部署环境为4卡nvidia 2080ti，共约48g显存。

下载LLM模型

首先，我们需要下载所需的大语言模型。在国内，通常使用ModelScope下载，因为其速度快且稳定。我们使用ModelScope官方提供的工具modelscope来下载，它支持自动重连和断点续传功能。首先，我们需要切换到conda的base环境，并安装modelscope。

conda activate basepip install modelscope