LMDeploy
Версия от 04:47, 26 января 2026; Dzmuh (обсуждение | вклад) (Новая страница: «{{Заготовка}} '''LMDeploy''' — это открытый набор инструментов для сжатия, развертывания и обслуживания больших языковых моделей (LLM) и визионно-языковых моделей (VLM), разработанный командами MMRazor и MMDeploy (от Tencent и InternLM). Он ориентирован на оптимизацию процес...»)
 | Это заготовка статьи. |
LMDeploy — это открытый набор инструментов для сжатия, развертывания и обслуживания больших языковых моделей (LLM) и визионно-языковых моделей (VLM), разработанный командами MMRazor и MMDeploy (от Tencent и InternLM). Он ориентирован на оптимизацию процесса инференса (вывода), обеспечивая высокую производительность, приватность данных и масштабируемость, особенно в сценариях с ограниченными ресурсами. LMDeploy позволяет запускать модели локально или в распределенной среде, минимизируя зависимость от облачных сервисов, и часто сравнивается с инструментами вроде vLLM или SGLang по скорости и эффективности.
Описание
Ссылки
- Проект LMDeploy на сайте GitHub