Назад
ALeeXSD @ALeeXSD
vLLM: Высокопроизводительный движок инференса и сервинга LLM
GitHubОтраслевой стандарт сервинга нейросетей с алгоритмом PagedAttention, непрерывным батчингом и поддержкой распределённого вывода.
Версия на другом языке:EN
vLLM — высокопроизводительная библиотека с открытым исходным кодом (более 36 000 звёзд на GitHub), ставшая золотым стандартом продакшен-инференса больших языковых моделей.
Ключевые преимущества vLLM
- Алгоритм PagedAttention: инновационное управление памятью KV-кэша по принципу виртуальной памяти ОС, устраняющее фрагментацию памяти и увеличивающее пропускную способность сервинга в 2–4 раза.
- Непрерывный батчинг (Continuous Batching): динамическое добавление новых входящих…
vllminferenceaipython
Версии
Версии и история изменений ведутся в репозитории на GitHub.
Условия использования
Apache-2.0
Команда установки
pip install vllm
Версия
0.7.2
Комментарии · 0
Пока ничего нет
Войдите, чтобы участвовать