Zawap
Назад

ALeeXSD @ALeeXSD

vLLM: Высокопроизводительный движок инференса и сервинга LLM

GitHub

Отраслевой стандарт сервинга нейросетей с алгоритмом PagedAttention, непрерывным батчингом и поддержкой распределённого вывода.

Версия на другом языке:EN
vLLM — высокопроизводительная библиотека с открытым исходным кодом (более 36 000 звёзд на GitHub), ставшая золотым стандартом продакшен-инференса больших языковых моделей. Ключевые преимущества vLLM - Алгоритм PagedAttention: инновационное управление памятью KV-кэша по принципу виртуальной памяти ОС, устраняющее фрагментацию памяти и увеличивающее пропускную способность сервинга в 2–4 раза. - Непрерывный батчинг (Continuous Batching): динамическое добавление новых входящих…
vllminferenceaipython
0
Версии

Версии и история изменений ведутся в репозитории на GitHub.

Условия использования

Apache-2.0

Команда установки

pip install vllm

Версия

0.7.2

Комментарии · 0

Пока ничего нет

Войдите, чтобы участвовать