vLLM

Быстрый сервер для запуска моделей в продакшене

vllm.ai ↗
01

Что это

Открытый движок инференса с высокой пропускной способностью: поднимаете OpenAI-совместимый API для открытых моделей на своих GPU.

02

Теги

  • инференс
  • свой сервер
  • open source
  • GPU
  • OpenAI-совместимый
03

Похожие

Hugging Face

Главный хаб открытых моделей

001

Сотни тысяч моделей и датасетов, демо-приложения Spaces и библиотеки для обучения. Точка старта для любой работы с open source.

codingFreemium

Ultralytics

Создатели YOLO для распознавания объектов

002

Популярные открытые модели YOLO для детекции, сегментации и трекинга плюс облачная платформа для обучения на своих данных.

imageFreemium

SuperAnnotate

Настраиваемая разметка для обучения LLM и зрения

003

Конструктор интерфейсов для разметки любых задач, включая оценку ответов моделей, плюс команда асессоров.

modelsПлатный