Рубрик
Хотите внедрить ИИ в бизнес? Создайте собственный сервис для решения ваших задач Компании все чаще хотят использовать большие языковые модели как сервис для инференса. Подключаться к ним по HTTP-API из внутренних инструментов и приложений так же, как к базам данных или поисковым движкам. В Академии Selectel рассказали, как запустить Qwen на GPU-сервере и создать OpenAI-совместимый API через vLLM для интеграции в ваши проекты: https://slc.tl/z9gpa. На выходе получится рабочий прототип ИИ-сервиса с доступным эндпоинтом для инференса. Читайте инструкцию и запускайте ИИ-решения на GPU-серверах в Selectel: https://slc.tl/vpy57
1 фото
Хотите внедрить ИИ в бизнес? Создайте собственный сервис для решения ваших задач
Рубрики
Информационные технологии и Телеком