Рубрик
Триллион параметров на CPU: реально ли запустить тяжелый AI на «обычных» процессорах? 🤔 Новые LLM включают до триллиона параметров. Кажется, что без фермы из H200 к ним не подступиться, особенно если данные нельзя отдавать в публичные облака. Но что, если ваша задача — не обслуживать миллион пользователей, а провести локальные тесты или развернуть решение для узкого круга внутри своей сети? 💰 Более бюджетный способ — запуск LLM на CPU. Так, сервер с двумя CPU может стоить ~150 000 ₽/мес, а аналогичный с GPU — уже более 700 000 ₽. В Академии Selectel читайте подробнее о том, как запустить ИИ-модели на доступном железе и какие инструменты для этого использовать: slc.tl/pug9m Нужны ресурсы для запуска моделей, обучения AI-моделей или рендеринга изображений? Арендуйте облачные серверы под задачи вашего проекта в Selectel ➡ slc.tl/gig3m
1 фото
Триллион параметров на CPU: реально ли запустить тяжелый AI на «обычных» процессорах?
Рубрики
Информационные технологии и Телеком