On-premise нейросеть — это языковая модель на ваших серверах, а в чужом облаке. Стоимость складывается из четырёх частей: железо с видеокартами, настройка и развёртывание, поддержка и обновления, плюс зарплата человека, который всё это держит. Главный вопрос для бизнеса звучит так: «оправдан ли локальный вариант под вашу задачу или хватит облака через корректный доступ», а вовсе про цену сервера.
Из чего цена
Цену локальной нейросети формируют четыре статьи: серверное железо с видеокартами под размер модели, разовая настройка и развёртывание, регулярная поддержка с обновлениями и человек, который держит систему. Само железо — крупная разовая трата, а основной хвост расходов прячется в эксплуатации. Облако через корректный доступ почти всегда дешевле на старте; локальный вариант оправдан при жёстких требованиях к конфиденциальности данных.
Когда руководитель спрашивает про стоимость локальной нейросети, в голове обычно одна цифра — цена сервера. На практике железо составляет меньше половины полной стоимости владения. Остальное уходит на настройку, поддержку и людей, и эта часть капает каждый месяц, пока система работает. Поэтому считать надо расход за год эксплуатации вместо одной лишь разовой закупки.
Размер модели задаёт класс железа. Маленькая модель запускается на одной мощной видеокарте, и здесь затраты на оборудование умеренные. Большая модель уровня сильных открытых решений требует нескольких видеокарт, серьёзного охлаждения и питания, и счёт за железо вырастает в разы. Прежде чем считать бюджет, определитесь, какой размер модели реально закрывает вашу задачу — часто хватает средней, а большую берут по инерции.
- Железо: сервер с одной или несколькими видеокартами, память, охлаждение, питание — крупная разовая трата
- Развёртывание: установка модели, настройка под ваши данные, интеграция с вашими системами
- Поддержка: обновления модели, мониторинг, устранение сбоев, регулярная работа
- Люди: инженер, который держит систему, либо подрядчик на обслуживании — постоянный расход
Затраты на железо
Видеокарта — главный множитель цены сервера для нейросети. Модель целиком должна поместиться в видеопамять, иначе она работает медленно либо вовсе отказывается запускаться. Чем больше модель и чем длиннее контекст, который вы ей даёте, тем больше памяти нужно. Отсюда правило: сначала выбираете модель под задачу, потом подбираете железо под модель, а наоборот.
- Определите задачу и нужный размер модели: текстовые ответы, разбор документов, поиск по базе знаний
- Посмотрите требования модели к видеопамяти при вашей длине контекста
- Подберите видеокарту с запасом памяти под эту модель и небольшим резервом на рост
- Заложите сервер, охлаждение и стабильное питание под выбранную карту
- Посчитайте разовую закупку и сравните с годовой стоимостью облака на том же объёме
Дефицит и цена видеокарт меняются непредсказуемо, а сама карта со временем устаревает. Сервер, купленный сегодня, через пару лет тянет уже модели прошлого поколения. Закладывайте это в расчёт: локальное железо — это актив с понятным сроком жизни, который придётся обновлять, вместо вечной покупки.
Конкретные цены на серверы и видеокарты меняются от месяца к месяцу, и любая цифра из статьи устареет к моменту вашей закупки. Сверяйте актуальную стоимость у поставщиков железа на день расчёта. Для прикидки держите в голове порядок: рабочая станция под среднюю модель стоит как небольшой автомобиль, а кластер под крупную модель — как несколько машин сразу.
Настройка и поддержка
Железо без настройки — это просто дорогая коробка. Развёртывание включает установку модели, подключение её к вашим данным, настройку доступа и интеграцию с системами, где сотрудники реально работают. Эта часть требует инженера, который понимает и модели, и инфраструктуру. Разовая работа по запуску сопоставима по деньгам с заметной долей стоимости самого железа.
| Статья | Характер расхода | Что влияет на сумму |
|---|---|---|
| Развёртывание модели | Разовый | Сложность интеграции, число систем, подготовка данных |
| Дообучение под ваши данные | Разовый, по необходимости | Объём и качество ваших данных |
| Поддержка и мониторинг | Ежемесячный | Критичность системы, требования к доступности |
| Обновление модели | Периодический | Скорость выхода новых версий, ваш цикл обновлений |
Поддержка — это хвост, который тянется всё время работы системы. Модель надо мониторить, обновлять под новые версии, чинить сбои сервера и подстраивать под изменившиеся данные. Либо у вас есть штатный инженер, который занимается этим параллельно с другими задачами, либо вы платите подрядчику за обслуживание. Оба варианта — постоянная статья бюджета, и именно она в сумме за год часто превышает стоимость железа.
Дообучение под ваши данные — отдельная опция, которая нужна реже, чем её продают. Для большинства задач хватает готовой открытой модели с правильно поданным контекстом из ваших документов через поиск по базе знаний. Дообучение оправдано, когда у вас редкая специфика и большой объём качественных данных, на которых модель учится. В остальных случаях это дорогая работа, без которой можно обойтись.
Локально против облака
Облачная модель через корректный доступ почти всегда дешевле на входе: вместо закупки железа и найма инженера под сервер вы платите за фактический объём запросов. Для бизнеса, который только проверяет, окупается ли нейросеть, это разумный старт. Локальный вариант обгоняет облако по деньгам лишь при очень большом и постоянном объёме обращений, когда помесячная оплата облака превышает амортизацию своего сервера.
Главный честный довод за on-premise — конфиденциальность. Если по закону или по договору данные физически нельзя выпускать за периметр компании, локальная модель решает задачу, недоступную облаку. Здесь вопрос упирается в требование закона, а цена уходит на второй план: вы платите за то, что данные остаются у вас. Это касается отдельных банков, медицины и работы с гостайной.
Считайте честно: разовая закупка железа плюс годовая поддержка плюс зарплатная доля инженера — против годовой оплаты облака на вашем объёме запросов. Для малого и среднего объёма облако выигрывает с большим отрывом. Перелом наступает либо при огромном потоке обращений, либо при требовании держать данные внутри периметра. Без одного из этих условий локальная нейросеть — это переплата за лишний контроль.
Частый компромисс — гибрид: чувствительные данные обрабатывает скромная локальная модель, а тяжёлые задачи без секретных данных уходят в облако через корректный доступ. Так вы держите конфиденциальное у себя и экономите на мощном железе под весь объём. Какой расклад подходит именно вам, зависит от ваших данных и нагрузки — это тема разбора процессов.
Как считать
Считайте полную стоимость владения за год, а ценник железа. Сложите разовую закупку сервера, поделённую на срок его жизни, разовую настройку, ежемесячную поддержку за двенадцать месяцев и долю зарплаты инженера. Полученную сумму сравните с годовой оплатой облака на вашем реальном объёме запросов. Только это сравнение отвечает на вопрос, оправдан ли локальный вариант деньгами.
Откажитесь от расчёта по верхней планке. Большую модель и кластер видеокарт берут по инерции, хотя задачу закрывает средняя модель на одной карте. Сначала проверьте гипотезу на облаке: запустите процесс через корректный доступ, замерьте реальный объём запросов и качество ответов. Когда вы знаете нагрузку в цифрах, расчёт локального варианта становится честным, а до этого любой бюджет — это гадание.
Сложность здесь в том, чтобы отделить реальное требование к конфиденциальности от желания контроля ради контроля. Самый частый провал — компания покупает дорогой сервер под локальную модель, потому что так спокойнее, а через год выясняет, что данные оказались несекретными и облако обошлось бы втрое дешевле. На разборе процессов мы вместе смотрим на ваши данные и нагрузку и считаем, нужен ли вам on-premise или хватит облака.