ММООЗЗГГ.ru

Разбор

Обслуживание сервера для ИИ: чего не пишут в статьях про «свой ИИ за миллион»

6 мин15 источников

Железо ломается, модели устаревают, обновления ломают совместимость, а инженер стоит дороже электричества. Коротко: на сервере с 4 картами ждите серьезный сбой примерно раз в полтора года, а обслуживание сервера для ИИ отдела на двух картах обходится, по нашему расчету, в 46 000–71 000 ₽ в месяц вместе с долей инженера. Ниже цифры о надежности из отчета об обучении модели на 16 384 картах, их пересчет на маленький сервер и список работ, которые кто-то должен делать каждый месяц.

На странице · 8 разделов

Как часто ломается

При обучении модели на кластере из 16 384 серверных карт за 54 дня произошло 419 незапланированных прерываний, примерно одно каждые три часа; 148 из них, 30,1%, из-за отказов карт и их соединений, еще 72, 17,2%, из-за памяти на картах. Команда удержала более 90% полезного времени, потому что 416 сбоев обработала автоматика. Наш пересчет на маленький масштаб: 419 сбоев на 884 736 карто-дней дают один сбой примерно на 2 100 дней работы одной карты под полной нагрузкой, то есть для сервера на 4 карты один сбой раз в полтора года, для кластера на 8 карт раз в 8–9 месяцев. Это оценка по чужим данным, а не обещание; производитель не указывает коррекцию ошибок памяти в характеристиках игровых карт, а у части первых RTX 5090, менее 0,5% по заявлению производителя, нашли заводской дефект чипа без влияния на задачи ИИ, и такие карты меняли по гарантии.

Что делать каждый месяц

Обновлять драйверы и движок выдачи, проверяя, что модель после обновления отвечает так же. Следить за температурой и ошибками памяти. Делать резервные копии настроек, промптов и базы документов. Обновлять модель, когда выходит более сильная, и заново гонять свой набор тестовых запросов. Держать план на случай отказа карты: запасная карта, аренда GPU на неделю или переключение агентов на облачную модель для незакрытых данных.

Кто и сколько

Медиана зарплаты DevOps-инженера по рынку 220 000–250 000 ₽ в месяц, в Москве до 315 000 ₽ у специалиста среднего уровня и 366 000–490 000 ₽ у старшего, по обзору рынка от 03.09.2026. Серверу с одной моделью не нужен человек на полную ставку: закладывайте, по нашей оценке, 10–20% ставки, 25 000–60 000 ₽ в месяц, или поддержку подрядчика. Срок гарантии проверяйте в счете продавца; замена карты вне гарантии это 0,5–2,3 млн ₽ по ценам на 29.09.2026.

Сколько стоит обслуживание в год

Практическое правило для серверного железа: 10% цены в год на замену дисков, вентиляторов и блоков питания, обновления и мелкий ремонт; для Mac можно взять 5%, для игровых карт под круглосуточной нагрузкой 15%. Рабочая станция с RTX 5090 за 1 074 990 ₽ по этому правилу стоит около 107 500 ₽ в год, 8 958 ₽ в месяц. Сервер с двумя RTX PRO 6000 за 2,51 млн ₽: около 251 000 ₽ в год, 20 917 ₽ в месяц. К этому прибавьте долю инженера: в калькуляторе стоимости по умолчанию 25 000 ₽ в месяц для рабочей станции и 50 000 ₽ для сервера. Срок службы считайте 36 месяцев, для игровых карт под круглосуточной нагрузкой, по нашей оценке, 24.

Резерв

Правило: сервис, от которого зависит работа отдела, не живет на одной карте без плана. Дешевле всего резерв через аренду: H100 от 242 ₽ в час, RTX 4090 от 43 ₽ в час с почасовой оплатой в российских облаках; договор на аренду заранее, чтобы включить за час, а не за неделю.

Запасная карта или аренда: расчет

Запасная H100 за 2 287 329 ₽ равна 9 450 часам аренды по 242 ₽, это около 56 недель круглосуточной работы. Неделя аренды H100 без перерыва стоит около 40 700 ₽, неделя RTX 4090 по 43 ₽ в час около 7 200 ₽. При одном серьезном сбое примерно раз в полтора года на сервер с 4 картами резерв через аренду обходится в разы дешевле карты на полке. Запасная карта оправдана, когда простой в несколько часов недопустим, а данные нельзя вынести даже в российское облако.

Что показал опыт российских команд

Большая часть обслуживания относится к программам, а не к железу. Команда крупного российского разработчика ИИ, собравшая локального агента на арендованной карте на 24 ГБ, подняла таймаут холодной загрузки модели выше 300 секунд и за один вечер разобрала двенадцать ошибок; надежной оказалась цепочка примерно до 6 последовательных вызовов инструментов. В сравнении «Петрович-Тех» локальная модель на 9 млрд параметров на задаче из 15 шагов дала 1 успех из 3 прогонов и 2 ложных отчета о завершении: после каждого обновления проверяют результат, а не отчет агента. Цена простоя видна по НСИС: на локальной модели оператор ускорил обработку обращений в 20 раз и принял рост обращений в 1,5 раза без найма. Когда от модели зависит работа отдела, сбой без плана останавливает этот отдел.

Что подготовить до запуска

Назначьте ответственного по имени и запишите, сколько часов в месяц он отдает серверу. Поставьте мониторинг температуры и ошибок памяти в первый день, а не после первого сбоя. Сохраните срок гарантии из счета и узнайте, кто и куда везет карту в ремонт. Подпишите договор аренды GPU заранее и проверьте, что резервная схема запускается. Соберите свой набор тестовых запросов с правильными ответами: по нему принимают каждое обновление драйверов, движка и модели.

Вопросы и ответы

Можно ли обойтись без инженера?

На ноутбуке или Mac Studio для одной команды да, если кто-то из сотрудников умеет обновлять программы. Для сервера, который обслуживает отдел, нет.

Как понять, что карта начинает отказывать?

Ошибки памяти в логах, рост температуры при той же нагрузке, случайные перезагрузки под нагрузкой. Мониторинг это первое, что ставят после модели.

Сколько стоит обслуживание сервера для ИИ в месяц?

По практическому правилу 10% цены железа в год плюс доля инженера. Для сервера с двумя RTX PRO 6000 это около 20 900 ₽ в месяц на ремонт и замену и 25 000–50 000 ₽ за 10–20% ставки, по нашей оценке. Медиана зарплаты DevOps-инженера в 2026 году 220 000–250 000 ₽ в месяц.

Что делать, если карта сломалась?

Переключить сервис на резерв: арендованную карту по заранее подписанному договору или облачную модель для задач без закрытых данных. Затем сдать карту по гарантии, срок которой указан в счете продавца. Вне гарантии замена стоит 0,5–2,3 млн ₽ по ценам на 29.09.2026.

Как часто обновлять модель?

Когда выходит модель, которая на вашем наборе тестовых запросов отвечает лучше, а не по календарю. Перед заменой прогоните один и тот же набор на старой и новой модели и сравните ответы. Проверяйте результат, а не отчет: в сравнении «Петрович-Тех» локальная модель дважды из трех прогонов сообщила о завершении, не закончив работу.

Источники и проверка

Проверено редакцией 29 сентября 2026.

  1. Tom's Hardware, сбои при обучении Llama 3 на 16 384 H100, 2024 (tomshardware.com)
  2. 3DNews, RTX 5090 в России от 350 000 ₽, 12.03.2025 (3dnews.ru)
  3. Хабр (Slurm), зарплаты DevOps-инженеров, 03.09.2026 (habr.com)
  4. Servermall, NVIDIA A100 40/80 ГБ, цены на 29.09.2026 (servermall.ru)
  5. Servermall, NVIDIA H100 SXM5 80 ГБ, цена на 29.09.2026 (servermall.ru)
  6. Intelion Cloud, аренда H100/H200 (проверено 29.09.2026) (intelion.cloud)
  7. Tproger, облачные GPU для ML в 2026 году, 21.05.2026 (tproger.ru)
  8. Tom's Hardware, NVIDIA: дефект менее 0,5% RTX 5090, без влияния на задачи ИИ, 22.02.2025 (tomshardware.com)
  9. GPU Индекс, аренда RTX 4090 в России: 173 предложения, от 31,75 ₽ в час (проверено 30.09.2026) (gpuindex.ru)
  10. GPU Индекс, аренда H100 в России: 41 предложение, от 242 ₽ в час (проверено 30.09.2026) (gpuindex.ru)
  11. Цифровые платформы, кейс №4084: VK Tech, локальный агент на карте A30 24 ГБ (platforms.su)
  12. Цифровые платформы, кейс №4085: Петрович-Тех, локальная модель 9B против облачных (platforms.su)
  13. Цифровые платформы, кейс №3475: НСИС, локальная LLM в обработке обращений (platforms.su)
  14. iXBT, RTX PRO 6000 Blackwell 96 ГБ за 1,08 млн ₽ в DNS, 02.02.2026 (ixbt.com)
  15. Регард, GeForce RTX 5090, цены на 29.09.2026 (regard.ru)

Нашли ошибку? Напишите нам

Публикации

Как создать чат-бот в Максе: инструкция для компании

Чтобы создать чат-бот в Максе, компании нужно пройти четыре шага на платформе MAX для партнеров: проверить профиль организации через Госуслуги, заполнить карточку бота, дождаться модерации до 48 часов по рабочим дням и собрать сценарий в конструкторе или своим кодом. Ниже каждый шаг по документации MAX, проверенной 16 октября 2026 года, а также как связать бота с сайтом, CRM и командой и на чем бо

ИнструкцияИТСредний11 мин
Написать в Telegram