Как часто ломается
При обучении модели на кластере из 16 384 серверных карт за 54 дня произошло 419 незапланированных прерываний, примерно одно каждые три часа; 148 из них, 30,1%, из-за отказов карт и их соединений, еще 72, 17,2%, из-за памяти на картах. Команда удержала более 90% полезного времени, потому что 416 сбоев обработала автоматика. Наш пересчет на маленький масштаб: 419 сбоев на 884 736 карто-дней дают один сбой примерно на 2 100 дней работы одной карты под полной нагрузкой, то есть для сервера на 4 карты один сбой раз в полтора года, для кластера на 8 карт раз в 8–9 месяцев. Это оценка по чужим данным, а не обещание; производитель не указывает коррекцию ошибок памяти в характеристиках игровых карт, а у части первых RTX 5090, менее 0,5% по заявлению производителя, нашли заводской дефект чипа без влияния на задачи ИИ, и такие карты меняли по гарантии.
Что делать каждый месяц
Обновлять драйверы и движок выдачи, проверяя, что модель после обновления отвечает так же. Следить за температурой и ошибками памяти. Делать резервные копии настроек, промптовпромпт. Промпт это текст, которым вы ставите задачу нейросети: вопрос, инструкция, примеры и данные, по которым она пишет ответ. и базы документов. Обновлять модель, когда выходит более сильная, и заново гонять свой набор тестовых запросов. Держать план на случай отказа карты: запасная карта, аренда GPUаренда GPU. Аренда GPU это оплата доступа к чужим видеокартам в дата-центре по часам или месяцам вместо покупки собственного сервера для нейросетей. на неделю или переключение агентов на облачную модель для незакрытых данных.
Кто и сколько
Медиана зарплаты DevOps-инженера по рынку 220 000–250 000 ₽ в месяц, в Москве до 315 000 ₽ у специалиста среднего уровня и 366 000–490 000 ₽ у старшего, по обзору рынка от 03.09.2026. Серверу с одной моделью не нужен человек на полную ставку: закладывайте, по нашей оценке, 10–20% ставки, 25 000–60 000 ₽ в месяц, или поддержку подрядчика. Срок гарантии проверяйте в счете продавца; замена карты вне гарантии это 0,5–2,3 млн ₽ по ценам на 29.09.2026.
Сколько стоит обслуживание в год
Практическое правило для серверного железа: 10% цены в год на замену дисков, вентиляторов и блоков питания, обновления и мелкий ремонт; для Mac можно взять 5%, для игровых карт под круглосуточной нагрузкой 15%. Рабочая станция с RTX 5090 за 1 074 990 ₽ по этому правилу стоит около 107 500 ₽ в год, 8 958 ₽ в месяц. Сервер с двумя RTX PRO 6000 за 2,51 млн ₽: около 251 000 ₽ в год, 20 917 ₽ в месяц. К этому прибавьте долю инженера: в калькуляторе стоимости по умолчанию 25 000 ₽ в месяц для рабочей станции и 50 000 ₽ для сервера. Срок службы считайте 36 месяцев, для игровых карт под круглосуточной нагрузкой, по нашей оценке, 24.
Резерв
Правило: сервис, от которого зависит работа отдела, не живет на одной карте без плана. Дешевле всего резерв через аренду: H100 от 242 ₽ в час, RTX 4090 от 43 ₽ в час с почасовой оплатой в российских облаках; договор на аренду заранее, чтобы включить за час, а не за неделю.
Запасная карта или аренда: расчет
Запасная H100 за 2 287 329 ₽ равна 9 450 часам аренды по 242 ₽, это около 56 недель круглосуточной работы. Неделя аренды H100 без перерыва стоит около 40 700 ₽, неделя RTX 4090 по 43 ₽ в час около 7 200 ₽. При одном серьезном сбое примерно раз в полтора года на сервер с 4 картами резерв через аренду обходится в разы дешевле карты на полке. Запасная карта оправдана, когда простой в несколько часов недопустим, а данные нельзя вынести даже в российское облако.
Что показал опыт российских команд
Большая часть обслуживания относится к программам, а не к железу. Команда крупного российского разработчика ИИ, собравшая локального агента на арендованной карте на 24 ГБ, подняла таймаут холодной загрузки модели выше 300 секунд и за один вечер разобрала двенадцать ошибок; надежной оказалась цепочка примерно до 6 последовательных вызовов инструментоввызов функций. Вызов функций (function calling) это способ, которым языковая модель просит программу выполнить действие: модель выбирает функцию и заполняет ее параметры, а код приложения выполняет запрос и возвращает результат.. В сравнении «Петрович-Тех» локальная модель на 9 млрд параметров на задаче из 15 шагов дала 1 успех из 3 прогонов и 2 ложных отчета о завершении: после каждого обновления проверяют результат, а не отчет агента. Цена простоя видна по НСИС: на локальной модели оператор ускорил обработку обращений в 20 раз и принял рост обращений в 1,5 раза без найма. Когда от модели зависит работа отдела, сбой без плана останавливает этот отдел.
Что подготовить до запуска
Назначьте ответственного по имени и запишите, сколько часов в месяц он отдает серверу. Поставьте мониторинг температуры и ошибок памяти в первый день, а не после первого сбоя. Сохраните срок гарантии из счета и узнайте, кто и куда везет карту в ремонт. Подпишите договор аренды GPU заранее и проверьте, что резервная схема запускается. Соберите свой набор тестовых запросов с правильными ответами: по нему принимают каждое обновление драйверов, движка и модели.