Обслуживание и поломки: чего не пишут в статьях про «свой ИИ за миллион»

При обучении модели на кластере из 16 384 серверных карт за 54 дня произошло 419 незапланированных прерываний, примерно одно каждые три часа; 148 из них, 30,1%, из-за отказов карт и их соединений, еще 72, 17,2%, из-за памяти на картах. Команда удержала более 90% полезного времени, потому что 416 сбоев обработала автоматика. Наш пересчет на маленький масштаб: 419 сбоев на 884 736 карто-дней дают один сбой примерно на 2 100 дней работы одной карты под полной нагрузкой, то есть для сервера на 4 карты один сбой раз в полтора года, для кластера на 8 карт раз в 8–9 месяцев. Это оценка по чужим данным, а не обещание; производитель не указывает коррекцию ошибок памяти в характеристиках игровых карт, а у части первых RTX 5090, менее 0,5% по заявлению производителя, нашли заводской дефект чипа без влияния на задачи ИИ, и такие карты меняли по гарантии.

Обновлять драйверы и движок выдачи, проверяя, что модель после обновления отвечает так же. Следить за температурой и ошибками памяти. Делать резервные копии настроек, промптов и базы документов. Обновлять модель, когда выходит более сильная, и заново гонять свой набор тестовых запросов. Держать план на случай отказа карты: запасная карта, аренда GPU на неделю или переключение агентов на облачную модель для незакрытых данных.

Медиана зарплаты DevOps-инженера по рынку 220 000–250 000 ₽ в месяц, в Москве до 315 000 ₽ у специалиста среднего уровня и 366 000–490 000 ₽ у старшего, по обзору рынка от 03.09.2026. Серверу с одной моделью не нужен человек на полную ставку: закладывайте, по нашей оценке, 10–20% ставки, 25 000–60 000 ₽ в месяц, или поддержку подрядчика. Срок гарантии проверяйте в счете продавца; замена карты вне гарантии это 0,5–2,3 млн ₽ по ценам на 29.09.2026.

Правило: сервис, от которого зависит работа отдела, не живет на одной карте без плана. Дешевле всего резерв через аренду: H100 от 242 ₽ в час, RTX 4090 от 43 ₽ в час с почасовой оплатой в российских облаках; договор на аренду заранее, чтобы включить за час, а не за неделю.