Чек-лист перед покупкой железа для локального ИИ

1. Какая модель прошла экзамен на ваших 50 запросах и на какой квантизации. 2. Сколько одновременных пользователей и агентов в пике. 3. Какая длина контекста: документ на 10 страниц по 1 800 знаков это около 4 500–6 000 токенов у GigaChat, у других моделей замерьте счетчиком провайдера. 4. Есть ли рядом модель зрения или речи: это плюс память.

5. Сколько памяти по калькулятору с запасом 15% и с кэшем на всех пользователей: модель 32 млрд на 10 диалогов по 8 000 токенов требует около 43 ГБ, а не 22. 6. Влезет ли следующая модель через год: берите память на ступень выше. 7. Замерили ли скорость на арендованной карте за 43–565 ₽ в час при 1, 4 и 16 потоках.

8. Питание: RTX 5090 575 Вт, RTX PRO 6000 600 Вт, H100 до 700 Вт, плюс платформа; хватит ли блока питания и розетки, нужна ли трехфазная сеть. 9. Тепло и шум: рабочая станция в офисе слышна, серверные карты живут в дата-центре от 7 500 ₽ в месяц за сервер до 300 Вт. 10. Гарантия и замена: срок гарантии в счете, замена вне гарантии по цене новой карты 0,54–2,29 млн ₽; есть ли у продавца карты на замену.

11. Кто ведет сервер: 10–20% ставки инженера по нашей оценке при медиане 220 000–250 000 ₽ или подрядчик. 12. План на отказ: запасная карта, договор аренды, переключение на облако для незакрытых данных. 13. Регламент обновлений с повторным экзаменом. 14. Мониторинг температуры, ошибок памяти и времени ответа с первого дня.

15. Точка окупаемости против облака и против аренды по калькулятору: если ее нет в пределах 36 месяцев и данные могут выходить наружу, счет не оплачивать. Mac Studio за 886 757 ₽ против облачного счета 20 258 ₽ в месяц по нашему расчету окупается за 71 месяц, против 101 289 ₽ за 10.