Задача и модель
1. Какая модель прошла экзамен на ваших 50 запросах и на какой квантизацииквантизация. Квантизация это сжатие нейросети, при котором ее числа хранят с меньшей точностью, чтобы модель занимала меньше памяти и работала быстрее.. Экзамен это 50 реальных запросов с ожидаемыми ответами, и он важнее любого рейтинга. Берите наименьшую модель, которая его прошла: она дешевле по памяти и быстрее. Сеть строительных магазинов сравнила три модели за 27 запусков, и локальная модельлокальная модель. Локальная модель это нейросеть, которая работает на вашем компьютере или сервере, а не в облаке поставщика, поэтому данные никуда не уходят. на 9 млрд в 4 битах на одной видеокарте сравнялась с облачными на задачах из 2–3 шагов.
2. Сколько одновременных пользователей и агентов в пике. От этого зависят и память, и программа выдачи: LM Studio или Ollama для одного человека, vLLM для отдела. Оператор связи вписал в тендер 15 пользователей и отклик не более 400 мс: по такому требованию железо уже можно подобрать.
3. Какая длина контекстаконтекстное окно. Контекстное окно это объем текста в токенах, который языковая модель видит за один раз: инструкции, документы, вопрос и ее собственный ответ.: документ на 10 страниц по 1 800 знаков это около 4 500–6 000 токеновтокен. Токен это кусочек текста: слово, часть слова или знак, с которыми работает языковая модель. у одной из российских облачных моделей, у других моделей замерьте счетчиком провайдера. 4. Есть ли рядом модель зрения или речи: это плюс память. В облаке одна модель принимает картинку, документ и текст, локально это три модели и память под каждую.
Память и скорость
5. Сколько памяти по калькулятору с запасом 15% и с кэшем на всех пользователей: модель 32 млрд на 10 диалогов по 8 000 токенов требует около 43 ГБ, а не 22, как на один диалог. Считается так: веса моделипараметры модели. Параметры модели это числа внутри нейросети, которые она подбирает при обучении и по которым потом вычисляет каждый ответ. плюс кэш контекста на каждого пользователя, к итогу 15% запаса. У Mac из единой памяти вычитайте 8 ГБ на систему.
6. Влезет ли следующая модель через год: берите память на ступень выше. Карта, которой не хватит памяти под следующую модель, самая частая покупка зря.
7. Замерили ли скорость на арендованной карте за 43–565 ₽ в час при 1, 4 и 16 потоках. Для ориентира: модель на 8 млрд в 4 битах выдает около 128 токенов в секундутокены в секунду. Токены в секунду это скорость, с которой нейросеть пишет ответ: сколько кусочков текста она выдает за одну секунду. на RTX 4090 и около 145 на H100, модель на 70 млрд около 25 на H100. Неделя таких замеров стоит 7 200–40 700 ₽.
Железо и место
8. Питание: RTX 5090 575 Вт, RTX PRO 6000 600 Вт, H100 до 700 Вт, плюс платформа: 200–400 Вт у рабочей станции и до 1 000 Вт у сервера с четырьмя картами. Хватит ли блока питания и розетки, нужна ли трехфазная сеть: для одной-двух карт обычно нет, для сервера с четырьмя серверными картами и ИБП обычно да.
9. Тепло и шум: вся потребленная мощность уходит в тепло, сервер на 3,8 кВт греет как два-три масляных обогревателя, и офисный кондиционер его не вывезет. Рабочая станция в офисе слышна, серверные карты живут в дата-центредата-центр для ИИ. Дата-центр для ИИ это здание с тысячами серверов на видеокартах и других ускорителях, мощным электропитанием и охлаждением, где обучают и запускают нейросети. от 7 500 ₽ в месяц за сервер до 300 Вт и по 2 000 ₽ за каждые 100 Вт сверх. Mac Studio на 145–270 Вт стоит на столе и не слышен.
10. Гарантия и замена: срок гарантии в счете, замена вне гарантии по цене новой карты 0,54–2,29 млн ₽; есть ли у продавца карты на замену. У части первых RTX 5090, менее 0,5% по заявлению производителя, нашли заводской дефект чипа, и такие карты меняли по гарантии: без гарантии в счете это был бы ваш расход.
Люди и процессы
11. Кто ведет сервер: 10–20% ставки инженера по нашей оценке при медиане 220 000–250 000 ₽, то есть 25 000–60 000 ₽ в месяц, или подрядчик. Для одного Mac или ноутбука хватит сотрудника, который умеет обновлять программы; для сервера отдела нет.
12. План на отказ: запасная карта, договор аренды, переключение на облако для незакрытых данных. Договор аренды заключают заранее, чтобы включить замену за час, а не за неделю: H100 от 242 ₽ в час, RTX 4090 от 43 ₽ в час. По нашему пересчету отчета об обучении на 16 384 картах H100 сервер на 4 карты получает один серьезный сбой примерно раз в полтора года.
13. Регламент обновлений с повторным экзаменом: версии модели и программы выдачи зафиксированы, обновление это отдельное событие с прогоном тех же 50 запросов. 14. Мониторинг температуры, ошибок памяти и времени ответа с первого дня: ошибки памяти в журналах и рост температуры при той же нагрузке первыми показывают, что карта начинает отказывать.
Деньги
15. Точка окупаемости против облака и против аренды по калькулятору: если ее нет в пределах 36 месяцев и данные могут выходить наружу, счет не оплачивать. Mac Studio за 886 757 ₽ против облачного счета 20 258 ₽ в месяц по нашему расчету окупается за 71 месяц, против 101 289 ₽ за 10.
Окупаемость считают по полной месячной стоимости, а не по цене карты: амортизация на 36 месяцев, электричество, размещение, 10% цены железа в год на обслуживание и доля инженера. Если данные не могут покидать периметр компании даже в российское облако, окупаемость перестает быть главным вопросом: тогда сравнивают между собой только варианты своего железа.
Что спросить у продавца или интегратора
До договора попросите письменно пять ответов. Цену за первый год со всеми лицензиями и поддержкой. Конфигурацию железа с ценой каждой позиции. Что происходит при выходе новой модели и кто платит за переход. Кто чинит сервер, за какой срок и за сколько. Три кейса с числами, а не только с названиями компаний: на рынке есть платформы с кейсами без единого числового результата и с ценами только по запросу.
Как пройти чек-лист за неделю
Дни 1–2: соберите 50 запросов и запишите ожидаемые ответы. Дни 3–5: арендуйте карту в российском облаке, поставьте Ollama или vLLM и прогоните запросы на двух-трех открытых моделяхмодель с открытыми весами. Модель с открытыми весами (open-weights model) это нейросеть, файлы параметров которой можно скачать и запустить на своем оборудовании. на 8–9, 30 и 70 млрд параметров. День 6: подставьте модель, контекст и число пользователей в калькулятор памяти, затем в калькулятор стоимости и окупаемости. День 7: ответьте письменно на 15 вопросов.
Для типовой задачи на модели до 32 млрд пробу можно пропустить: рабочая станция или Mac Studio подойдут почти наверняка. Для сервера от 2 млн ₽ проба обязательна.