Mac Studio для нейросетей: единая память до 512 ГБ и 270 Вт вместо серверной

M4 Max, 16 ядер CPU и 40 GPU, 128 ГБ, 1 ТБ: 886 757 ₽. M3 Ultra, 28 ядер CPU и 60 GPU, 96 ГБ, 1 ТБ: 650 797 ₽. M3 Ultra, 32 ядра CPU и 80 GPU, 512 ГБ, 4 ТБ: 3 155 392 ₽. Цены российских продавцов без учета их условий по НДС; смотрите на день покупки.

По данным производителя Mac Studio M4 Max потребляет 6 Вт в простое и 145 Вт максимум, M3 Ultra 9 Вт и 270 Вт. Видеокарта на 32 ГБ одна потребляет до 575 Вт, серверная карта до 700 Вт. При круглосуточной работе под нагрузкой M3 Ultra сжигает около 194 кВт·ч в месяц, это около 1 530 ₽ по московскому тарифу для населения 7,87 ₽; для бизнеса цена нерегулируемая и зависит от договора.

M3 Ultra с 80 ядрами на модели 7 млрд в 4 битах: 92,1 токена в секунду, M4 Max с 40 ядрами 83,1. Модель 671 млрд параметров в 4 битах на M3 Ultra 512 ГБ: 6,21 токена в секунду при обработке запроса 9 токенов в секунду, запрос на 8 000 токенов занимает 14,8 минуты. Вывод из замера: 512 ГБ дают возможность запустить модель на 671 млрд параметров, но не скорость для команды.

По нашей оценке, команде до 5–10 человек с моделями 30–70 млрд, отделу, который обрабатывает документы в фоне, компании, где нет серверной и инженера по железу. Не подходит для сервиса на сотни одновременных пользователей и для тонкой настройки крупных моделей: там нужны серверные карты.