Словарь ИИ
Что такое аренда GPU
Коротко
Аренда GPU это оплата доступа к чужим видеокартам в дата-центре по часам или месяцам вместо покупки собственного сервера для нейросетей.
Инфраструктура · GPU rental
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь, что тебе на один день нужен велосипед для поездки в парк. Покупать новый дорого, а потом он будет пылиться в коридоре. Можно взять велосипед напрокат, покататься и вернуть. С мощными компьютерами для умных помощников поступают так же: их берут на время, когда нужна большая работа, а потом отдают обратно.
Простыми словами
Мощные видеокарты для нейросетей дорогие, а нужны иногда всего на неделю. Поэтому провайдеры ставят их в своих дата-центрах и сдают по часам. Вы выбираете конфигурацию, получаете удаленный сервер и запускаете на нем свою программу. Закончили работу, выключили сервер и перестали платить. Бывает аренда целой карты, ее части или сразу нескольких серверов. Например, команда арендует мощный сервер на выходные, чтобы дообучить модель на своих документах, а в понедельник возвращается к обычной работе на ноутбуках.
Для бизнеса
Такой формат подходит для пилота, разовых задач вроде дообучения и для пиков нагрузки, когда покупать железо рано. Расходы переменные: платите за часы работы, хранение и трафик. При постоянной загрузке круглые сутки прокат со временем обходится дороже своего сервера, и точку перехода считают заранее. Для российской компании важно, где стоит железо: у провайдера в России проще выполнить требования к персональным данным. Риски: свободных карт нужной модели может не оказаться, провайдер меняет цены, а данные лежат на чужой инфраструктуре. Проверьте договор, изоляцию между клиентами и порядок удаления данных после окончания работы. Цены в рублях и расчет точки окупаемости собраны на отдельной странице сайта.
Для специалиста
Аренда GPU относится к модели IaaS (Infrastructure as a Service), одной из трех сервисных моделей в определении облака NIST SP 800-145. Форматы: виртуальная машина с пробросом целой карты (passthrough), выделенный физический сервер (bare metal), кластер с быстрым интерконнектом для распределенного обучения и доля карты. Делить один ускоритель позволяет технология NVIDIA MIG (Multi-Instance GPU): начиная с архитектуры Ampere карту разбивают на до семи изолированных экземпляров со своими мультипроцессорами, банками кэша L2, контроллерами памяти и шинами DRAM, так что один арендатор не влияет на работу и планирование другого. Для инференса есть и бессерверные конечные точки с оплатой за секунды или токены. При выборе сравнивают объем и пропускную способность видеопамяти, связь между картами, версии драйверов и CUDA, тарификацию простоя и стоимость выгрузки данных (egress).
Пример
Маркетплейс решил проверить, сможет ли открытая модель писать описания товаров. Вместо закупки сервера команда на месяц берет одну видеокарту у российского провайдера, проверяет качество на тысяче карточек и только потом решает, продолжать прокат или купить железо.
Связанные термины
Вопросы и ответы
Что выгоднее: аренда GPU или покупка?
Можно ли арендовать часть видеокарты?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений