Словарь ИИ
Что такое апскейл
Коротко
Апскейл это увеличение разрешения изображения или видео с помощью нейросети, которая не просто растягивает пиксели, а дорисовывает правдоподобные мелкие детали.
Изображения, видео, звук · upscaling
Михаил МозгПроверено: 1 минута чтения
Ребенку
Если маленькую картинку из книжки увеличить на копировальной машине, она станет большой, но размытой, как будто смотришь сквозь мокрые очки. А теперь представь художника, который смотрит на маленький рисунок и перерисовывает его крупно, аккуратно добавляя каждую ресничку и травинку. Такой художник есть и в компьютере. Он делает маленькие картинки большими и четкими.
Простыми словами
Обычный редактор при увеличении фото растягивает каждый пиксель, и картинка становится мыльной. Нейросеть поступает иначе. Ее учили на парах снимков: большой четкий и он же, уменьшенный и испорченный. Так она запомнила, как обычно выглядят вблизи волосы, ткань, листья и буквы. Получив маленькое изображение, она достраивает недостающие детали и выдает версию в несколько раз крупнее. Так восстанавливают старые семейные фото, готовят снимки с телефона для печати и поднимают качество старых видеозаписей.
Для бизнеса
Нейросетевое увеличение дешевле пересъемки: из старого архива, снимков поставщиков или кадров с камеры делают изображения для печати, маркетплейсов и больших экранов. Видео поднимают до высокого разрешения для рекламы и обучающих роликов. Стоимость зависит от объема: одна картинка обрабатывается быстро даже в облаке, а видео требует много вычислений, и при больших архивах выгоднее своя видеокарта. Главный риск в выдуманных деталях. Модель может изменить надпись на этикетке, черты лица или текстуру ткани, поэтому для товаров, документов и доказательных материалов такой результат не годится без проверки. На медицинских и технических снимках дорисованные детали нельзя считать реальными.
Для специалиста
Апскейл (image super-resolution, SR) это восстановление изображения высокого разрешения по низкому. Одна из первых глубоких моделей описана Dong и др. (2014): сверточная сеть обучается сквозным образом, а классические методы разреженного кодирования авторы показали как ее частный случай. Затем качество подняли состязательные сети: Real-ESRGAN (Wang и др., 2021) обучают только на синтетических парах, которые получают моделью деградации высокого порядка с размытием, шумом, сжатием и артефактами звона, а дискриминатор U-Net со спектральной нормализацией стабилизирует обучение. Диффузионный SR3 (Saharia и др., 2021) итеративно превращает шум в изображение, обусловленное низким разрешением; в тесте на восьмикратное увеличение лиц люди ошибались почти в половине случаев, а на GAN-аналогах не больше чем в 34%. Метрики PSNR и SSIM поощряют гладкость, поэтому резкость дополнительно оценивают перцептивными метриками и людьми.
Пример
Интернет-магазин получил от поставщика фото товаров размером с почтовую марку. Нейросеть увеличивает их для карточек, а контент-менеджер сверяет надписи на упаковке с оригиналом и правит те, что модель исказила.
Связанные термины
Вопросы и ответы
Как увеличить разрешение фото без потери качества?
Можно ли так увеличить видео?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений