Словарь ИИ
Что такое инпейнтинг
Коротко
Инпейнтинг это перерисовка выбранной части изображения: вы закрашиваете область маской, и нейросеть заполняет ее новым содержимым, согласованным с остальной картинкой.
Изображения, видео, звук · inpainting
Михаил МозгПроверено: 1 минута чтения
Ребенку
Бывает, что на любимом рисунке появилась клякса. Можно аккуратно заклеить ее кусочком бумаги и дорисовать то, что было под ней: кусочек неба, ветку, окошко. Если постараться, никто не заметит заплатку. Компьютер умеет так же чинить картинки и фотографии. Только ему надо честно показать, какое место исправить, а остальное он не трогает.
Простыми словами
Вы открываете фото и кистью закрашиваете то, что мешает: провод на фоне, случайного прохожего, пятно на скатерти. Закрашенная область называется маской. Нейросеть смотрит на все вокруг нее: цвета, свет, линии, текстуры, и дорисовывает внутри правдоподобное продолжение. Можно не только стирать, но и добавлять: написать «ваза с тюльпанами», и ваза появится именно в закрашенном месте. Остальная часть снимка при этом остается нетронутой. Так быстро решают задачи, которые раньше требовали кропотливой ручной ретуши.
Для бизнеса
Метод экономит время ретуши в каталогах, рекламе и недвижимости: с фото убирают лишние предметы, меняют ценник или вывеску, дорисовывают недостающий кусок интерьера. Стоимость зависит от объема снимков и способа запуска: облачный редактор с подпиской или открытая модель на своем сервере, если фото товаров и клиентов нельзя отдавать наружу. Главный риск в подмене смысла. Тем же инструментом можно незаметно изменить документ, чек или фото с объекта, поэтому в компании стоит прописать, какие изображения разрешено править и кто отвечает за правку. Второй риск: модель иногда меняет края вокруг маски и искажает сам товар, так что финальный кадр сверяет человек.
Для специалиста
Инпейнтинг (image inpainting) это восстановление или замена пикселей внутри бинарной маски с учетом окружающего контекста. Классические методы копировали патчи с соседних участков, нейросетевые учатся генерировать содержимое. LaMa (Suvorov и др., 2021) использует быстрые свертки Фурье (fast Fourier convolutions), которые дают каждому слою рецептивное поле на все изображение, и обучение на больших масках; модель переносится на разрешения выше обучающих. Диффузионный подход RePaint (Lugmayr и др., 2022) берет предобученную безусловную DDPM и на обратных шагах подставляет известные пиксели вне маски, не дообучая сеть. По документации diffusers белые пиксели маски перерисовываются, черные сохраняются, а размытие краев маски сглаживает переход. Специализированные чекпойнты для этой задачи дают более естественную границу, но чаще затрагивают область вне маски; если ее нужно сохранить точно, оригинал накладывают поверх результата.
Пример
Агентство недвижимости снимает квартиру, где остались вещи прежних жильцов. Менеджер закрашивает коробки и сумки, нейросеть дорисовывает пол и стены, а в объявлении отмечено, что фото обработаны.
Связанные термины
Вопросы и ответы
Что такое инпейнтинг в нейросети?
Чем инпейнтинг отличается от аутпейнтинга?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений