Программисты: адаптивная раздельная нормализация стала лучшим алгоритмом для превращения фото в комиксы

Подход ученых из Германии основывался на работе сверточных нейросетей — они успешнее всего справляются с обработкой и анализом изображений. Именно на основе подобного алгоритма работает приложение Prisma.

Сверхточные нейросети обучали признакам исходного и целевого изображения, а также последующей генерации новой картинки при помощи белого шума. Главный недостаток метода — для него нужны огромные ресурсы. Для обработки изображения с разрешением 512×512 пикселей компьютеру с мощным графическим процессором придется потратить целую минуту.

Поэтому авторы исследования анализировали только алгоритмы, которые тратят на обработку не более двух секунд. Первый способ адаптивной раздельной нормализации (AdaIn, adaptive instance normalization) во многом основан именно на нем, но включает в себя также функцию потерь, за счет чего время работы удалось существенно сократить. Однако качество этого переноса оказалось сильно ограничено.

Улучшили метод китайские разработчики, которые за счет увеличения количества слоев научились отбеливать и раскрашивать изображения в целевой стилистике. Они назвали такой подход  «универсальным переносом стиля» (UST-WCT, universal style transfer). В работе подхода участвуют четыре слоя и адаптивно раздельная нормализация.

Все рассмотренные подходы использовали на нескольких изображениях с разрешением 600×450 пикселей. В итоге несколько сотен изображений с комиксами дали посмотреть 100 людям. Почти треть из них назвали картинки, сделанные с применением адаптивно-раздельной нормализации, больше всего похожими на комиксы.

Подпишитесь на наши новости
Лого www.SiteHere.ru
1970-01-01 03:00 http://news.xtipe.com/ru/news/28799

Смотрите так же

За полгода полета на Марс астронавты получат такую же дозу радиации, как за 20 лет карьеры 1970-01-01 03:00

При путешествии на Марс длиной в шесть месяцев астронавты получат дозу радиации, равную 60% от рекомендуемой нормы за всю карьеру. Об этом говорится в исследовании миссии ESA ExoMars, которое приводит Engadget.  

К 2023 году у каждого россиянина появится цифровой профиль 1970-01-01 03:00

Правительство России к 2023 году создаст платформу «Цифровой профиль», на которой будет размещена полная информация о россиянах с данными из всех реестров. «Цифровой профиль» граждан будет доступен коммерческими компаниям — в том числе для оценки заемщиков, пишет The Bell.

Минкомсвязи предложило предустанавливать отечественные антивирусы на все компьютеры в России 1970-01-01 03:00

Министерство цифрового развития, связи и массовых коммуникаций в рамках проекта «Цифровая экономика» предложило предустанавливать отечественные антивирусы на все компьютеры в России. Об этом пишет «Коммерсантъ» со ссылкой на документы министерства.

Ледник Вавилова в российской Арктике тает быстрее всех в мире. По 0,3 метра в день 1970-01-01 03:00

Одна из крупнейших в мире ледяных шапок, ледник Вавилова, расположенный между Карским морем и морем Лаптевых, в 2015-2016 годах начал таять с рекордно высокой скоростью. Его размер за это время уменьшился примерно на 100 м (по 0,3 м в день), а ледяная шапка потеряла около 4,5 куб. км льда — этого достаточно, чтобы покрыть весь штат Вашингтон. Об этом говорится в исследовании ученых из Университета Колорадо, которое приводит «EurekAlert!».