Обзор приложения Artisto: как нейросети обрабатывают фото и видео

Artisto — это приложение для смартфонов, которое умеет обрабатывать фото и видео в разнообразных изобразительных стилях или же в стилях известных художников. Приложение делает это при помощи технологий нейросети и программного самообучения.

Красивая обработка видео на смартфоне

Съёмка видео на смартфон чаще всего не подготавливается заранее и используется только для запечатления неожиданных событий и происшествий. Поэтому полученное в результате видео может не оправдать ожидания.

Однако разработчики из Mail.Ru нашли выход из этой ситуации. Приложение Artisto переделывает видео так, чтобы атмосфера гармонировала с происходящим на экране. Получается некий мультик, выполненный в определённом стиле рисовки.

Приложение сохраняет «гладкость» видео, поскольку тщательно прорабатывает каждый кадр видеофайла. Также в вашей записи могут обнаружиться лишние объекты или вы можете плохо выглядеть, но Artisto скрывает эти детали, обрабатывая их таким образом, что «мусор» удачно вписывается в общую композицию.

Как используются нейросети в Artisto

Нейросеть — это система, смоделированная на основе человеческого мозга и являющая собой подобие искусственного интеллекта. Вместо нейронов — узлы данных, а связи между ними устанавливаются определёнными алгоритмами. После моделирования сети происходит процесс самообучения методом анализирования тех вещей, для обработки которых была создана сеть. Преимущество такой системы в том, что она позволяет решать сложные задачи, и с каждым разом делая это всё лучше и лучше, постепенно обучаясь.

Использование алгоритмов самообучения показало, что подобные технологии способны выдавать верные варианты, заменяющие решения, основанные на человеческом опыте и интуиции. Artisto — прямое тому доказательство. Каждый человек с помощью этой программы может придать своему фото или видео особую стилизацию.

С помощью нейросети Artisto может распознать, является ли данный объект домом, водоёмом, лицом или его частью и так далее, то есть нейросеть не просто выделяет линии, а соотносит их с формой определённых объектов. После распознания объектов в видео или изображении, применяется алгоритм, рисующий картинку в определённом стиле (фильтре) — их в Artisto уже 25, и в будущем появятся ещё. Сеть обучается, анализируя черты данного стиля на основе многих изображений, и после может выразить данную стилизацию на вашем фото или видео.

В чём различие обработки Artisto и фотофильтров

Фильтры фотографий действуют, попросту перекрашивая изображение. Для фильтра изображение — плоская картинка с набором точек (пикселей). При применении фильтра числовое значение точки (цвет) изменяется независимо от значений соседних пикселей.

В нейросетевой обработке главное отличие в том, что сеть видит изображение в перспективе, рассматриваются не отдельные пиксели, а целые объекты. Стилизация выходит более глубокой, чем перекраска фильтром.

При обработке видеофайлов основная проблема заключается в том, что нужно сохранить частоту кадров для гладкости воспроизведения. Artisto обрабатывает каждый кадр, основываясь на предыдущем, поэтому видео выходит сглаженным. Это же способствует быстрой обработке видео.

Почему то же самое невозможно повторить на компьютере?

Подобная обработка — это огромные вычисления и множество операций. Обычный компьютер обрабатывал бы такие эффекты для видео часами. Artisto использует облако Mail.ru — мощный сервер, состоящий из множества компьютеров, стабилизированных для нейросетевых вычислений и обработки. Вы загружаете видео в приложение, и оно отправляется в облачный центр, где очень быстро обрабатывается. Вам остаётся лишь скачать получившееся видео.

Примеры фотофильтров

Ниже представлены живые примеры фильтров для фото. Здесь представлены далеко не все, что есть, а только те, что более менее сносно смотрятся в моем конкретном случае. Каждый фильтр хорош для своей цветовой гаммы, освещенности и общей композиции кадра. Так что нужно эксперементировать. Я же не менял фотографию и вот какие эффекты получились:

Исходная фотография

Fedro

Cinnamon

Beauty

#GazgolderLive

Summer

Bornholm

#Goodday

Art Nouveau

Warm Chocolate

Cubes

Audrey

In The Fire

Neural Art

Rio 2016

Mosaic

Приложение Artisto было создано специалистами по нейросетевому глубинному программированию. Приложение можно свободно скачать в Play Market или AppStore. Откройте для себя мир искусства на смартфоне!