Казекаге в Школе техник Наруто

Улучшенные мультфильмы

от 23 января
В 2018 году компания «Яндекс» представила DeepHD — технологию улучшения видео собственной разработки. Чтобы понять ее возможности, «Телеспутник» задал несколько вопросов руководителю службы компьютерного зрения «Яндекса» Александру Крайнову. Что лежит в основе технологии DeepHD? Механизм технологии улучшения изображения DeepHD базируется на нейронных сетях. DeepHD основан на классе технологий SuperResolution, который сейчас очень популярен в компьютерном зрении. Каждый год по этой теме выходит множество интересных научных статей. Но примеров использования технологии вне исследовательской среды очень мало - тетрадь смерти сезон серия.

На каком именно контенте вы обучали свою нейронную сеть? Текущее решение обучали на трейлерах фильмов. Мультфильмов в обучающей выборке было крайне мало. У нас есть много идей о том, какие эксперименты можно делать с составом обучающей выборки. Можно сказать, что сейчас мы в самом начале пути. Какой контент, по вашему опыту, лучше всего обрабатывается? Лучше всего обрабатывается контент, на котором нет шумов и артефактов сжатия. Хоть мы с этим и боремся, но у нейросети есть склонность их усиливать. DeepHD также довольно трудно справляется с мелкими, трудночитаемыми, но важными деталями. Например, с мелким неразборчивым текстом.

Но его и нельзя сделать читаемым, нейросеть ведь в действительности не знает, что там было написано, она может только улучшить четкость границ. Зависит ли результат от кодека, которым был сжат изначальный файл? Зависит не столько от кодека, сколько от наличия шумов и артефактов. То есть, скорее, от комбинации кодека и его настроек. Как относитесь к «недоброжелателям», которые считают, что такие алгоритмы нарушают режиссерское построение кадра, например, подсвечивая затемненные на пленке области? DeepHD меняет изображение не сильнее, чем сжатие кодеком или простое уменьшение разрешения.