Эволюция мобильной фотографии: стекинг, live фото, алгоритмы и нейросети

evolyuciya mobilnoj fotografii steking live foto algoritmy i nejroseti Статьи

В какой момент в камере смартфона начинается мобильная фотография: после нажатия кнопки виртуального спуска затвора или после нажатия кнопки фокусировки? Правильный ответ: при запуске приложения Камера.

Что такое стекинг?

Как только вы видите изображение на экране телефона, это означает, что камера уже делает снимки, непрерывно и без перебоев. И ничего не «выкидывается»: часто фото после нажатия кнопки спуска затвора берется из буфера обмена, и часть его еще загружается до того, как будет исправлено финальное фото.

Вы заметите улучшение изображения, если быстро откроете галерею после того, как сделаете фотографию — изображение все равно будет преобразовано и исправлено.

Вы также можете увидеть, как постоянно работает буфер, сделав живые фотографии. Когда снимки записываются в дополнение к основному снимку до и после нажатия кнопки спуска затвора. В результате мы получаем клип с небольшим количеством кадров в секунду.

Технология совмещения большого количества изображений называется стекингом. Это та самая фотография мобильных компьютеров, за которой скрываются маркетинговые слова — нейронные сети и алгоритмы, которые часто непонятны многим. В этой статье давайте попробуем разобраться в различных алгоритмах.

Укладка — это наложение нескольких фотографий друг на друга.

И вот главное понимать, все эти алгоритмы призваны решить одну фундаментальную проблему — размер сенсора камеры смартфона, который физически не может быть большим по сравнению с обычной зеркалкой.

Итак, на карту поставлены алгоритмы и программное обеспечение.

Стекинг по экспозиции (HDR)

Наложение экспозиции — это технология HDR. Несколько снимков от самого темного до самого яркого делаются с разной выдержкой, а затем объединяются в один.

Таким образом, на фотографиях с комбинированной экспозицией оба источника света не пробиты, и в тенях есть информация.

И хотя HDR позволил получить широкий динамический диапазон, для ночных фотографий он не годился. Здесь пригодится HDR + (временное наложение).

Стекинг по времени (HDR+ и Night Sight)

На этом этапе важно понимать, что «ночной режим» в фотографии — это не длинная выдержка, как мы привыкли думать в цифровой зеркальной фотографии. В этом случае мы получим изображение с 3 основными проблемами: размытие (долго стоять на месте нельзя), шум, отсутствие деталей в светлых и темных участках.

Однако благодаря HDR + мы получаем гораздо лучшую картинку. Все проблемы, описанные выше, не существуют.

Камера делает до 15 фотографий с длинной выдержкой, сжимая их в файл RAW и накладывая их друг на друга. Таким образом, в тенях нет информации, а светлые участки устраняются, а из-за короткой выдержки не возникает размытия.

У этого метода есть только один недостаток — баланс белого. Снимки получаются желтыми или зелеными. Эту проблему решает технология Night Sight.

В нейронную сеть был загружен набор фотографий, чтобы научить применять нужный фильтр к полученной фотографии. По сути, это примитивная, но очень полезная цветокоррекция.

Стекинг по движению (Super Res Zoom и Deep Fusion)

При съемке панорамных фотографий используется технология наложения движения. Речь идет не о создании фильмов, а о том, чтобы объединить десятки фотографий в одну с более высоким разрешением.

Помимо наложения движений, есть микрошоковые движения рук.

Super Res Zoom от Google или Deep Fusion от Apple дают больше информации о цвете каждого пикселя за счет сдвигов, вызванных микрошоковыми ударами.

Это снижает шумы и увеличивает резкость и разрешение, при этом физические мегапиксели матрицы остаются неизменными.

То же самое и при съемке крупным планом.

Стекинг по фокусу (карты глубины и Lidar)

Это очень легко сделать с наложением фокуса. Смартфон делает снимок объекта, который вы увеличиваете, затем позади него, а затем перед ним. Скрепляет 3 фотографии вместе.

Это решает две проблемы. В макросъемке объект находится в фокусе, а в камерах вам нужно пожертвовать светом, закрыв диафрагму.

Когда вы делаете портретную фотографию, фон может стать более резким или более размытым путем регулировки фокуса. В случае портретов с эффектом боке никуда не денешься от обычного стекирования фокуса.

Используются карты глубины. Раньше они создавались на двух линзах, как в iPhone 7+, но теперь еще и на одной линзе из двух кадров, смещенных на 1 подпиксель.

С появлением LiDAR стало еще проще. Карта глубины строится путем отправки фотонов света и измерения точных расстояний до объектов в пределах 5 метров.

Технология более точная, но требует наличия дополнительного модуля на борту смартфона. Однако есть и другие области применения: дополненная реальность, более точное измерение расстояний, более быстрая и точная автофокусировка в условиях низкой освещенности (читайте обзор iPhone 12 Pro).

RAW в смартфонах (Apple Pro RAW)

Итак, смартфон отлично справляется со стекингом, в нем используются очень хитрые алгоритмы, которые значительно улучшают качество изображения. Но окончательная фотография упакована в сжатый файл jpeg, который нельзя редактировать в Photoshop.

В 2020 году iPhone научился создавать изображения RAW в формате dmg. Этот формат включает карту глубины, полезные маски и результаты различных трюковых режимов.

В результате использование файла RAW с iPhone намного приятнее, чем использование сжатого файла jpeg.

Вы можете узнать больше об Apple Pro RAW здесь.

Будущее мобильной фотографии

Создается впечатление, что мы приближаемся к пределам мобильной фотографии с точки зрения программного и аппаратного обеспечения. Что будет дальше, пока неизвестно.

Возможно, мобильное приложение обучат получению и наложению фрагментов качественных изображений из банков изображений с типичными фонами, зданиями, объектами на фото, исправлением недостатков небольшого сенсора. А может, появится дополненная реальность, и о зеркальных фотоаппаратах забудут.

Через Apple, Google, iFixit, ProTech, Keiichi Matsuda.

Оцените статью
Сайт о бесконтактной оплате
Добавить комментарий