В какой момент в камере смартфона начинается мобильная фотография: после нажатия кнопки виртуального спуска затвора или после нажатия кнопки фокусировки? Правильный ответ: при запуске приложения Камера.
Что такое стекинг?
Как только вы видите изображение на экране телефона, это означает, что камера уже делает снимки, непрерывно и без перебоев. И ничего не «выкидывается»: часто фото после нажатия кнопки спуска затвора берется из буфера обмена, и часть его еще загружается до того, как будет исправлено финальное фото.
Вы заметите улучшение изображения, если быстро откроете галерею после того, как сделаете фотографию — изображение все равно будет преобразовано и исправлено.
Вы также можете увидеть, как постоянно работает буфер, сделав живые фотографии. Когда снимки записываются в дополнение к основному снимку до и после нажатия кнопки спуска затвора. В результате мы получаем клип с небольшим количеством кадров в секунду.
Технология совмещения большого количества изображений называется стекингом. Это та самая фотография мобильных компьютеров, за которой скрываются маркетинговые слова — нейронные сети и алгоритмы, которые часто непонятны многим. В этой статье давайте попробуем разобраться в различных алгоритмах.
Укладка — это наложение нескольких фотографий друг на друга.
И вот главное понимать, все эти алгоритмы призваны решить одну фундаментальную проблему — размер сенсора камеры смартфона, который физически не может быть большим по сравнению с обычной зеркалкой.
Итак, на карту поставлены алгоритмы и программное обеспечение.
Стекинг по экспозиции (HDR)
Наложение экспозиции — это технология HDR. Несколько снимков от самого темного до самого яркого делаются с разной выдержкой, а затем объединяются в один.
Таким образом, на фотографиях с комбинированной экспозицией оба источника света не пробиты, и в тенях есть информация.
И хотя HDR позволил получить широкий динамический диапазон, для ночных фотографий он не годился. Здесь пригодится HDR + (временное наложение).
Стекинг по времени (HDR+ и Night Sight)
На этом этапе важно понимать, что «ночной режим» в фотографии — это не длинная выдержка, как мы привыкли думать в цифровой зеркальной фотографии. В этом случае мы получим изображение с 3 основными проблемами: размытие (долго стоять на месте нельзя), шум, отсутствие деталей в светлых и темных участках.
Однако благодаря HDR + мы получаем гораздо лучшую картинку. Все проблемы, описанные выше, не существуют.
Камера делает до 15 фотографий с длинной выдержкой, сжимая их в файл RAW и накладывая их друг на друга. Таким образом, в тенях нет информации, а светлые участки устраняются, а из-за короткой выдержки не возникает размытия.
У этого метода есть только один недостаток — баланс белого. Снимки получаются желтыми или зелеными. Эту проблему решает технология Night Sight.
В нейронную сеть был загружен набор фотографий, чтобы научить применять нужный фильтр к полученной фотографии. По сути, это примитивная, но очень полезная цветокоррекция.
Стекинг по движению (Super Res Zoom и Deep Fusion)
При съемке панорамных фотографий используется технология наложения движения. Речь идет не о создании фильмов, а о том, чтобы объединить десятки фотографий в одну с более высоким разрешением.
Помимо наложения движений, есть микрошоковые движения рук.
Super Res Zoom от Google или Deep Fusion от Apple дают больше информации о цвете каждого пикселя за счет сдвигов, вызванных микрошоковыми ударами.
Это снижает шумы и увеличивает резкость и разрешение, при этом физические мегапиксели матрицы остаются неизменными.
То же самое и при съемке крупным планом.
Стекинг по фокусу (карты глубины и Lidar)
Это очень легко сделать с наложением фокуса. Смартфон делает снимок объекта, который вы увеличиваете, затем позади него, а затем перед ним. Скрепляет 3 фотографии вместе.
Это решает две проблемы. В макросъемке объект находится в фокусе, а в камерах вам нужно пожертвовать светом, закрыв диафрагму.
Когда вы делаете портретную фотографию, фон может стать более резким или более размытым путем регулировки фокуса. В случае портретов с эффектом боке никуда не денешься от обычного стекирования фокуса.
Используются карты глубины. Раньше они создавались на двух линзах, как в iPhone 7+, но теперь еще и на одной линзе из двух кадров, смещенных на 1 подпиксель.
С появлением LiDAR стало еще проще. Карта глубины строится путем отправки фотонов света и измерения точных расстояний до объектов в пределах 5 метров.
Технология более точная, но требует наличия дополнительного модуля на борту смартфона. Однако есть и другие области применения: дополненная реальность, более точное измерение расстояний, более быстрая и точная автофокусировка в условиях низкой освещенности (читайте обзор iPhone 12 Pro).
RAW в смартфонах (Apple Pro RAW)
Итак, смартфон отлично справляется со стекингом, в нем используются очень хитрые алгоритмы, которые значительно улучшают качество изображения. Но окончательная фотография упакована в сжатый файл jpeg, который нельзя редактировать в Photoshop.
В 2020 году iPhone научился создавать изображения RAW в формате dmg. Этот формат включает карту глубины, полезные маски и результаты различных трюковых режимов.
В результате использование файла RAW с iPhone намного приятнее, чем использование сжатого файла jpeg.
Вы можете узнать больше об Apple Pro RAW здесь.
Будущее мобильной фотографии
Создается впечатление, что мы приближаемся к пределам мобильной фотографии с точки зрения программного и аппаратного обеспечения. Что будет дальше, пока неизвестно.
Возможно, мобильное приложение обучат получению и наложению фрагментов качественных изображений из банков изображений с типичными фонами, зданиями, объектами на фото, исправлением недостатков небольшого сенсора. А может, появится дополненная реальность, и о зеркальных фотоаппаратах забудут.
Через Apple, Google, iFixit, ProTech, Keiichi Matsuda.
