iOS 13.2 приземлилась ранее на этой неделе, принеся с собой Deep Fusion, функцию, которую руководитель маркетинга Apple описал в iPhone 11 keynote как «вычислительная фотография безумной науки». Менее радостно, это также, казалось, вводило проблемы с фоновыми приложениями.
Как и Smart HDR, Deep Fusion смешивает несколько кадров для создания наилучшего композитного изображения. Но в то время как Smart HDR ограничивается смешиванием различных экспозиций, некоторые из них предназначены для захвата теневых областей, другие-для выделения бликов, Deep Fusion также стремится выявить больше деталей…
Вот как Шиллер описал эту функцию, которая доступна только на трех моделях iPhone 11.
Он снимает девять изображений, прежде чем вы нажмете кнопку спуска затвора, он уже снял четыре коротких изображения, четыре вторичных изображения. Когда вы нажимаете кнопку спуска затвора, требуется одна длительная экспозиция, а затем всего за одну секунду нейронный движок анализирует сплавленную комбинацию длинных и коротких изображений, выбирая лучшие из них, выбирая все пиксели и пиксель за пикселем, проходя через 24 миллиона пикселей, чтобы оптимизировать детализацию и низкий уровень шума,как вы видите в свитере. Это удивительно, это первый раз, когда нейронный процессор отвечает за генерацию выходного изображения. Это вычислительная фотография безумной науки.
Адам Эстес из Gizmodo тестировал бета-версию в течение нескольких недель. Одна из проблем, с которой он столкнулся, заключается в том, что пользователь не указывает, когда Deep Fusion активен (хотя есть ситуации, в которых это определенно не так). Вам просто нужно сделать фотографии на двух одинаковых телефонах, один с iOS 13.2, один без, и искать различия.
Плохая новость заключается в том, что во многих кадрах различия видны только при просмотре пикселей. Они вряд ли окажут заметное влияние на восприятие фотографии большинством людей, предполагает он.
Давайте углубимся в то, что такое вычислительная фотография Deep Fusion mad science на самом деле. Если быть честным,это не так уж и много. Сразу после того, как функция Deep Fusion появилась на публичной бета-версии iOS 13.2, я установил программное обеспечение на iPhone 11 Pro от Gizmodo, в то время как я сохранил предыдущую версию iOS, ту, что без Deep Fusion на моем iPhone 11 Pro. Затем я просто сделал кучу фотографий во всех видах различных сред. Честно говоря, я часто не мог отличить выстрел глубокого синтеза от выстрела неглубокого синтеза.
Иногда, однако, разница сразу бросается в глаза. Хотя Эстес описывает как «тонкую» разницу между двумя снимками часов в центре центрального терминала Нью-Йорка, для меня разница очень ясна даже до просмотра его в полном размере.
Будет ли Deep Fusion съемка лучше-это субъективное суждение. Он, конечно, острее, но, возможно, граничит с чрезмерной заточкой. Такие приложения, как Photoshop и Lightroom, позволяют делать резкие фотографии в пост-продакшн, и иногда результат может выглядеть искусственным, если кто – то заходит слишком далеко-и я бы сказал, что это опасно близко к этой территории. Для большинства — это «лучше», поэтому Apple, вероятно, сделала правильный выбор.
Эстес говорит, что есть один случай, когда разница между ночью и днем: фотографии его щенка, арахиса, видны здесь крупным планом.
Однако все изменилось для меня, когда я начал фотографировать мех. Теоретически, это именно тот сценарий, в котором глубокое слияние должно сиять, так как крошечные пряди волос имеют тенденцию размываться вместе, но нейронный двигатель может идентифицировать эти детали и объединить их вместе в фотографию глубокого слияния. Возможно, именно поэтому Apple решила использовать бородатого мужчину в тонко текстурированном джемпере, чтобы показать глубокое слияние в недавнем лейтмотиве. Моя версия бородатого мужчины в тонко текстурированном джемпере-это маленький щенок по имени арахис […]
Хотя она выглядит ангельской на обеих этих фотографиях, довольно легко увидеть, что на фотографии слева ее нежные маленькие блики размываются вокруг макушки головы и вокруг уха. На фотографии Deep Fusion справа они четкие, как могут быть […]
Я больше никогда не хочу фотографировать арахис без Deep Fusion.
То, что мы видим сегодня, — это, конечно, только первая итерация Deep Fusion, и Эстес предполагает, что будущие обновления улучшат возможности масштабирования, так же как Google с Pixel 4.
Вы замечаете значительные различия в фотографиях до и после обновления до iOS 13.2? Пожалуйста, сообщите нам об этом в комментариях.
