Как линзы перископа могут увеличить зум для камер iPhone

В постоянной борьбе за то, чтобы предоставить потребителям лучшую камеру для смартфонов, Apple еще предстоит внедрить инновации, это оптический зум, который может использовать так называемые «линзы перископа». Мы объясняем, что делает эта технология и как она потенциально может увеличить диапазон масштабирования на iPhone и других продуктах с возможностью обработки изображений.

На протяжении многих лет, смартфоны производителей упорно трудились, чтобы дать потребителям оптимального пользовательского опыта, и часть этого в области фотографии. Улучшения в датчиках камеры привели к увеличению размеров разрешения фотографий, а также к повышению производительности при слабом освещении и оптической стабилизации изображения.

Война камер смартфонов также в значительной степени сосредоточена на вычислительной фотографии, где встроенные алгоритмы и, возможно, использование нескольких датчиков камеры могут дать гораздо более детальное или лучшее изображение, чем одна камера сама по себе.

Тем не менее, один элемент фотографии является проблемой смартфон производители прилагают все усилия, чтобы победить — улучшение, как далеко пользователь может оптически увеличить.

Пространство или его отсутствие

Ключевая проблема, с которой сталкиваются производители смартфонов, заключается в том, что для оптического увеличения объектива камеры требуется сочетание элементов объектива и пространства. Чтобы объектив камеры обеспечивал диапазон уровней масштабирования, обычно называемых фокусными расстояниями, те же элементы объектива также должны перемещаться и потенциально занимать еще больше места.

Проблема здесь в том, что у смартфонов обычно не так много внутреннего объема.

Ваш средний смартфон имеет толщину всего около трети дюйма, а конкретно для iPhone 12 Pro — 7,4 мм (0,29 дюйма). Для начала это не так уж и много места, но это пространство нужно делить с другими компонентами.

Стекло, корпус, дисплей в сборе и любое количество других компонентов будут занимать некоторую часть этой толщины, оставляя ровно столько, чтобы добавить тонкий датчик камеры. Apple максимально увеличивает пространство, добавляя дополнительную толщину в виде выступа камеры, но это не дает много места для датчика.

Узел объектива наверху датчика просто не имеет места для каких-либо движущихся компонентов или для использования усовершенствованной компоновки элементов объектива для обеспечения далеких уровней масштабирования, поэтому используется фиксированный узел объектива. Иногда движение возможно, например, для фокусировки или оптической стабилизации изображения, но места недостаточно для улучшения оптического зума.

Чтобы обойти необходимость в функции масштабирования, производители смартфонов используют несколько датчиков камеры на задней панели, оснащенных различными узлами объектива, чтобы охватить телефото, широкие и сверхширокие изображения. Путем переключения используемого датчика и, в свою очередь, линз, используемых этим датчиком, смартфон может изменить уровень масштабирования в это время.

Чтобы предоставить пользователям некоторую форму регулируемого зума, производители смартфонов дополняют оптический зум цифровым зумом. Обычно это включает в себя манипулирование изображением, выходящим из датчика, для кадрирования снимка, а затем изменение размера изображения в соответствии с разрешением, ожидаемым пользователями.

Хотя он достаточно полезен для производителей смартфонов и позволяет использовать диапазон фокусных расстояний, это не лучшее решение. Цифровое масштабирование обычно создает худшее изображение, чем оптическое масштабирование того же уровня, просто потому, что это манипуляция данными для создания большего количества пикселей.

Современные методы цифрового масштабирования по-прежнему позволяют производителям смартфонов продавать свои устройства как имеющие возможность масштабирования в гораздо более высоких диапазонах, что отлично подходит для рекламных целей.

Например, iPhone 12 Pro Max имеет оптический диапазон от 2,5 до 2 раз. Добавьте элемент цифрового увеличения, и вы получите 12-кратное увеличение.

Перед производителями смартфонов остается вопрос: как добавить еще более качественный оптический зум.

Ранние попытки увеличения масштаба изображения

Некоторым первым смартфонам удавалось решить эту проблему несколькими способами с разным успехом.

Nokia Lumia 1020 пошла по пути простого запуска с массивным датчиком изображения. Его 41,3-мегапиксельный сенсор был огромным преимуществом при запуске в 2013 году, давая ему гораздо больше возможностей, когда дело дошло до масштабирования сцены.

Nokia Lumia 1020 использует сенсор высокого разрешения для обеспечения высококачественного увеличения.

Вместо того, чтобы быть чисто оптическим зумом, камера вместо этого использовала свое чистое разрешение, чтобы просто обрезать изображение с датчика, чтобы окончательное изображение соответствовало уровню увеличения, который хотел пользователь, вместо масштабирования или интерполяции изображения для изменения его размера. .

Результирующее изображение все еще имело удобное для использования разрешение даже после применения значительного кадрирования.

Еще один ранний способ решить ту же проблему — позаимствовать классический механизм масштабирования у компактных фотоаппаратов. Такие устройства, как Samsung Galaxy S4 Zoom, снова с 2013 года, включали систему камеры, в которой линзы могли выдвигаться из корпуса камеры, изменяя положение элементов объектива и обеспечивая расширенный оптический зум.

Хотя система работала, обеспечивая 10-кратный оптический зум на довольно обычном 16-мегапиксельном сенсоре, она решала проблему с пространством, но за счет эстетики. Потребители хотели более тонкие смартфоны, а не то, что можно было бы считать компактными камерами с возможностями смартфонов.

Samsung Galaxy S4 Zoom позаимствовал телескопический зум у компактных фотоаппаратов.

Создание пространства таким образом сработало, но не в интересах потребителя. Вендорам нужно было разработать способ управления пространством, но без ущерба для внешнего вида устройства.

Введите линзы перископа

Идея, известная под термином «линзы перископа» или «складывающиеся линзы», состоит в том, чтобы увеличить пространство, которое линза может освободить в ограниченной области, за счет использования отражения света. Это несколько похоже на принципы, используемые для перископа подводной лодки, но исключительно для изменения пути света для смартфона.

Идея заключается не в том, чтобы просто направлять датчик камеры прямо на заднюю часть смартфона, а в том, что датчик можно разместить на боку в небольшом оставшемся пространстве толщины смартфона. В то время как производители не могут многое сделать с общей толщиной смартфона, они могут управлять его внутренними компонентами, чтобы дать датчику камеры больше бокового внутреннего пространства для использования.

Линзы размещаются перед датчиком камеры как обычно, но затем используется зеркало или призма, чтобы направить свет через отверстие на задней панели смартфона. Фактически камера снимает изображение из-за угла, используя силу отражения.

В сложенной или перископической камере датчик и основные линзы устанавливаются сбоку, а свет отражается с помощью призмы или зеркала. [Image via Huawei]

Поскольку система может создавать пространство между датчиком и отражающим элементом, это означает, что есть больше свободы для использования различных элементов объектива, чем обычно используется в камере смартфона. Это, в сочетании с пространством, допускающим более широкий диапазон расстояний между элементами, означает, что дизайнеры могут создавать более оптимальные сборки и компоновки линз.

Поскольку между элементами объектива есть пространство, с которым можно поиграть, производители компонентов могут даже включить возможность перемещать эти элементы. Это может позволить линзам обеспечить больший контроль над фокусировкой камеры и обеспечить еще больший уровень увеличения.

Думайте об этом как о зум-объективе зеркальной или беззеркальной камеры. Во многих случаях изменение фокусного расстояния может изменить длину самой линзы, увеличивая тубус линзы для разделения различных элементов.

Линза перископа могла бы делать аналогичные подвиги в пределах ограниченного доступного пространства.

Начальная коммерциализация

Apple, конечно, не будет первой, кто предложит смартфон с камерой перископа, поскольку некоторые из ее конкурентов уже поставляют модели, использующие эту технологию.

Huawei была одной из первых, кто выпустил на рынок флагманский смартфон с системой перископической камеры, а P30 Pro был оснащен линзой SuperZoom. Компоновка обеспечивала то, что Huawei назвала 10-кратным гибридным зумом, и могла похвастаться возможностью делать некоторые изображения с 50-кратным увеличением.

Покомпонентное изображение Huawei P30 Pro, показывающее, что объектив перископа отличается от ориентации обычных камер.

Однако реализация этой идеи компанией Huawei не была идеальной. Для начала, несмотря на то, что он включал 40-мегапиксельный датчик широкоугольной камеры и 20-мегапиксельную сверхширокоугольную версию, датчик, используемый в складной камере, имел разрешение всего 8 мегапикселей.

В то время как меньший датчик выиграл от оптического зума, он сделал это с увеличением до 5x. Чтобы достичь 10-кратного гибридного зума, Huawei объединила изображение с камеры перископа 8 МП с кадрированной фотографией с сенсора 40 МП, объединив их для создания 10-кратного изображения с высокой детализацией.

При 50-кратном увеличении использовались дополнительные методы цифрового масштабирования, включая кадрирование и увеличение изображения, поддерживаемые улучшенными алгоритмами.

Главный конкурент Apple, Samsung, представил свою собственную версию в Galaxy S20 Ultra в феврале 2020 года. Система линз перископа, получившая название Space Zoom, была объединена с более высоким 48-мегапиксельным сенсором.

Samsung Galaxy S20 Ultra разместил сложенный объектив у основания выступа камеры.

На этот раз система обеспечила 4-кратное оптическое масштабирование, 10-кратное «гибридное оптическое масштабирование без потерь», в котором использовались такие методы, как кадрирование сенсора и объединение пикселей, а также более типичные методы цифрового масштабирования для функции 100-кратного масштабирования.

Два выпуска продемонстрировали потенциал использования системы линз в стиле перископа с намного улучшенным оптическим зумом, чем обычно возможно в смартфоне, без ущерба для физического стиля устройства.

Улучшен зум iPhone?

На данный момент кажется, что Apple не будет включать какой-либо перископический зум в следующий раунд выпусков iPhone, хотя, возможно, ждать не так много времени.

В отчете аналитика Минг-Чи Куо за ноябрь 2020 года высказывалась идея, что Apple представит такую ​​систему в iPhone 2022 года. Однако в марте 2021 года Куо пересмотрел прогноз и поставил дебют в 2023 году.

Помимо предположений аналитиков, в других отчетах утверждается, что Apple закладывает фундамент для установки камеры с перископическим объективом в будущий iPhone.

В ноябре 2020 года сообщалось, что Apple ищет поставщика «сложенных камер» для будущих моделей iPhone. Было сказано, что это часть системы с тремя камерами, где можно было бы использовать технологию масштабирования.

К декабрю 2020 года в отчетах указывалось, что существующий партнер Apple по камерам LG InnoTek потенциально использует Samsung для приводов и линз для создания складных модулей камеры. Затем эти модули будут предназначены для использования в будущих моделях iPhone.

Изображение в заявке Apple на патент для объектива перископа с движущимися элементами для оптической стабилизации изображения и автофокуса.

Естественно, Apple подала несколько патентных заявок в этой области. В одном из них, появившемся в январе 2021 года, предлагалось использовать привод для перемещения элементов объектива в сложенной системе камеры, который потенциально мог бы обеспечить оптическую стабилизацию изображения и возможности автофокусировки.

Конечно, исследования и разработки не обязательно завершатся разработкой iPhone, хотя это кажется вполне очевидным приложением для системы. Вполне вероятно, что эту технологию можно будет использовать и по-другому.

«Apple Car», о котором часто ходят слухи о разработке и создании собственного беспилотного автомобиля, может использовать перископические линзы для управления автоматизированными системами визуализации вождения. Возможность управлять тем, как построены системы камер и объективов, может позволить Apple создавать массивы датчиков изображения, которые можно было бы легче спрятать в кузове автомобиля.

Все признаки определенно указывают на то, что Apple в будущем каким-то образом будет использовать перископические линзы. Еще неизвестно, когда Apple нажмет на курок и включит компонент, и насколько далеко она сможет продвинуть технологию.

Благодаря достижениям в области вычислительной фотографии и увеличенному зуму, объективы перископических камер могут помочь вывести фотографию на iPhone на новый уровень.