Времяпролетный объектив что это
Тime-Of-Flight: технология, которая может совершить революцию в мобильной фотографии
Наращиванием мощностей железа смартфонов уже никого не удивишь. Прошли те времена, когда дополнительными «гигабайтами и гигагерцами» можно было заинтересовать новую аудиторию. И поэтому производители смартфонов вкладываются в разработку инновационных технологий. Но если тренды на складные или безрамочные смартфоны, что называется, видны без дополнительных пояснений, то другие технологии не всегда понятны конкретному пользователю. Одна из таких носит название Тime-Of-Flight (ToF), и она способна поднять качество работы фотокамеры телефонов до невероятных высот. Но что это такое и как это работает? Давайте разбираться.
Дословно Тime-Of-Flight переводится как «время полета» и, на самом деле, это не далеко от истины. За тем лишь исключением, что ваш смартфон никуда не лететь не должен. Работа ToF основана на работе ряда датчиков. Особый сенсор испускает свет инфракрасного диапазона. Этот свет, грубо говоря, «летит» и, отражаясь от ряда поверхностей и объектов на своем пути, возвращается обратно. Это время фиксируется для каждой конкретной точки и после этого происходит анализ полученных данных.
Время, полученное в результате работы камеры с ToF-датчиком, обеспечивает крайне точное определение глубины снимка и позволяет очень хорошо измерять расстояние от всех объектов, находящихся в кадре. Благодаря этому достигается невероятная четкость и глубина снимков, которую невозможно получить, используя любые другие технологии, представленные на рынке сегодня.
Помимо этого, по сравнению с другими технологиями сканирования, ToF является относительно дешевой. Датчики ToF могут работать с частотой до 160fps, а это означает, что они отлично подходят для работы в реальном времени и обработки «на лету» не только фотографий, но и видео.
На что способна камера с датчиком ToF?
На самом деле, применений у технологии масса. ToF не ограничивается только лишь размытием фона в портретном режиме. ToF может проводить 3D-сканирование объектов, улучшать алгоритмы навигации в помещении и на открытом пространстве, позволяет улучшить распознавание жестов. Можно использовать ToF для отслеживания перемещения объектов, для улучшенной работы автофокуса камеры, для создания 3D-фотографий и еще много другого. Если технология «зайдет» покупателю, новые фичи не заставят себя долго ждать.
Где применяется ToF?
На самом деле, технология совсем не нова. Еще Microsoft использовала первые версии датчиков ToF во втором поколении игровых устройств Kinect. Но сейчас ToF начинает свой путь на рынке мобильных телефонов и используют ее далеко не самые последние компании в индустрии. Среди них:
И это лишь модели, известные на данный момент. К ним, наверняка, присоединятся и другие производители Android-смартфонов и даже, как недавно сообщало издание Bloomberg, возможно один из следующих смартфонов от Apple. Также ToF является крайне перспективной для гарнитур смешанной и дополненной реальности, так что совсем скоро нас ждет настоящий поток инновационных устройств.
Еще больше новостей из мира мобильных технологий вы можете узнать в нашем новостном канале в Телеграм.
Времяпролетный метод: современное состояние развития ToF-технологии и ее применение в 3D-системах
В отличие от простой камеры, которая фиксирует только значения силы света на изображении, с помощью 3D-камеры можно получить дополнительную ценную информацию об объекте съемки со светоотражающей поверхностью, в том числе о его форме, положении и ориентации в пространстве. В трехмерной съемке объектов особенно эффективна технология ToF, поскольку измерение осуществляется бесконтактным методом и занимает буквально доли секунды.
Как устроена времяпролетная камера?
При использовании времяпролетной камеры каждым пикселем регистрируются два типа данных: значение силы света (как уровень яркости) и расстояние между объектом и сенсором, то есть значение глубины. Времяпролетная технология базируется на двух различных принципах: принципе непрерывной волны и импульсном времяпролетном принципе. Они различаются тем, как источник испускает свет и как работает сенсор.
Принцип непрерывной волны основан на измерении электрической длины модулируемого по яркости источника света. Он может быть реализован средствами стандартного электронного оборудования и считается полностью разработанным, однако здесь используются только сенсоры низкого разрешения и относительно крупного оптического формата.
Напротив, камеры на базе импульсного время-пролетного принципа для измерения расстояния до объекта фиксируют время, за которое это расстояние покрывают множество отдельных световых импульсов. Времяпролетная технология быстро развивается, не в последнюю очередь по причине расширения экономических возможностей для создания устройств, генерирующих точные световые импульсы, и систем для их безошибочной регистрации. Времяпролетная камера состоит из активного встроенного источника света, встроенного объектива и ToF-сенсора, представляя собой, таким образом, компактную и полнофункциональную систему без подвижных компонентов.
Что происходит со светом? Световые импульсы, испускаемые встроенным в камеру источником света, достигают объекта и отражаются от него обратно в сторону камеры. Этот отраженный свет направляется на сенсор через встроенный объектив. Камерой измеряется время, за которое свет покрывает расстояние до объекта и обратно до сенсора. Зная скорость света, полученное значение можно использовать для вычисления расстояния до светоотражающей поверхности для каждого пикселя.
Этот метод позволяет одновременно получать плотное множество точек и карты глубин, а также профиль интенсивности и таблицы точности в режиме реального времени.
Типичные области применения ToF-технологии
Если основными условиями являются большое рабочее расстояние, высокая скорость работы и при этом несложная архитектура системы, а также если соблюдение этих условий более важно, чем абсолютная точность измерений вплоть до миллиметра, то ваш идеальный выбор – времяпролетные камеры, даже в случае сравнительно небольшого бюджета. Ввиду относительно низкой точности значений глубины они лучше всего подходят для решения задач, не требующих предельной точности, таких как автоматизация производства и перемещение крупногабаритных объектов с помощью роботизированных систем. Эти камеры широко применяются в логистике для измерения объемов грузов в целях определения стоимости фрахта или транспортировки, а также загрузки и разгрузки поддонов полностью в автономном режиме роботами, без прерывания технологических процессов.
Времяпролетной технологией оснащаются автоматические самоходные тележки (АСТ), что приносит несомненные преимущества в логистике и на производстве: одна или несколько ToF-камер в реальном времени осуществляют съемку окружающего пространства, позволяя АСТ анализировать объекты вокруг, чтобы объезжать препятствия или следовать за человеком. За счет этого ускоряются технологические процессы и повышается эффективность.
ToF-системы можно условно разделить на два типа: с управлением жестами и с другим принципом управления. В системах с управлением жестами человек взаимодействует с устройством жестами. Это может быть взаимодействие человека с роботом или управление медийной системой в автомобиле.
Системы, для управления которыми не требуются жесты, широко распространены в логистике. В этом случае камерой осуществляется съемка изображений, которые анализируются специальным алгоритмом. Получаемые трехмерные данные можно использовать, например, для определения объемов и местоположения объектов для оптимального размещения грузов при загрузке контейнеров или самолетов, чтобы как можно более плотно заполнить пространство и не допустить пустот при транспортировке.
Времяпролетные камеры также идеально справляются с дополнительными задачами визуализации в медицинской сфере. Съемка 3D-изображе-ний открывает целый ряд возможных сценариев применения камер, включая контроль состояния или положения пациента, а также определение размеров тела и рентгенодиагностику.
ToF-камеры помогают оптимально разместить пациентов для проведения магнитно-резонансной томографии (МРТ) или компьютерной томографии (КТ). Плотное множество точек на контрольном изображении сравнивается с плотным множеством точек, отражающим текущее положение пациента. Цель заключается в размещении пациента в точно таком положении, как на контрольном изображении.
ToF-камеры также используются в реанимационных отделениях. Они все чаще заменяют классические камеры наблюдения, поскольку медсестры, опираясь на дополнительные значения глубины, получают возможность удаленно контролировать как само помещение, так и состояние каждого пациента в нем. ToF-камеры способны определять положение пациентов даже под одеялом и, благодаря интеллектуальным алгоритмам, даже предупреждать о начинающемся эпилептическом припадке или критическом ухудшении жизненно важных параметров.
Времяпролетная технология используется в рентген-диагностике, например для выбора корректной дозы излучения в зависимости от объема тела. На стандартных рентгеновских аппаратах дозы излучения вручную выставляются техником. Чтобы получить наилучшее качество снимка, зачастую выбирается значение по умолчанию – максимальный уровень излучения. Однако результаты текущих исследований говорят в пользу консервативной рентгенографии, то есть с более низкими дозами излучения. Для этого необходимы одна или несколько ToF-камер, которые вычисляют объем и определяют точное положение тела пациента, после чего на основе собранных 3D-данных рассчитывается оптимальная доза излучения.
Другие современные 3D-технологии
Времяпролетный метод – не единственная технология формирования трехмерных изображений. В зависимости от области применения некоторые задачи могут быть решены с помощью таких методов, как стереоскопическое зрение и структурированный свет, лазерная триангуляция. Каждая из этих технологий опирается на свой принцип определения глубины объекта съемки.
В основе стереоскопического зрения лежит принцип функционирования человеческого глаза. Две классические матричные камеры используются для съемки двух 2D-изображений с разных позиций. После определения диспа-ратности, то есть поиска соответствующих друг другу точек на левом и правом изображениях с помощью алгоритма сравнения, вычисляется расстояние между этими точками по методу триангуляции. На основе вычисленных данных и другой полученной информации из двух изображений формируется скорректированное 3D-изображение и воссоздается глубина объекта. Точность измерений можно повысить с помощью неструктурированного света.
Принцип лазерной триангуляции предполагает комбинирование 2D-камеры и устройства, проецирующего лазерную линию или лазерные точки. Лазерная линия фокусируется на объекте съемки, в то время как 2D-камера фиксирует ее отражение. При изменении расстояния между объектом и светочувствительным сенсором меняется угол проецирования лазерной линии и вместе с этим ее положение на изображении, передаваемом камерой. К полученным данным применяется тригонометрическая функция, чтобы вычислить расстояние между объектом съемки и лазерным проектором. Камерой фиксируется положение лазерной точки на изображении. Затем в зависимости от этого положения в пределах изображения определяется расстояние между сенсором и объектом съемки.
В таблице приведено сравнение различных технологий по ключевым критериям.
Выводы и перспективы
Как уже упоминалось, на данный момент не существует универсальной 3D-технологии для решения всех возможных задач. Необходимо внимательно сформулировать свои требования заранее и исходя из них выбрать наиболее подходящую технологию.
К основным преимуществам времяпролетных камер по сравнению со стереоскопическим зрением и лазерной триангуляцией можно отнести их компактные размеры и высокую скорость работы. Они также очень просты в интеграции и управлении. Невозможно дать универсальную рекомендацию касательно того, какая из технологий – 2D или 3D – будет оптимальной в каждом случае, как невозможно однозначно ответить на вопрос о наиболее подходящем методе съемки. Задачи, как и системы машинного зрения для их решения, как правило, настолько комплексные, что необходимо отталкиваться от конкретных требований и условий съемки, а также имеющегося бюджета. Это касается не только стоимости отдельных компонентов, но и общих инвестиционных затрат на протяжении всего жизненного цикла 3D-системы, особенно учитывая потенциально высокие затраты на ее построение.
С этой точки зрения доступность времяпролетной технологии уже способствует повышению эффективности и снижению затрат во многих областях. Можно ожидать, что в последующие годы эта тенденция будет продолжать расти.
Time of flight
Знаете, меня порой удивляет причудливая структура общественного мнения. Взять к примеру технологию 3D-визуализации. Огромный общественный резонанс вызывают в последнее время технологии очков виртуальной реальности: Oculus Rift, Google Glass. Но ведь ничего нового тут нет, первые шлемы виртуальной реальности появились ещё в конце 90-х. Да, они были сложны, они опередили своё время, но почему тогда это не вызывало такого WOW-эффекта? Или 3D-принтеры. Статьи о том, как они круты или как быстро они захватят мир появляются в информационном поле два раза в неделю последние года три. Я не спорю, это круто и мир они таки захватят. Но ведь эта технология была создана ещё в 80х и с тех пор вяло прогрессирует. 3D-телевидение? 1915 год…
Технологии все эти хороши и любопытны, но откуда столько шумихи из-за каждого чиха?
Что, если я скажу, что в последние 10 лет была изобретена, разработана и внедрена в массовое производство технология 3D съёмки, очень сильно отличающаяся от любой другой? При этом технология уже повсеместно используемая. Отлаженная и доступная простым людям в магазинах. Вы слышали про неё? (наверное только специалисты по робототехнике и сопутствующим областям науки уже догадались, что я говорю про ToF-камеры). 
Что такое ToF камера? В русской Википедии (англ) вы не найдёте даже коротенького упоминания о том, что это такое. «Time of flight camera» переводится как «Времяпролётная камера». Камера определяет дальность через скорость света, измеряя время пролёта светового сигнала, испускаемого камерой, и отражённого каждой точкой получаемого изображения. Сегодняшним стандартом является матрица 320*240 пикселей (следующее поколение будет 640*480). Камера обеспечивает точность измерения глубины порядка 1 сантиметра. Да-да. Матрица из 76800 сенсоров, обеспечивающих точность измерения времени порядка 1/10,000,000,000 (10^-10) секунды. В продаже. За 150 баксов. А может вы ею даже пользуетесь.
А теперь чуть подробнее про физику, принцип работы, и где вы встречали эту прелесть.
Существуют три основных типа ToF-камер. Для каждого из типов используется своя технология измерения дальности положения точки. Самая простая и понятная — «Pulsed Modulation» она же «Direct Time-of-Flight imagers ». Даётся импульс и в каждой точке матрицы измеряется точное время его возвращения: 
По сути матрица состоит из триггеров, срабатывающих по фронту волны. Такой же способ используется в оптических синхронах для вспышек. Только тут на порядки точнее. В этом-то и основная сложность этого метода. Требуется очень точное детектирование времени срабатывания, что требует специфических технических решений (каких — я не смог найти). Сейчас такие сенсоры тестирует NASA для посадочных модулей своих кораблей. 
А вот картинки которые она выдаёт: 
Подсветки на них хватает, чтобы триггеры срабатывали на оптический поток отражённый с расстояния порядка 1 километра. На графике приведено число сработавших в матрице пикселя в зависимости от расстояния 90% работают на расстоянии в 1км:
Второй способ — постоянная модуляция сигнала. Излучатель посылает некоторую модулированную волну. Приёмник находит максимум корреляции того, что он видит с этой волной. Это определяет время, которое сигнал потратил на то, чтобы отразиться и прийти на приёмник.
Пусть излучается сигнал:
где w — модулирующая частота. Тогда принятый сигнал будет выглядеть как:
где b-некий сдвиг, a-амплитуда. Корреляция входящего и исходящего сигнала:
Но полную корреляцию со всеми возможными сдвигами по времени произвести достаточно сложно за реальное время в каждом пикселе. Поэтому используется хитрый финт ушами. Полученный сигнал принимается в 4 соседних пикселя со сдвигом в 90⁰ по фазе и коррелируется сам с собой:
Тогда сдвиг по фазе определяется как:
Зная полученный сдвиг по фазе и скорость света получаем дальность до объекта:
Эти камеры чуть попроще, чем те, что построены по первой технологии, но всё равно сложны и дороги. Делает их вот эта компания. И стоят они порядка 4килобаксов. Зато симпатишные и футуристичные: 
Третья технология — » Range gated imagers «. По сути затворная камера. Идея тут до ужаса проста и не требует ни высокоточных приёмников, ни сложной корреляции. Перед матрицей стоит затвор. Предположим, что он у нас идеальный и работает моментально. В момент времени 0 включается освещение сцены. Затвор закрывается в момент времени t. Тогда объекты, расположенные дальше, чем t/(2∙c), где с — скорость света видны не будут. Свет просто не успеет долететь до них и вернуться назад. Точка, расположенная вплотную к камере будет освещаться всё время экспозиции t и иметь яркость I. Значит любая точка экспозиции будет иметь яркость от 0 до I, и эта яркость будет репрезентацией расстояния до точки. Чем ярче — тем ближе.
Осталось сделать всего пару мелочей: ввести в модель время закрытия затвора и поведение матрицы при этом событии, неидеальность источника освещения (для точечного источника света зависимость дальности и яркости не будет линейной), разную отражающую способность материалов. Это очень большие и сложные задачи, которые авторы устройств решили.
Такие камеры самые неточные, но зато самые простые и дешёвые: всю сложность в них составляет алгоритм. Хотите пример того как выглядит такая камера? Вот он: 
Да-да, во втором Kinect стоит именно такая камера. Только не стоит путать второй Kinect с первым (на хабре когда-то давно была хорошая и подробная статья где всё же перепутали). В первом Kinect используется структурированная подсветка. Это куда более старая, менее надёжная и более медленная технология:
Там используется обычная инфракрасная камера, которая смотрит на проектируемый паттерн. Его искажения определяют дальность (сравнение методов можно посмотреть вот тут).
Но Kinect далеко не единственный представитель на рынке. Например Intel выпускает камеру за 150 долларов, которая выдаёт 3д карту изображения. Она ориентирована на более ближнюю зону, но у них есть SDK для анализа жестов в кадре. Вот ещё один вариант от SoftKinetic (у них тоже есть SDK, плюс они как-то завязаны на texas instruments).
Сам я, правда до сих пор не сталкивался ни с одной из этих камер, что жалко и досадно. Но, думаю и надеюсь, что через пяток лет они войдут в обиход и моя очередь настанет. Насколько я знаю, их активно используют при ориентации роботов, внедряют в системы распознавания по лицам. Круг задач и применений очень широк.
Что такое «времяпролетная камера» (ToF) и зачем она в телефоне
TOF-камера – это как сонар для телефонов, но вместо звука он использует свет
В смартфонах последних лет в дополнение к куче обычных камер начинает появляться еще одна с непривычным названием «времяпролетная камера» (time-of-flight, ToF). Она уже есть у iPhone X, Huawei Honor View 20, Oppo RX17 Pro, Huawei P30 Pro, скоро появится у Samsung Galaxy S10 5G. Попробуем разобраться, что такое «времяпролетная камера» и какие преимущества она дает.
TOF-камера – это как сонар для телефонов, но вместо звука он использует свет. Она излучает свет и регистрирует время задержки, когда свет поступает обратно в камеру после отражения от объекта. Благодаря этому можно точно рассчитать расстояние до предмета, на который наведена камера. Чаще всего для работы используется инфракрасный свет. Разрешение такой камеры крошечное по сравнению с обычными фотосенсорами – оно составляет 0,03-0,3 мегапикселя.
Зная точное расстояние до объектов, можно построить виртуальную 3D-карту пространства перед объективом смартфона. Также ToF можно использовать как сенсор глубины пространства.
Идея времяпролетных камер не нова, и ее уже много лет используют в электронике. Одним из наиболее известных примеров является Microsoft Kinect 2 для приставки Xbox One. Именно благодаря этой технологии у iPhone X появились анимоджи – эмоджи, воспроизводящие выражения лица пользователя.
Прорывом является то, что эту технологию начали использовать в смартфонах. На мобильниках ToF-камера может выполнять две функции. Во-первых, она позволит выделить предмет съемки от фона. Это в дальнейшем облегчит обработку кадра, например, можно точнее добавить эффект боке – размытие фона.
Второй опцией ToF-камеры на смартфоне является дополненная реальность. С ней мобильник будет знать, как размещаются предметы вокруг него. Точное знание размеров объектов и расстояния до них позволяет получить качественную работу дополненной реальности.